2014年6月30日,星期一

集成电路 2014评论

集成电路 2014取得了不错的成绩,对组织者表示敬意。地点(北京)和CVPR的重叠无疑影响了与会者的分布,因此会议感觉与去年不同。 (我还了解到,我的博客已被中国屏蔽,谷歌与中国政府之间发生了一些口角,造成了附带损害)。

到目前为止,深度学习是最流行的会议轨道,其程度是该轨道的会议室不堪重负,而且仅在站立空间之外。我错过了一些我想参加的演讲,因为根本没有进入的可能性。尽管有许多深度学习专家及其研究生都在CVPR工作。幸运的是,Yoshua Bengio选择了ICML,并通过几次演讲为深度学习提供了足够的见识,值得撰写另一篇博客文章。总体主题是:在征服计算机视觉之后,深度学习研究人员现在将注意力转向自然语言文本,并且在早期取得了一些显著成就,例如 段落矢量。当然,该品牌的销量很高,这解释了一些纸质标题的选择,例如,“深度助推”。还有一个会议标题为“神经理论与光谱方法”...有趣的床友!

ADMM突然变得流行(大约在18个月前,由于想法,会议提交和演示之间的延迟)。通过这种方式,我并不是说要使用ADMM进行分布式优化,尽管有很多。相反,有几篇使用ADMM解决受约束的优化问题的论文,否则这些问题将很烦人。带回家的课程是:在针对您遇到的任何受限优化问题提出定制的求解器之前,请尝试ADMM。

现在获取洗衣清单(也请注意上述纸张):
  1. 非平稳函数的贝叶斯优化的输入变形。如果要引起社区的注意,就必须打号码,所以不要带着刀子进行枪战。
  2. 通过主动子空间选择使核规范最小化。无与伦比的谢祖瑞再次做到了,这次将主动变量方法的思想应用到核规范的正则化中。
  3. 驯服怪物:上下文盗贼的快速简单算法。不可知论语境盗贼所需的计算复杂性得到了显着改善。
  4. 高效的可编程学习搜索。自NIPS以来,命令式编程的其他改进。如果您要进行结构化预测,尤其是在需要将产品投入生产的工业环境中,则需要研究这种方法。首先,它减轻了指定复杂的结构化预测任务的负担。其次,它减少了培训和评估之间的差异,这不仅意味着更快的部署,而且还减少了实验与生产系统之间引入的缺陷。
  5. 不变位移核的准蒙特卡洛特征图。确认准随机数可以更好地适用于随机特征图。
  6. 单次通过算法可有效恢复高维数据的稀疏聚类中心。我需要在本文上花一些时间。
  7. 多分辨率矩阵分解。 Nikos和我通过使用经典矩阵分解来学习判别表示法时非常幸运。我希望可以对这种新的分解技术进行类似的调整。
  8. 基于样本的近似正则化。我发现依赖数据的正则化很有希望(例如,最小二乘法的遗失等效于无标度L2正则化器),因此本文引起了我的注意。
  9. 适应性和乐观:改进的指数梯度算法。本文没有进行任何实验,因此也许这是``纯粹的理论胜利'',但看起来很有趣。

2014年6月16日,星期一

微软启动了ML博客和ML产品

我的雇主Microsoft已开始 关于ML的新博客 并宣布了 ML的新产品.

该博客令人兴奋,因为微软将有多位ML杰出人物将为之贡献。 约瑟夫·西罗什 也涉及到,因此大概还会有面向应用程序的内容的健康组合。

该产品也令人兴奋。但是,如果您是已经熟悉特定工具链的ML专家,您可能会想知道为什么全世界都需要此产品。那些在Microsoft,Google,Facebook或Yahoo等大型公司工作的人大概知道,有一大批工程师维护和改善数据科学基础的系统基础结构(例如,数据收集,提取和组织,自动模型再培训和部署;监控和质量保证;生产实验)。但是,如果您从未在初创公司工作过,那么您实际上就不会意识到所有这些人为实现数据科学所做的全部工作。如果将这些功能作为服务产品的一部分提供,那么具有高见解的个人数据科学家就有可能与大公司竞争。更现实的是,考虑到我在初创公司的经验,单个数据科学家将有机会在必须投入大量资本开发基础设施之前确定他们的热门想法不是那么热门:)

当然,还有很多事情要做“机器学习即服务”完全成熟,但是此产品发布是一个不错的第一步。