2013年12月12日,星期四

NIPSplosion 2013

NIPS 今年真是太棒了,对所有组织者,区域主席,审稿者和志愿者都表示敬意。在创纪录的与会者人数,众多公司赞助商和 马克·扎克伯格(Mark Zuckerburg)秀,今年的会议以绝对的规模最为著名。一个人可以有效地总结这一点已经超出了重点,但这是我的回顾,很自然地偏向于我的兴趣。

主题演讲非常出色,与综合演讲一致“big picture”会议的遗产。我最喜欢的是达芙妮·科勒(Daphne Koller),他谈到了“其他在线广东11选五开奖号码查”,即通过电信进行的教学法。类似于在线移动对话如何使我们能够准确地描述 斯诺基,在线移动指令有助于使用机器广东11选五开奖号码查来改善人类广东11选五开奖号码查。从早期信息支配地位到成熟的边缘刺激小腿,基于一般的互联网弧线,很明显, Coursera 平台将在附近 求爱技巧,但在此期间,很多人将获得更多实质性利益。

就整体主题而言,我没有发现任何新兴技术,这与往年不同,例如深度广东11选五开奖号码查,随机方法和频谱广东11选五开奖号码查之类的技术激增。从理智上讲,这次会议就像是巩固阶段,好像以前的突破仍在被消化。但是,输出表示广东11选五开奖号码查和极端分类(大型基数多类或多标签广东11选五开奖号码查)代表了有趣的新领域,并希望明年在这些领域将取得进一步的进展。

There were several papers about improving the convergence of stochastic gradient descent which appeared broadly similar from a 理论的 standpoint (约翰逊和张; 王等等; 张等等)。我喜欢 控制变量 王等人的解释。等生成直觉的最佳选择,但是如果您想实现某种功能,Johnson and Zhang的图1的伪代码则可理解。

协方差矩阵很热,而不仅仅是PCA。大& QUIC algorithm of Hseih等。等 for estimating large sparse inverse covariance matrices was technically very impressive and should prove 有用 for causal modeling of biological and neurological systems (presumably some hedge funds will also take interest). 巴兹和Müller 有一些有趣的想法 收缩率估算器, 包括“正交补码”顶本征空间应该 因为样本估计实际上是很好的,所以将其缩小。

随机方法中的一件有趣的工作是 McWilliams等。等,然后将两个随机特征图与CCA在未标记的数据上对齐,以提取“useful”随机特征。这是在半监督设置中利用未标记数据的直接方法,并且计算成本低廉,并且与CCA回归的理论结果一致。我期待着尝试。

讲习班很棒,尽管像往常一样,同时发生了很多有趣的事情,使得选择困难。我弹跳之间 极端分类, 随机方法大广东11选五开奖号码查 第一天。迈克尔·乔丹(Michael Jordan)在大型广东11选五开奖号码查中的演讲非常出色,特别是将各种优化松弛的计算复杂度降低与统计风险增加并置的部分(均因可行集的扩展而产生影响)。这开始在数据和计算资源之间进行权衡。极端分类(大型基数多类或多标签广东11选五开奖号码查)是一个令人兴奋的开放领域,这很重要(例如,对于NLP中出现的结构化预测问题),并且在短期内看来很容易解决。有两份相关的会议文件是 弗罗姆等等 (利用 word2vec 以减少极端分类以使用最近邻解码进行回归)和 西塞等。等 (它利用了标签图的近乎分离的性质,而标签图在实践中经常遇到大规模多标签问题)。

第二天我大部分时间都在 光谱广东11选五开奖号码查 但是我看到了布莱的讲话 主题建模。光谱广东11选五开奖号码查进行了有趣的讨论。三个有趣的问题是
  1. 为什么频谱技术没有得到更广泛的应用?
  2. 怎样才能使光谱方法更广泛地适用,类似于后验推断的变分贝叶斯或MCMC?
  3. 模型错误指定的后果是什么?如何使光谱方法对模型错误指定更可靠?
关于第一个问题,我认为缺少的是可以轻松找到,安装和试用的坚如磐石的软件。临时从业者并不关心算法的理论优势,实际上他们倾向于“theoretical” as a synonym for “putative”。 c.f.在第二个问题上取得了很大进展, 概率编程。给定哪里 硬件正在发展,未来属于最具说服力的。第三个问题是多年生的贝叶斯问题,但是对于频谱方法来说可能具有特殊的结构,这可能会建议例如鲁棒的优化准则。

2013年12月10日,星期二

翻转车间

今年在NIPS上,最重要的主题之一是 达芙妮·科勒(Daphne Koller) 关于Coursera和 翻转教室。改天,我与亚马逊的Chetan Bhole一起吃午餐,他指出我们每个人都去参加会议以听取彼此的演讲:由于翻转的教室很棒,我们应该将这一概念应用于会议。

我喜欢这个主意。

考虑将整个会议转变为这种形式是不切实际的(至少要等到该想法获得信誉之前),但是由于组织者是全体会议,所以研讨会提供了一个很好的实验平台。它是这样工作的:对于一些勇敢的讲习班,将向接受讲习班的演讲者(并邀请演讲者!)附带视频,希望参加讲习班的人员能在讲习班之前观看。 (也许我们甚至可以使用Coursera的平台来获得诸如掌握问题和论坛之类的额外信息。)在研讨会上,演讲者只花了2分钟左右的时间提醒听众他们是谁,以及视频的内容是什么。然后,它变成完全交互式的问答,大概是由白板或智能板驱动的。

随意窃取这个想法。否则,也许我会尝试组织一个研讨会来尝试这个想法。