2015年7月23日,星期四

极端分类代码发布


极端分类讲习班集成电路 2015 今年是爆炸。我们从强势开始,Manik Varma演示了如何使用商用笔记本电脑绕过其他学习算法。我们取得了不错的成绩,Alexandru Niculescu通过“反对另一种合理的选择”推理。看看 整个程序!

对于即将举行的活动,ECML 2015将举办一个名为“ 大的多目标预测。此外,还有关于NIPS 2015研讨会的传言。

同时,我已经 推送到github 极端的参考实现 嵌入分类 我和Nikos一直在研究的技术。这里有两个非常简单的想法在起作用。首先是使用 特定矩阵的(随机)SVD 作为标签嵌入,其次是对内核计算机的随机近似的使用。

2015年7月14日,星期二

集成电路 2015评论

今年的地点确实是最高级的:迷人的法国北部城市里尔,当地人显然在此生活 奶酪,薯条和啤酒 不增重。大量的供应商和招聘人员出席了会议,向饥饿的研究生发放了甜美的赃物。坦白说,如今对于ML研究生来说,很难感到难过:获得英语博士学位意味着对知识的无私奉献,而成为机器学习研究生更像是一名大学篮球运动员。

这次会议不乏娱乐性:如果您没有引起注意,深度学习的巨大成功将为您带来一些收获。 关于发明家的争议。之间 斯蒂格勒同名定律塞尔法则,这当然不足为奇,但是当他们宣布深度学习小组将在舞台上聚集一些竞争激烈的名人时,每个人都为爆米花做准备。我希望他们录制了它,因为它没有令人失望。

就趋势而言:首先,“deep”正在吃所有东西,例如 深度指数家庭。但是,您已经知道了。其次,强化学习正在升温,它利用了深度学习和GPU架构的进步以及改进的优化策略。第三,正如Leon Bottou的精彩主题演讲所暗示的那样,随着核心科学的发展,机器学习的技术缺陷变得越来越重要:具体地说,人类在创建机器学习模型时的生产力需要提高,并且机器学习与大型软件系统的集成也需要变得不那么脆弱。

此外,非凸目标函数的重要性正日益增加,“anti”-趋势。首先,分布式优化变得不那么受欢迎了,因为具有4个GPU和1TB RAM的盒子是一个非常有生产力的环境(尤其是对于非凸问题)。考虑到我在云计算和信息服务实验室中的工作,您可以对自己的职业生涯得出自己的结论。其次,有很多关于原始对偶算法的优化论文,尽管它们很酷,但它们似乎比仅原始算法具有较小的影响力,因为后者有更大的机会解决非凸问题。

这是我打算仔细阅读的论文清单。由于我的时差很长,所以这绝不是会议上所有凉爽论文的详尽清单,所以请查看 完整清单.

  1. 通过反向传播进行无监督域自适应。经典技术认为表示形式是固定的,并对数据重新加权以模拟从目标域提取的数据集。深入的方法是更改​​表示形式,以使源域和目标域无法区分。整齐!
  2. 大规模神经词嵌入中的建模顺序。事实证明word2vec不能拟合数据,并且添加相对位置可以改善嵌入。事后看来,加之偏见是有道理的:无监督预训练的最初梦想是模型复杂性不会成为问题,因为数据将是无限的。出乎意料的是,预训练革命发生在文字而非视觉上。 (类似地,马克思期望无产阶级革命将发生在德国而不是俄罗斯。)
  3. 反事实风险最小化:从记录的匪徒反馈中学习。离线策略评估涉及重要性加权,这可能会引入差异。经验伯恩斯坦告诉我们如何在学习过程中惩罚方差。花生酱和果冻!我为什么没想到…琐事花絮:本文是因果关系研究中唯一不是由BernhardSchölkopf合着的条目。

好的,这是一个简短的列表,但是老实说,几个月前出现在arxiv上时,我已经阅读了大多数我感兴趣的论文,所以那些是我尚未注意到的。