2017年8月10日星期四

ICML 2017思想

ICML 2017刚刚结束。尽管悉尼对欧洲和北美的人来说偏远,但会议中心
是一个很棒的聚会场所(供应优质咖啡!),这座城市很有趣。一切进展顺利,
组织者做得很好。

您可以从我的列表中获取我喜欢的论文列表 Twitter提要,所以我想讨论一些广泛的主题
我感觉到了。

  • 多任务正则化可减轻RL中的样本复杂性。 在视频游戏和对话中,添加额外的(辅助)任务以加速学习都是很有用的。
  • 利用知识和记忆。 我们当前的模型是功能强大的函数逼近器,但是特别是在NLP中,我们需要超越“当前示例”才能展示其能力。
  • 梯度下降作为推断。 不管是 用GAN修补 要么 使用RNN最大化BLUE得分,梯度下降法是一种不合理的推理算法。
  • 仔细的初始化很重要。 我想传统的优化人员会说“当然”,但是我们开始意识到良好的初始化对于深度学习的重要性。特别是,从特征值接近1开始接近线性。(Balduzzi等。等 , 普尔等等)
  • 卷积与NLP的递归模型一样好,并且比后者更快。 Facebook上的出色工作 因果卷积 对于seq2seq。这符合我的个人经验:出于计算性能的原因,我们在生产中使用卷积NLP模型。
  • 神经网络过于参数化。 它们可以变得更稀疏而不会失去准确性(莫尔恰诺夫(Molchanov)等。等, 洛巴切娃(Lobacheva)等。等)。
  • 玛卢巴举行了最好的派对。
最后,我一直在想 论文都是“old”. 虽然我第一次看很多论文,但是感觉结果都过时了,因为我已经沉迷于“fresh results” on arxiv.

3条评论:

  1. 保罗,你好
    对于第一点-即多任务正则化,您能否同时引用RL世界和对话世界。

    回复删除
    回覆
    1. Consider slide 84 of http://www.thespermwhale.com/jaseweston/icml2016/icml2016-memnn-tutorial.pdf ... the primary task is story comprehension but adding the additional task of predicting the (exact) teacher response helps.

      我也注意到幻灯片27 ...但是我'我不熟悉那部分。

      删除