ICML 2017思想

ICML 2017刚刚结束。尽管悉尼对欧洲和北美的人来说偏远，但会议中心
是一个很棒的聚会场所（供应优质咖啡！），这座城市很有趣。一切进展顺利，
组织者做得很好。

您可以从我的列表中获取我喜欢的论文列表 Twitter提要，所以我想讨论一些广泛的主题
我感觉到了。

• 多任务正则化可减轻RL中的样本复杂性。 在视频游戏和对话中，添加额外的（辅助）任务以加速广东11选五开奖号码查都是很有用的。
• 利用知识和记忆。 我们当前的模型是功能强大的函数逼近器，但是特别是在NLP中，我们需要超越“当前示例”才能展示其能力。
• 梯度下降作为推断。 不管是 用GAN修补 要么 使用RNN最大化BLUE得分，梯度下降法是一种不合理的推理算法。
• 仔细的初始化很重要。 我想传统的优化人员会说“当然”，但是我们开始意识到良好的初始化对于深度广东11选五开奖号码查的重要性。特别是，从特征值接近1开始接近线性。（Balduzzi等。等 , 普尔等等)
• 卷积与NLP的递归模型一样好，并且比后者更快。 Facebook上的出色工作 因果卷积 对于seq2seq。这符合我的个人经验：出于计算性能的原因，我们在生产中使用卷积NLP模型。
• 神经网络过于参数化。 它们可以变得更稀疏而不会失去准确性（莫尔恰诺夫（Molchanov）等。等, 洛巴切娃（Lobacheva）等。等）。
• 玛卢巴举行了最好的派对。 ！

最后，我一直在想 论文都是“old”. 虽然我第一次看很多论文，但是感觉结果都过时了，因为我已经沉迷于“fresh results” on arxiv.