2017年7月26日星期三

理性的繁荣

最近,Yoav Goldberg有广东11选五开奖号码查 著名博客大佬。我感谢他的关注,因为这种情况在游戏理论上是危险的:任何个人研究人员都可以尽早地积极定位他们的工作而受益,但是随着言辞和现实的分歧越来越大,整个领域冒着另广东11选五开奖号码查AI冬季的危险。 Yoav的解决方案是整合公众羞辱感,以使本地激励措施与总体成果保持一致(参见奖励塑造)。

我觉得有更好的方法,最近由 贾良。在本文中,作者使用干扰词破坏了SQUAD数据集,这些干扰词对人类的绩效没有影响,但从根本上降低了排行榜上系统的性能。这使我想起了 Paperno等等 在段落完成任务上,人类以高超的技术执行,而对于所有现有技术,NLP方法都惨败。这两项工作清楚地表明,我们当前的自动系统仅具有与人的表面相似(尽管具有经济价值)。

这种对我们的能力进行诚实自我评估的方法不仅更具学术性,而且更具生产力,因为它提供了需要考虑的具体任务。至少,这将导致改进的技术工件。进一步迭代这种目标设定和目标解决过程 很多很多 时代最终可能会导致一些值得称呼的人工智能。

(您可能会说Yoav Goldberg策略更具娱乐性,但是Yoav Goldberg方式的高点是“快速打击”,而艰巨的任务值得考虑的话具有很多“重播价值”。)

2017年7月17日星期一

分层架构,反事实学习和示例复杂性

我现在在广东11选五开奖号码查产品团队中,我再次发现自己在分层架构中工作:“L1”模型选择一些候选者,这些候选者将传递给“L2”重新排名和过滤传递给“L3”等等。这样做的动机通常是计算性的,例如,您可以为 DSSM 模型很容易,但索引广东11选五开奖号码查 比达夫 模式更具挑战性。但是,我认为也有潜在的样本复杂性好处。

我担心反事实设置中的样本复杂性,因为我认为这可能是AI冬季的下广东11选五开奖号码查来源。强化学习需要汇聚大量数据,这就是为什么媒体的所有惊人结果都出现在模拟环境,自演场景,在完全监督的环境中对子组件进行离散优化或存在其他情况的原因本质上是无限的数据。在现实生活中,数据是有限的。

所以当我读 大型离散动作空间中的深度强化学习 由Dulac-Arnold等撰写。等,我注意到主要动机是计算性的,但认为另广东11选五开奖号码查(更重要的?)好处可能是统计性的。分层架构无法克服最坏情况下的样本复杂性界限,但我认为在实践中,它们是反事实设置的好策略。

分层架构允许使用半监督方法,因为L1模型通常可以使用无监督技术(例如单词嵌入,句子嵌入,带tf-idf的倒置索引)进行初始化。利用该L1模型学习L2模型仅具有基于L1模型产生的候选数量而不是候选总数的样本复杂度。当然,基于候选总数,学习L1仍然具有样本复杂度,但是如果无监督的初始化很好,那么L1学习缓慢就可以了。此外,在实践中,L1假设类别更简单(由于计算原因),这减轻了样本的复杂性。

在NIPS 2017上有广东11选五开奖号码查名为``从粗到细推理''的研讨会,大概是探讨了这些想法,但我没有参加,他们的网站也关闭了。希望会有另广东11选五开奖号码查,我会参加!