2017年7月17日星期一

分层架构,反事实学习和示例复杂性

我现在在一个产品团队中,我再次发现自己在分层架构中工作:“L1”模型选择一些候选者,这些候选者将传递给“L2”重新排名和过滤传递给“L3”等等。这样做的动机通常是计算性的,例如,您可以为 DSSM 模型很容易,但索引一个 比达夫 模式更具挑战性。但是,我认为也有潜在的样本复杂性好处。

我担心反事实设置中的样本复杂性,因为我认为这可能是AI冬季的下一个来源。强化学习需要汇聚大量数据,这就是为什么媒体的所有惊人结果都出现在模拟环境,自演场景,在完全监督的环境中对子组件进行离散优化或存在其他情况的原因本质上是无限的数据。在现实生活中,数据是有限的。

所以当我读 大型离散动作空间中的深度强化学习 由Dulac-Arnold等撰写。等,我注意到主要动机是计算性的,但认为另一个(更重要的?)好处可能是统计性的。分层架构无法克服最坏情况下的样本复杂性界限,但我认为在实践中,它们是反事实设置的好策略。

分层架构允许使用半监督方法,因为L1模型通常可以使用无监督技术(例如单词嵌入,句子嵌入,带tf-idf的倒置索引)进行初始化。利用该L1模型学习L2模型仅具有基于L1模型产生的候选数量而不是候选总数的样本复杂度。当然,基于候选总数,学习L1仍然具有样本复杂度,但是如果无监督的初始化很好,那么L1学习缓慢就可以了。此外,在实践中,L1假设类别更简单(由于计算原因),这减轻了样本的复杂性。

在NIPS 2017上有一个名为``从粗到细推理''的研讨会,大概是探讨了这些想法,但我没有参加,他们的网站也关闭了。希望会有另一个,我会参加!

没意见:

发表评论