2012年5月21日,星期一

教学理论?

在学习理论中,我们经常谈论一种环境,它会忽略我们的算法,或者会完全意识到我们的算法并试图使其表现不佳。如果环境完全意识到我们的算法并试图帮助它成功,那该怎么办?

这是一个具体的例子。假设您正在尝试将消息传递给接收方,并且该消息是一组有限的假设之一。通过发送一系列特征标签对$(X \ times Y)^ * $,您不得不与接收器进行通信。接收方将使用提供的数据,通过假设集上的ERM对消息进行解码。它需要多少个示例,您应该如何选择它们?如果这听起来很老套,那么认为进化是通过重用来实现的,因此,如果由于其他选择压力而从经验中学习的能力,可以选择将其用于服务交流 认知语言学 .

凭直觉,即使从经验中学到了要传达的假设,但重新传输用于学习假设的确切数据也不是一个好策略。实际上,最好的策略似乎是根本不使用真实数据。通过构建一组人工的训练示例,可以引入有利的结构,例如,可以实现该问题。 (有趣的是:我曾经教授一位教授,他坦言他有时会向本科生开设入门课程,以使他们``更接近真相'';这个想法是,如果他们上了高年级班,他会有能力加深他们的理解,如果不是这样,他们实际上比学习简化的失真更好。

学习理论中的某些概念在此设置中是落后的。例如, 小石城的维度 表示当对抗性地选择示例时,在可实现的顺序预测方案中发生的最大错误数(和 概括到不可知论的情况)。我们可以在这里帮助选择示例(adversarial的反义词是什么?),但实际上 错误,因此许多假设是不正确的,可以迅速消除。不幸的是,我们可能会遇到这样一种情况,即希望传达的假设在任何一点上最多与另一个假设不符。小石城认为这一条件是有利的,因为一个错误会消除除一个假设之外的所有假设,否则就不会造成伤害。但是在我们的情况下,这是最坏的情况,因为这很难通过示例来分离目标假设。换句话说,我们可以有帮助地选择数据,但是如果对抗性地选择假设集,这可能仍然非常困难。

对于发送者而言,发明一个最佳的虚拟数据序列可能在计算上过于困难。在这种情况下,主动学习算法可能会提供良好的启发式解决方案。在此,标签复杂度对应于用于学习假设的原始数据序列与用于传输假设的简化数据序列之间的数据压缩。

有各种各样的变化的沃土,例如,通信信道嘈杂,接收器确实估计了ERM,或者根据通信假设和接收假设之间的损失差异而不是假设的0-1损失对通信进行评分。

2条评论:

  1. See http://www.cis.upenn.edu/~mkearns/papers/teaching.pdf
    (教学维度)。

    回复 删除
    回覆
    1. 哇,_exactly_我​​一直在寻找...以及一个完美的例子"I couldn'弄清楚问谷歌什么".

      删除