2016年7月8日星期五

对话进度最新情况

在一个 最近的博客文章 我讨论了使对话向前发展的两个想法。这两个想法都与民主评估评估对话系统所需数据​​的需求有关。事实证明,这两种想法都已经得到了一定程度的发展:
  1. 拥有电脑“talk”彼此而不是与人: Marco Beroni在上面.
  2. 创建一个开放的在线评估平台: Maxine Eskenazi在上面.
很高兴看到。

2016年7月4日,星期一

集成电路 2016思想

集成电路对我来说太大了,无法对其进行``审查'',但是我可以提供近视的观点。

热门话题是深度广东11选五开奖号码查,强化广东11选五开奖号码查和优化。但是有很多话题受到关注。感觉今年深度广东11选五开奖号码查的主导地位降低了。但是深度广东11选五开奖号码查的成功导致了多个特定于应用程序的替代场所(例如CVPR,EMNLP),而ICLR也是一个享有盛誉的场所;因此,今年ICML的深度广东11选五开奖号码查无论是在理论上还是在多模式研究上都是举足轻重的。可以说,强化广东11选五开奖号码查和优化都应部分计入深度广东11选五开奖号码查的足迹;强化广东11选五开奖号码查已经有至少一年的历史了,但是最近优化对非凸问题产生了更大的兴趣,尤其是在深度广东11选五开奖号码查中凭经验可以解决的问题(有时,尽管看似无害的体系结构更改会破坏布丁;但我想)优化社区的一个梦想是识别出仍然难以解决的大于凸的问题,以提供指导。

这是我喜欢的一些论文:
  1. 强类型递归神经网络
    如果您是类型理论方面的专业人士,或者您曾经是一名专业的Haskell程序员,并且不得不弄清楚单子是wtf,那么有争议的标题就很有意义。 tl; dr:如果将度量单位放在循环神经网络的各个组件上,则会发现您正在添加苹果和橙子。 T-LSTM是对标准LSTM的修正,旨在解决该问题,其经验类似。但可以分析。定理1对我来说是个不错的部分:修改后的体系结构显示为使用动态池计算时间卷积。类型一致性可以为架构提供有用的先验吗?这将是令人欢迎的发展。
  2. 问我任何事情:
    用于自然语言处理的动态内存网络
    用于视觉和文本问题解答的动态内存网络
    我还没有登上更多的头衔:每个人似乎都在平等“memory” = “注意当前示例子结构”. If you ask for the layperson's definition, they would say that 记忆 is about stuff you 不能 请参阅此刻(注意:Jason从 端到端存储网络)。除了脚踏车,不可否认这些 迭代注意力架构 问答式问题和超越基准已成为最新技术。请注意,由于反复关注的下一步是合并以前看到和存储的示例,因此该术语的使用“memory”很快就会变得令人反感。
  3. 从Softmax到Sparsemax:
    注意和多标签分类的稀疏模型
    这是softmax层的替代方法(“link function”)用作神经网络的最后一层。 Softmax将$ \ mathbb {R} ^ n $映射到(内部)单纯形,而sparsemax投射到单纯形上。最大的区别是sparsemax可以“hit the corners”,即将某些组件归零。根据经验,将softmax与sparsemax交换时,总任务性能的差异适中,这归因于实验部分的选择压力。那为什么要在意呢?注意机制通常是通过softmax实现的,并且真正稀疏的注意机制可能会更好地(在计算或统计上)扩展到更大的问题(例如涉及 实际 记忆, c.f., previous paragraph).
  4. 指导性成本广东11选五开奖号码查:通过策略优化进行深度逆最优控制
    我发现Inverse RL不直观:Vapnik并不是说不引入困难的中间问题吗?尽管如此,它似乎运行良好。也许要求广东11选五开奖号码查的政策是“rational”在某些成本函数下是否有用,可以减轻样品的复杂性?我不确定,我必须在上面加面条。同时,还会播放有关机器人洗碗的精彩视频!
  5. 深度强化广东11选五开奖号码查的决斗网络架构.
    最好的纸张,因此我不会通过向您指出来增加任何价值。但是,在阅读它之后,请思考为什么广东11选五开奖号码查两件事比广东11选五开奖号码查一件事好。然后重新阅读讨论部分。然后思考一下类似的方差隔离技巧是否适用于您当前的问题。

在研讨会上,我听到了一些有趣的东西:
  1. 杰拉德·特索罗(Gerald Tesauro)擦去了他的旧衣服 神经gam 代码,然后在功能更强大的计算机(他目前的笔记本电脑)上运行它,并获得了更好的结果。不幸的是,如果我们等待足够长的时间,我们无法得出NVIDIA将为我们解决AI的结论。在2个玩家游戏中或更一般地在模拟环境中,计算能力等于更多的数据资源,因为您可以模拟更多。在现实世界中,我们有示例复杂性约束:您必须执行实际操作才能获得实际奖励。但是,就像汽车和飞机比人快一样,因为它们具有不公平的能量优势(我们是100W的机器;飞机是 更高), 我认为“superhuman AI”之所以会出现,是因为样本复杂性的优势,即可以执行更多动作并获得更多奖励(并记住并彼此分享)的分布式机器人集合。因此,真正实现波士顿奇缘而不是NVIDIA是关键。 (同时… buy my vitamins!)
  2. Ben Recht 谈论ed about the virtues of 随机超参数优化加速技术 看起来更酷的版本 亚线性调试。以我的经验,这种风格有效。
  3. 莱昂·博托(Leon Bottou)指出,一阶方法现在处于最佳收敛的恒定因子之内,因此必然推论,任何假定的改进都必须非常便宜,因为它只能产生一个恒定因子。在同一演讲中,他还提出了批量标准化方面的合理改进。