显示带有标签的帖子 ICLR. 显示所有帖子
显示带有标签的帖子 ICLR. 显示所有帖子

2015年8月10日,星期一

纸质评论与代码评论

因为我正在经历 NIPS 现在的提交过程,与 ICLR 提交过程很重要。 NIPS提交过程是一种更为传统的过程,在该过程中,首先将(匿名)提交发送给(匿名)审稿人,后者提供反馈,然后作者就有机会对反馈进行回应。 ICLR提交过程更加流畅:将非匿名提交发送给匿名评论者,后者提供反馈,然后作者和评论者进入一个周期,在此周期中,作者更新arxiv提交,评论者提供进一步的反馈。 (ICLR也有公开评论,但我不再赘述)。注意,在传统模型中,审阅者必须想象最终版本中我(承诺的)更改将是什么样子。

传统模型是从一个时代开始的,即纸张是实际的物理对象,该对象是通过蜗牛发送(通过蜗牛邮件!)发送给审阅者的,这些审阅者使用墨水笔为它们标记,希望技术的进步使我们能够开发出更有效的过程。我认为我们应该寻求软件工程的启发。作为研究人员和软件工程师,我非常感谢 外骨骼机器人 区别。在这种情况下,科学的外骨骼姿态使其适用于纸质评论的弹道概念,其中已完成或已拒绝的工作单元;工程更多是关于协作持续改进。确实,大多数期刊和一些会议采用了更加灵活的审查流程,“conditional accepts”(更改需要重新审核)和“shepherds”(致力于通过多轮审阅指导论文的审阅者)。这些过程给审阅者带来了更多负担,审阅者正在提供有价值的服务来帮助某人改进他们的工作,而无需给予任何补偿或认可。自然而然地,会议可能会犹豫不决,要求其志愿者审阅者对此提出要求。

解决方案是减轻各方认知和后勤负担的技术。代码审查与书面审查具有相同的广泛目标:通过同行反馈提高质量。我们可以从代码审查中学到一些东西:
  1. 增量审查。很少有程序员从头开发复杂的软件。大多数评论是关于大型软件的相对较小的更改。为了减轻审阅者的认知负担,将审阅更改,而不是整个新版本。可视化技术用于提高变更审核的生产率。
    1. 在这方面,论文的最初提交与典型的代码审阅是不同的,但是随后的修订周期与此非常吻合。
  2. 模块化更新。当程序员对一个软件进行几项不同的更改时,这些更改(在可能的范围内)被设计为可互换和独立审查。技术用于促进变化(被接受的子集)的组合。
    1. 这与审核过程非常吻合,因为不同的审核者的反馈类似于 问题.
  3. 最小的清洁变化。聪明的程序员将使他们的更改在审查中最为清晰。这意味着很少“easy”诸如避免在语义上等效的词汇变化之类的事情。这也意味着清理程序的控制流与创建较大的更改之间存在紧张关系。

加上保留所有相关方匿名性的能力,您将拥有一个非常漂亮的论文评审平台,该平台可以合理地加快所有科学领域的步伐,同时提高质量。

这正是政府应资助的公共物品。学术界有人:写一份赠款!

2015年5月11日,星期一

ICLR 2015评论

ICLR的野心,质量和(小型)社区相结合,使之成为我最喜欢的会议。言语和视觉方面的最新成功,以及亿万富翁创始人和皇帝以及风险资本家的资金浪潮,给人以乐观的感觉,并渴望攻击人工智能。热情具有感染力。 (在程序上,在审阅过程中使用Arxiv使得与审阅者进行对话变得容易:每个人都应该这样做,如今双盲是一个神话。)

组织者在选择会议名称方面很有见识。虽然称为“深度广东11选五开奖号码查会议”,会议是关于广东11选五开奖号码查表示形式的。在AI的早期(即1960年代),表示被认为是至关重要的,但在那时,表示是手工构建的。这不仅(非常费力)费力,而且解决方案高度针对特定问题。推动这次会议的关键思想是使用数据和广东11选五开奖号码查算法来帮助我们设计表示形式,希望使生成的表示形式更易于开发和更广泛地应用。如今,深度广东11选五开奖号码查(即使用非凸优化技术训练的分层非线性)是实现此目的的领先技术,但如果这次会议更好地出现,那么(不久的将来)该会议将得到验证。

在上述情况下,选择接受的论文和邀请的演讲非常明智:深度广东11选五开奖号码查论文绝对占多数,但也有一些有趣的论文可以利用 本征系统, 光谱法字典广东11选五开奖号码查。受邀的演讲丰富多彩且有趣:Percy Liang的关于广东11选五开奖号码查潜在的逻辑形式进行语义解析的演讲是一个很好的例子,因为他的工作显然涉及广东11选五开奖号码查表示形式,但他在演讲中开玩笑地表示自己不熟悉深度广东11选五开奖号码查。

有很多好的论文,所以看看 整个时间表,但这些吸引了我的注意。

通过共同广东11选五开奖号码查对齐和翻译的神经机器翻译 结果在 这篇报告 有趣,但是该论文也作为广东11选五开奖号码查的表示设计过程的一个示例而出类拔萃。深度广东11选五开奖号码查是 只是将高度灵活的模型类应用于大量数据:如果那么简单,高斯内核将解决AI。取而代之的是,深度广东11选五开奖号码查就像机器广东11选五开奖号码查的其余部分一样:在计算复杂性的约束下,在模型复杂性和数据资源之间找到微妙的平衡。特别是,更多的数据和更快的GPU不会在标准神经编码器/解码器体系结构中带来这些改进,因为潜在矢量表示与序列到序列的映射之间存在不匹配。更好的方法是以适当匹配目标的方式明智地增加模型的复杂性。此外,“art”并不是知道对齐本身就很重要(灵感显然来自现有的SMT系统),而是在于弄清楚如何将类似对齐的操作合并到体系结构中而不破坏优化能力(使用SGD)。感谢作者。

请注意,虽然正在从数据中广东11选五开奖号码查表示形式,但很显然,人类设计人员通过体系结构的规范(例如深度卷积网络),为系统提供了先验优势。我们应该预料,在不久的将来这种情况将继续存在,因为相对于我们要考虑的假设类别的复杂性,我们将始终处于数据贫困状态。谁对你说“我使用深度广东11选五开奖号码查是因为我想在不做任何假设的情况下从原始数据中广东11选五开奖号码查”不明白。如果他们也使用这句话“通用逼近器”,请退出对话并尽可能快地逃跑,因为没有什么比高精度表达的不正确直觉更危险了(参见Minsky)。

NICE:非线性独立分量估计 作者定义了一种灵活的非线性 它是体积保持且可逆的,从而生成了一个生成模型,对其进行推断(和训练),采样和修复很简单。这些技巧很酷,您想在其中找到用途。

定性表征神经网络优化问题 SGD的有效性有些神秘,并且 作者深入研究了优化前景 实际的神经网络遇到的直觉。演讲和海报还有其他很酷的可视化效果,这些效果不在本文中。

结构化预测 有几篇论文探讨了如何将深层神经网络超越分类而推进结构化预测。将神经网络与CRF结合是一种流行的选择,并且 陈等等 遵循这些原则,在Pascal VOC 2012上有不错的海报,并取得了良好的效果。 Jaderberg等。等 利用类似的策略来解决识别自然图像中单词的(可变和可扩展输出)问题。

极端分类 有几篇论文提出了加快广东11选五开奖号码查分类模型的方法,其中输出的数量非常大。 Vijayanarasimhan等。等 尝试使用散列来近似逼近点积,而 文森特 提供某些损失函数(的梯度)的精确表达式,从而避免显式计算输出。在接下来的几周中,我将深入研究这些论文,以更好地理解它们。 (而且,理论上,您可以使用 我们的标签嵌入技术 以避免在GPU上训练极端深度分类器时完全避免输出层,但是YMMV尚未实现它。)