2012年8月1日,星期三

可扩展的半监督深度广东11选五开奖号码查

尽管我一直对深度广东11选五开奖号码查研究人员的目标表示同情,但到目前为止,在实践中,深度广东11选五开奖号码查技术并未在我的职业中扮演重要角色。我选择为具有大量数据(行为性数据耗尽)的数据公司(大多数为离散或文本形式)(例如文本搜索广告,约会个人资料和推文)工作。因此,我仅依靠浅层广东11选五开奖号码查算法(线性或轻度非线性)和手动调整的特征构造。

如果深度广东11选五开奖号码查很棒,那么就不需要像我这样的人付钱,将原始数据整理成更适合于浅层广东11选五开奖号码查算法的形式。我也不认为历史会善待人类特征工程的能力。文本数据是一个例外,因为它易于使用:天真的编码(例如,一包bigrams)是一个很好的起点,并且有很多可用的辅助信息来源可以与令牌结合使用。相比之下,计算机视觉社区似乎面临着更加困难的问题。尽管从历史上看,按Internet标准来说,它们标记的数据集很小,但是由于众包和公共数据库定义的努力,近年来这种情况已得到缓解。因此,问题似乎在于像素比文本更难以使用。这很直观:文本有时会拼写错误,多义或惯用;但像素必须处理照明,姿势,遮挡等。

最近,由斯坦福大学,谷歌大学和纽约大学组成的深度广东11选五开奖号码查和计算机视觉研究团队取得了令人兴奋的进步, 这个演讲这个视频。基本思想是利用大规模无监督技术生成特征,然后利用这些特征解决多个有监督的广东11选五开奖号码查问题,即半监督体系结构。对于无监督的部分,他们使用具有神经网络解释的稀疏编码器。值得注意的是,它们不仅针对计算机视觉,还针对各种问题显示出优异的结果。

另一种流行的无监督广东11选五开奖号码查方法是生成概率模型。从历史上看,这在计算上是昂贵的,因为两个最流行的技术系列(蒙特卡罗和变分方法)都不是速度守护程序。如果生成模型可以有效地缩放,那么稀疏编码器可能会赢得一些竞争。

因此,我为 霍夫曼等等 关于随机变异推论(SVI)的论文。对于可变方法,SVI本质上是随机梯度下降(SGD)的类似物。注意SVI已经作为Vowpal Wabbit(VW)潜在Dirichlet分配(LDA)实现的基础已经被证明是可靠的技术,但有一个重要警告:VW LDA实现非常快速,但仅使用一个内核。此警告和与SGD的类比应该在这里引起危险。当适用于单个内核时,SGD通常占主导地位。当梯度计算有些繁琐时,多核SGD通常也占主导地位,就像我们希望将SVI应用于生成模型中一样。另一方面,分布式SGD并不是简单的灌篮,因为I / O考虑开始占主导地位。相应地,分布式SVI在实践中可能效果不佳,至少对于某些没有实现技巧的生成模型而言,这种效果不佳。但是,由于SVI广泛适用,因此值得一试。 (请注意,谷歌家伙所做的一些很酷的事情可以概括为``制作分布式SGD工作'')。

另一个有希望的方向是线性代数方法在诸如LDA之类的潜在模型中的兴起。还记得语义建模和SVD是同义词吗? (如果是这样,您还记得Excite和Lycos。) 阿南库玛(Anandkumar)等等 表明使用两个SVD和三阶(trigram)统计数据可以恢复LDA中的潜在主题结构。在开发可伸缩的分布式线性代数库方面已经付出了巨大的努力,因此,这一研究领域最终可能会产生最快的潜在因子模型实现。

没意见:

发表评论