2012年6月29日,星期五

我的ICML 2012杰出人物

我已经在整个博客文章中投入了一些ICML 2012论文,但是还有其他一些论文引起了我的注意,对此我仅作简单评论。

  • 通过主动学习进行在线结构化预测: 阅读 完整的博客文章.
  • 用排名损失预测准确的概率: 阅读 完整的博客文章.
  • 在单词观察中训练受限的Boltzmann机器。我已经十多年没有使用RBM了,对于实际的文本分类问题,通常用袋形图表示就足够了,而LDA是我的首选技术,用于文本的无监督特征提取。那我为什么喜欢这篇论文呢?首先,计算效率的提高似乎是可观的,这始终是令人感兴趣的:我喜欢理论上的深度学习,但实际上我很耐心。其次,发现文本(5克!)中更高阶结构的想法很有趣。第三(类似于LDA),该技术显然更普遍适用,我想知道它将在社交图表上做什么。所有这些都表明我有可能在实际问题上进行尝试。
  • 新功能实用程序的快速预测:我一直处于尝试选择下一个要尝试的功能的情况,并且与损失函数的负梯度相关联很直观。
  • 用于测试在线可交换性的插件Martingales:如果在线学习模式下的大众汽车输出警告说``输入数据似乎不是由可交换的分布生成的,那会是多么棒;尝试随机改组数据以提高通用性。''
  • 局部判别高斯降维:这似乎迫在眉睫。主要限制是它是一种有监督的降维技术,因此它适用于以下情况:存在标记数据不足的问题和使用相同特征且具有大量标记数据的相关问题(这是特例)的 转移学习)。我通常会在``少量标记数据和大量未标记数据''案例中发现自己需要无监督技术,但这可能是因为我没有经常问自己以下问题:``是否存在一个相关问题与之相关的大量训练数据吗?''
  • 使用最小图聚类查找僵尸网络: 非常有趣。一次面试中有人问我如何处理从搜索日志中识别和过滤自动流量。没有``正确答案'',而且黑字母机器学习技术显然不适用,因此创造力非常重要。

2012年6月27日,星期三

等级+ IR

门农等等在有论文 集成电路 2012用排名损失预测准确的概率。基本思想是针对排名损失(例如AUC)训练分类器,然后使用 等渗回归 校准分类器。与使用 适当的计分规则 (例如,逻辑回归),此过程会非参数地探索链接函数的空间,并声称这会带来更好的结果。请注意,从模型复杂性的角度来看,非参数地探索链接函数的空间在直觉上是``安全的'',因为这是一维过程,对基础分类器输出的分数进行运算。

事实证明,我们在eHarmony意外地支持了这一点。当我加入生产系统时,顺序交付了比赛,所以我们从排名损失开始。后来,生产系统转而使用线性程序进行比赛,最简单的方法是在训练流水线的末尾添加校准步骤,然后使用线性插值进行等渗回归。我们想改用具有正确评分规则的直接训练进行分类,但是我们开始 对负数进行二次采样 因此我们需要继续校准分类器,因此从未发生过。我们一直都在怀疑自己是``不连贯的''。嘿,幸运总比好要好。现在,如果我发现自己将来处于类似情况,那么我将能够阐明该方法的基本原理。

这里的元课程是,如果您是一名应用机器学习的从业人员,并且看到上面写有Charles 尔坎的名字的论文,则应该阅读。我还没有失望。

2012年6月26日,星期二

关于链接预测的思考

我正在读Richard等的论文。等来自 集成电路 2012论文清单同时稀疏和低秩矩阵的估计。我不确定为什么直到现在我仍将这两个想法混为一谈,但回想起来,它们显然是不同的,并且可能要针对这两个进行优化。自从 潜在特征日志线性 Mennon和Elkan(LFLL)模型本质上是一种低阶矩阵分解算法,我想知道如何在其中同时执行稀疏性;我认为在潜在功能上使用$ L_1 $正则化函数可能值得尝试。

但是,这篇论文也让我思考了链接预测。这是这篇论文的引文:
链接预测 -矩阵$ A $是部分观测图的邻接矩阵;不存在和未发现的链接的条目均为0。搜索空间像以前一样不受限制,矩阵$ S $包含链接预测的分数;理想损耗函数是每个系数的零一损耗的经验平均值\ [
l_ {E}(S,A)= \ frac {1} {| E |} \ sum _ {(i,j)\ in E} 1 _ {(A_ {ij}-1/2)\ cdot S_ {ij} \ leq 0}。
\]
所以我读为,``这是一个 P-U问题 我们正在简化为逐点分类。'' 首选方法 对于P-U问题,是降低到排名(AUC损失)。链接预测会是什么样?
  1. 实例是边(即,成对的顶点加上二进位的特定信息)。
  2. 减少AUC是成对分类,即成对的边或成对的顶点。
  3. 邻接图中的每个正(观察)边都将与未标记(未观察或未开发)边配对,后者可能从所有可能的边上均匀地绘制;或可能从给定一个顶点的所有可能边缘开始(``每个顶点AUC'')。
  4. 最终的分类模型可以是纯粹的潜伏模型(例如,纯LFLL),也可以是纯粹由特征驱动的模型(例如,使用 大众)或组合(例如带有辅助信息的LFLL)。
    1. 根据我的经验,与纯粹的LLFL不同,带有辅助信息的LLFL很难训练。

下次我遇到链接预测问题时,我将稍作讨论。

2012年6月25日,星期一

互动学习

Shivaswamy和Joachims的论文叫做 通过主动学习进行在线结构化预测集成电路 2012 今年。当然,Joachims与经典的 研究 因此,我将总结一下:试图从行为数据消耗中估算绝对相关性分数是无效的,而利用注意力模型(例如,串行扫描)来估算相对偏好则更为有效。这是您可以带入许多不同情况的那些``深层技巧''之一。

因此,经典示例是当您获得搜索引擎结果时,仅在特定位置$ p $上单击一次,而注意模型假定用户考虑了该位置之前的每个结果再加上一个。因此,部分偏好$ \ forall x \ in [1,p + 1],x \ neq p:r_p>显示r_x $并将其添加到(排名)训练集中。

在我职业生涯的后期,我开始欣赏随机的背景强盗,尤其是为了获得一致的估计值而对历史国家行动密度进行偏置的重要性。这给我带来了一个矛盾:一方面,利用点击反馈优化搜索引擎无疑是必不可少的。 通过探索学习,因为您仅获得有关所显示项目(子项目)的相对偏好的信息。另一方面,当我直奔约阿希姆斯时,我并没有试图消除历史国家行动密度的偏见。

我希望本文能为我解决这个难题。做到了,但是没有达到我的预期。引言中仅提及背景强盗文学是出于比较目的。相反,作者做出以下假设:
  1. 用户损失在(线性)效用差异中凸显出来。
  2. 用户仅提出改进建议(即用户反馈始终指向``下坡'')。
  3. 用户仅建议进行重大改进(即反馈状态的效用增量至少与最佳增量成比例)。
在这种情况下,明智的做法是采用Perceptron风格的算法来实现良好的后悔约束。作者还探索了这些假设的放松(例如,改进仅在预期上有意义,或者反馈有时指向下坡)以及由此产生的后悔保证降低。

我怀疑分析看起来不像我预期的那样,因为在上一段条件的限制下,可以从对抗性方面选择用户反馈。尽管如此,考虑一种``上下文强盗风格''表述可能是有趣的,例如,不是学习与所选手臂相关的奖励,而是学习所选手臂与另一手臂的奖励之间的差异。一个好的起点是关于 具有受控辅助信息的背景强盗,但此处的主要区别在于用户反馈不受算法控制。

2012年6月7日,星期四

不再隐身!

我目前在的创业公司 公开发布 今天。这是一个社交图片共享网站,名为 爱它。目前这是一个拥挤的空间,但我们尝试引入一些创新的新功能。我从事的与机器学习有关的一项工作是推荐系统。这是一个示例屏幕截图,其中的建议位于右下角。



图片为 混搭 通过 DJ耳虫 (谁真棒!)。在这种情况下,第二个建议是非常明智的音乐收藏,但第一个建议则更具疑问(着眼于化妆舞会)。希望随着我们产生更多行为数据,该系统将变得更好。我注意到图像推荐比文本推荐更宽容:图像的含义不那么精确,因此人们更愿意发明奇怪的推荐为何有意义。

从概念上讲,系统是沉重的 尔坎 启发。该实现是以下各项的组合 弹性搜索Vowpal兔子,与 Erlang。棘手的部分是使它能够快速(大约100毫秒)进行计算,在这方面,Elasticsearch和Vowpal Wabbit都是出色的软件!

大图

当我第一次进入互联网时,我遇到的最常见的机器学习需求是优化绩效营销(另一大需求是算法搜索,但南加州在该领域并不是主要参与者)。如今有 许多 聪明 公司 专注于 科学广告。在我看来,如果您有一些机器学习敏锐度,并且有一些大胆的后继A创业公司声称用一种新算法来革新互联网广告,从而试图招募您,那么请采用另一种方式!在这个领域,可能还有许多较小的出口出售给主要的广告网络,但是除非您拥有大量股权,否则它不会改变您的生活。

幸运的是,无处不在的机器学习需求有了新的联系:内容推荐,个性化,概述和可视化。这是由多种趋势的交叉驱动的,包括用户生成的内容,社交网络和智能手机的增长。例如,推特(Twitter)已将每个人都变成了情报分析人员,他们陷入了一片混乱。可以扫描所有Twitter并浮出水面(个性化)的技术 东西 实时会非常有趣。此外,正如Google证明的那样,如果您将自己定位为用户可信赖的发现工具,则可以轻松获利。因此,如果您接到一家声称要解决此类问题的初创公司的招聘电话,我的建议是认真考虑一下。