2015年10月13日,星期二

2016年KDD杯CFP

KDD杯是 征求意见 为他们的下一场比赛。对于KDD杯来说,事情变得棘手,因为 CJ的班级不断获胜。从本质上讲,我们了解到,许多特征工程和大型合奏在监督学习任务中表现良好。但是,实际上,CJ通过直接证明某些类型的监督学习非常成熟,为我们赢得了帮助。如果KDD Cup是Kaggle,那会很好,因为此类模型仍具有巨大的经济价值。但是,KDD杯的重点是要进行进一步的研究,因此也要泡菜。

当然,不缺少使合理的竞争主题成为可能的研究方向。可以说,挑战是如何组织挑战。在监督学习的情况下,游戏非常清晰:这是一个带有标签的训练集,这是一个没有标签的测试集,提交答案。有一些复杂的可能 运行排行榜,但大多数情况下,有监督的学习竞赛是一个简单的设置。但是,额外的复杂性将需要一些创新。这里有些例子。
  1. 非平稳环境。在现实生活中,环境正在明显地或对抗性地变化。竞赛可以探索这一点,但大概无法发布测试集来模拟“fog of war”。因此,这意味着提交必须是可执行的,必须定义评分答案的协议,等等。某人必须做一些基础结构工作才能使所有事情发生。
  2. 自动化培训 在这种情况下,比赛甚至不会发布训练集!取而代之的是提交能够采用训练集并生成可在测试集上评估的模型的算法。显然,需要基础设施工作来促进这一点。
  3. 计算约束 邪恶的合奏在现实生活中不会获胜,因为没人会部署这样的模型。实际模型受空间和时间约束。 Soeren Sonnenburg组织了一次 大规模学习挑战 几年前,它试图在计算和样本复杂性约束下评估性能。这是令人钦佩的第一步,但存在一些问题。一个很大的问题:很难提出一个排名函数(在现实生活中:如果可以证明性能有所提高,通常可以协商更多的服务器内存和/或延迟,但是尚不清楚权衡取舍) 。还有其他一些小问题,例如,参与者必须定时自己的算法。此外,竞争并没有解决最终模型的空间复杂性,以我的经验,这非常重要:太大的模型不适合生产机器(考虑到所有其他情况),并且/或者更新时间太长。因此,在这一领域中,竞争设计肯定有创新的空间。
  4. 部分反馈 称之为情境强盗,强化学习,…哎呀,叫香蕉。对于我处理的几乎所有问题,都有一个闭环,其中算法的操作决定了数据的收集。比赛可能会释放部分观察到的历史记录以初始化策略,但实际测试应涉及在线操作,在线行为会产生反馈,从而更新模型等。
上面的共同点是需要定义到竞赛的运行时环境中的接口,当然还要定义运行时环境的实现。但是在某些情况下,还需要定义目标函数。

2条评论:

  1. 我喜欢部分反馈的想法。一世'我一直想知道是否有可能在Kaggle上发生强盗问题'当前的平台,但我不知道't think that'现在可行。

    例如,拥有200台具有可变支付和10000次拉出的老虎机会很酷,并且目标是获得尽可能多的支付。甚至可以添加一些上下文信息,例如一天中的时间或步行小岛的距离。

    回复删除
  2. As for automated training, chalearn is running a challenge on that: http://automl.chalearn.org/

    我也喜欢在Kaggle举办的知识竞赛,任务是弄清楚扑克规则(5张牌手的类别等级)。许多合并的领域知识,例如发牌顺序都没有关系,因此应该是一个全新的游戏。

    回复删除