你真的有大数据吗？

有个 宗教战争 在ML社区酝酿。一方面，那些认为大型集群是处理大数据的方式的人。另一方面，那些认为高端台式机可以提供足够的功能而又不那么复杂的人。我认为这场辩论是由不同的扩展动机驱动的。

1. 对于数据。本质上，有人希望学习尽可能多的数据以获得最佳模型。大型群集可能是该数据的操作存储，并且将数据编组到高端台式机上是不可行的，因此算法必须在群集上运行。原型问题是使用文本特征的广告定位（高经济价值和高数据量）（这样，双线性模型可以很好地实现，但是特征是zipf分布的，因此大数据可以提供有意义的改进）。
2. 用于计算。数据量可能相对较少，但是学习问题在计算上很激烈。这里的原型问题是在自然数据集上使用神经网络进行深度学习（计算成本较高）（尽管其大小通常适合于舒适地放置在桌面上， 这正在改变）以原始表示形式（因此需要非凸面的``特征发现''样式优化）。

因此，即使您仅针对计算进行扩展，为什么不使用群集？具有多个核心和多个GPU的高端台式机实质上是一个（小型）群集，但其中一个具有高速互连。使用时，这种高速互连是关键 新元 解决非凸优化问题。 新元是一种惊人的通用优化策略，但具有致命弱点：它会生成许多小的更新，这在分布式环境中意味着高同步成本。在单台机器上，比在群集上减轻此问题（例如，通过微型批处理和流水线操作）更容易。目前，在商品交换集群上，我们几乎只知道如何很好地解决凸优化问题（使用批处理算法）。

单个桌面的带宽相对有限，这意味着单机工作流程可能始于将大型集群上的数据与运营商店争用（例如，通过Hive），但是在某些时候，数据被二次采样到可以由单机管理的大小。这种二次采样实际上可能很早就开始了，有时是在数据生成时开始的，在这种情况下，它变得隐含了（例如，使用编辑判断而不是行为穷举）。

从这个角度来看，辩论的确是：您需要多少数据才能为特定问题建立良好的解决方案，并且最好是针对较少的数据来解决更复杂的优化问题，而针对较多的数据来解决不太复杂的优化问题。概括的问题是``您真的有大数据吗？''这取决于问题，使宗教战争得以持续。

在这种情况下，以下示例很有趣。我拿了 mnist 并在其上训练了不同的预测变量，在其中我改变了隐藏单元的数量。输入与输出之间存在直接连接，因此零隐藏单位表示线性预测变量。这是我正在寻找的一种``模型复杂度表盘'' 以前的帖子 （尽管这远非理想，因为从0到1的步长将事物从凸变为非凸）。毫不奇怪，添加隐藏单元可以提高泛化能力，但也可以增加运行时间。 （注意：我选择了学习率，通过次数等来优化线性预测器，然后在添加隐藏单位的同时重复使用相同的设置。）

现在想象一下一个计算约束：训练线性预测器只需要27秒。我在每种情况下都随机抽样数据，以使训练时间在所有情况下均约为27秒，然后我评估了整个测试集的概括性（因此您可以将这些数字与上一张图表进行比较）。

对于mnist来说，抛弃数据以学习更复杂的模型似乎最初是个好策略。总的来说，我希望这是高度依赖问题的，作为研究人员或从业人员，最好直觉知道自己偏爱的方法在哪里竞争。 YMMV。