2011年7月6日,星期三

快速逼近集合

我将各种快速(矢量化)近似值捆绑在一起 在Google代码上进行项目.

CISC的复仇

因此,就像我们现在所听到的那样,我的童年Commodore 64时钟速度的千倍增长已不再重复。像其他科学计算社区一样,机器学习社区正认真地拥抱多核和集群计算,以便进一步扩展,这是一件好事。

但是,这项练习告诉我的是,计算机的速度越来越快:不是以时钟速度而言,而是每个时钟滴答完成了多少工作。芯片设计人员不仅会发布新的令人敬畏的指令,而且还会与每个芯片版本一起使用,以提高其效率(例如,更少的延迟,停顿)。如果您使用的是最新版本的编译器,例如gcc 4,则某些收益会自动累积 自动向量化 但是gcc 3没有。这就是为什么我``仅''看到与之相比又增加了20%的原因之一 LDA实现的向量化 在Vowpal Wabbit中:编译器已经对明显的东西进行了矢量化处理(例如,点积,循环累加计数器),但还不足以识别我的digamma,lgamma和指数近似值也可以进行矢量化处理。如果您使用gcc 3编译Vowpal Wabbit,则可能要付出速度损失。

好吧,那又如何呢?要达到PB级,还是需要一个集群,对吗?那么,存在很多问题,在笔记本电脑上拥有几GB的样本数据对于快速实验很有用。因此,它有助于以最快的速度实现在笔记本电脑上运行的学习算法。要快速实现,请注意指令集!

没意见:

发表评论