更好的标签相似性可视化

好吧，我花了整个周末的大部分时间来改善自己的 标签相似度可视化，没有很好的理由，只是发痒时就必须挠痒。这就是最终看起来最好的东西。

1. 计算每个哈希标签的词项频率向量。
   
   1. 对于每个推文X：
      
      1. 对于X $中的每个主题标签$ h：
         
         1. 对于X $中的每个非标签令牌$ t \：
            
            1. $（h，t）$的增量计数。
2. 计算前1000个最常用的标签中的每个标签对的成对余弦$ \ cos \ theta（h，h ^ \ prime）$。
3. 将相似度定义为$ s（h，h ^ \ prime）= \ arccos（\ cos \ theta（h，h ^ \ prime））$。
   
   1. 与$ 1.0-\ cos \ theta（h，h ^ \ prime）$相比，我得到的负特征值更少。这是在超球面上移动和跨越超弦之间的区别。
4. 做60维 MDS 在$ s $。
   
   1. 60个特征值中有两个为负，因此我将其视为0。所以实际上是58维MDS。
   2. 我在这里得到任何负特征值时感到有些惊讶，因为我所有的项向量都占据了超球面的正超象限。显然，我的超直觉需要超调……或者我有一个错误。
5. 将产生的60维表示输入 吨位 .
   
   1. 我使用困惑10。

我选择t-SNE是因为高维结构似乎是相对孤立的簇。我推断是因为我将邻域定义为$ \ epsilon \ theta $球并运行 弗洛伊德·沃歇尔 在邻域图中，我注意到我必须使用一个非常大的邻域（$ \ cos \ theta \ geq 0.8 $），然后才能获得足够大的连接组件以变得有趣。

最终，当我绘制此标签时，我尝试将颜色随机化，以便在所有标签相互叠放时能够看到一些东西。真的png不能公正，您应该得到 pdf版本 并放大。