手套和word2vec的主要区别是什么？ [英] What's the major difference between glove and word2vec?

问题描述

word2vec和手套有什么区别？ 训练单词的两种方法都是嵌入的吗？如果是，那么我们如何才能同时使用两者？

推荐答案

是，它们都是训练单词嵌入的方法。它们都提供相同的核心输出：每个单词一个向量，这些向量以有用的方式排列。也就是说，向量的相对距离/方向大致符合人类对整体词汇关联性的看法，甚至在某些显著的语义维度上也符合关联性。

word2vec通过在训练语料库上重复迭代，对神经网络进行递增的"稀疏"训练。

Glove使用向量来对从语料库构建的巨大单词共现矩阵进行建模。

从相同的语料库工作，创建相同维度的词向量，并同样关注元优化，它们得到的词向量的质量将大致相似。(当我看到有人自信地声称其中一种算法肯定更好时，他们经常会将一种算法的一些微调/最佳用法与另一种算法的一些粗略/武断的默认情况进行比较。)

我更熟悉word2vec，我的印象是word2vec的培训可以更好地扩展到更大的词汇量，并且具有更多可调整的设置，如果您有时间，可能会允许根据您的特定应用程序调整您自己训练的单词向量。(例如，使用小值与大值window参数可以很大程度上决定单词的近邻是"临时替换单词"还是更一般的同一主题中使用的单词。不同的下游应用可能更喜欢这样或那样倾斜的单词向量。)

相反，一些手套的支持者吹嘘它在不需要参数优化的情况下做得相当好。

除非将它们相互比较，否则您可能不会同时使用两者，因为它们对于单词向量的任何下游应用都起着相同的作用。

这篇关于手套和word2vec的主要区别是什么？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！