Word2Vec 是一种将词语映射为固定维度向量的技术，常用于自然语言处理任务中，特别是在语义理解、文本相似度和机器翻译等方面。它通过神经网络模型学习词语之间的关系，并将语义相似的词映射到相近的向量空间。
Word2Vec 主要有两种训练模型：
1. Skip-gram 模型：
Skip-gram 模型的目标是利用当前词语预测上下文词语。假设我们有一个句子， The quick brown fox jumps over the lazy dog ，如果我们选择“fox”作为中心词，Skip-gram 模型的任务就是通过“fox”来预测周围的上下文词汇（例如，“quick”，“brown”，“jumps”，“over”）。
模型结构：
- 输入层：当前词（也就是中心词）。
- 隐藏层：一个神经网络隐藏层，它将输入词嵌入到一个固定维度的向量空间中。这个隐藏层的输出实际上就是词向量。
- 输出层：模型根据当前词预测上下文中的词。
优点：
- Skip-gram 适合于稀有词的训练。
- 它能更好地捕捉到词语之间的关系，特别是通过远距离的上下文。
2. CBOW（Continuous Bag of Words）模型：
CBOW 与 Skip-gram 相反，它是通过上下文词语来预测中心词。比如在同样的句子中，给定词“quick”，“brown”，“jumps”，“over”，CBOW 模型的任务就是预测中心词“fox”。
模型结构：
- 输入层：上下文词语。
- 隐藏层：隐藏层是上下文词向量的平均值（或加和）。
- 输出层：通过隐藏层向量来预测中心词。
优点：
- CBOW 更适合频繁出现的词汇，训练速度较快。
Word2Vec 的训练流程：
-
词语预处理：
- 将文本分词。
- 除去停用词（例如：the, is, at 等），这些词语在很多 NLP 任务中可能并不携带有效的语义信息。
-
建立词汇表：
- 将语料库中的所有唯一词语列出。
-
选择模型：
- 可以选择 Skip-gram 或 CBOW，根据任务和数据的特性决定。
-
训练模型：
- Word2Vec 使用负采样（Negative Sampling）和层次 Softmax（Hierarchical Softmax）等优化方法来加速训练过程。
- 负采样是指，对于每个正样本（即实际的上下文对），会随机采样一定数量的负样本来训练模型。这样可以减少计算量。
-
学习词向量：
- 通过反向传播算法，不断调整权重，使得词向量逐渐学习到有意义的语义关系。
Word2Vec 的应用：
- 文本相似度：通过计算两个词向量的余弦相似度，可以得到这两个词的语义相似度，常应用于搜索引擎和问答系统。
- 词类推理：比如，“King - Man + Woman = Queen”，这就是通过词向量的线性关系来推理词汇的性别等属性。
- 情感分析：通过对文本的词向量表示，可以更好地捕捉文本中的情感信息。
- 机器翻译：通过词向量的共享空间，Word2Vec 能在多语言之间传递相似的语义。
Word2Vec 的优缺点：
优点：
- 词语关系捕捉能力强：能够捕捉到词汇之间的语法、语义关系，尤其是通过类似“国王 - 男人 + 女人 = 女王”这样的词类推理。
- 高效性：相比于传统的词袋模型（Bag of Words），Word2Vec 更加高效，能够利用词汇的上下文信息。
- 广泛应用：它在许多自然语言处理任务中表现优异，包括文本分类、情感分析和问答系统等。
缺点：
- 不考虑词序列信息：尽管它能捕捉到语义关系，但它不能保留单词顺序的语法信息。
- 无法处理稀有词：Word2Vec 对低频词的处理效果较差，尤其是在一些特定领域的应用中，可能会面临缺乏足够数据的问题。
- 大规模训练耗时：尽管负采样有一定的优化，但在面对非常大的语料库时，Word2Vec 的训练仍然是一个计算密集型过程。
与其他模型的比较：
- Word2Vec vs GloVe：GloVe（Global Vectors for Word Representation）是另一种词嵌入方法，它通过利用词汇的共现统计来学习词向量。与 Word2Vec 不同，Word2Vec 更关注局部上下文，而 GloVe 注重全局信息。两者的差异在于训练目标的不同，但都能生成有效的词向量。
- Word2Vec vs BERT：BERT（Bidirectional Encoder Representations from Transformers）是近年来发展起来的基于 Transformer 的预训练语言模型。与 Word2Vec 不同，BERT 是一个上下文相关的词向量模型，意味着每个词的向量可以根据上下文的不同而变化。
如何实现 Word2Vec：
可以使用现有的库（如 Gensim 或 TensorFlow）来训练 Word2Vec 模型。
from gensim.models import Word2Vec
# 假设 sentences 是一个包含文本数据的列表，每个元素是一个单词列表
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
# 保存模型
model.save("word2vec.model")
# 获取某个词的词向量
vector = model.wv['king']
# 词向量的相似性
similarity = model.wv.similarity('king', 'queen')
