词向量(Word embedding),即把词语表示成实数向量。“好”的词向量能体现词语直接的相近关系。词向量已经被证明可以提高NLP任务的性能,例如语法分析和情感分析。
图1:词向量示意图
Notebook | Description | |
---|---|---|
01_word_embedding/01_文本表示.ipynb | 文本向量表示 | |
01_word_embedding/02_词向量Skip-gram模型.ipynb | 实现skip-gram词向量模型 | |
01_word_embedding/03_Word2Vec.ipynb | 基于gensim使用word2vec模型 | |
01_word_embedding/04_Doc2Vec.ipynb | 基于gensim使用Doc2Vec模型 | |
01_word_embedding/05_Bert向量.ipynb | 使用Bert模型取文本向量 |