2.2 前深度学习时代的词向量

2.2.1 独热向量

在深度学习之前，比较常用的办法就是使用独热向量（One-Hot Vector）表示词。假设词表大小是n，某个单词的ID是i，那么就可以给它分配一个n维向量，其中第i维的值为1，其他维度的值都是0。这种表示仅仅是将单词转换成了向量，却无法有效地衡量单词之间语义的远近关系——任何两个词向量之间的距离都相等。