一般的前馈神经网络中, 输出的结果只与当前输入有关与历史状态无关,而RNN神经元的历史输出参与下一次预测。

静态词向量指的是一个单词用一个唯一的词向量表示并不考虑上下文的变化,它最大的缺点是无法表达多意性。为此,诞生了动态词向量。

分布表示研究了上下文的概率分布,认为上下文相似的词,其语义也相似,由此将语义引入到文本表示中,词与词之间有了距离的概念。

离散表示将文本视为离散的一个个词的组合,词与词之间没有距离的概念,主要有词集模型和词袋模型两种思想。
0%