从经典结构到改进方法，神经网络语言模型综述

尽管使用过去和未来的上下文的双向语言模型(BiLM)已经取得了进展，但仍然需要注意的是，BiLM 不能够被直接用于 LM，这是因为 LM 是定义在当前单词之前的上下文中的。由于单词序列可以被视为一种同时输入的序列，因此 BiLM 可以被用于其它的 NLP 任务(如机器翻译、语音识别)。

(4) 缓存模型

「最新出现的单词可能会再次出现」。基于这个假设，缓存机制最初被用于优化 N 元语言模型，克服了对依赖的长度限制。该机制会在缓存中匹配新的输入和历史数据。缓存机制最初是为了降低 NNLM 的困惑度而提出的。Soutner 等人于 2012 年试图将 FFNNLM 与缓存机制相结合，提出了基于缓存的 NNLM 结构，导致了离散概率变化问题。为了解决这个问题，Grave 等人于 2016 年提出了连续的缓存模型，其中变化依赖于隐藏表征的内积。

（编辑：我爱故事小小网_铜陵站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!