《词向量表示技术》由会员分享，可在线阅读，更多相关《词向量表示技术（2页珍藏版）》请在装配图网上搜索。
1、神经网络词向量表示技术1. 上下文表示的不同除了 Skip-gram 模型使用词作为上下文表示之外，其它模型均使 用 n-gram 作为上下文表示，而这些表示使用不同的组合策略构造 n-gram 的表示。如 CBOW 模型使用 n-gram 中各词词向量的平均值 作为上下文表示； Order 模型使用 n-gram 中各词词向量的拼接作 为上下文表示，这种方法可以看做词向量的线性组合； LBL 模型则 是直接对 n-gram 中各词的词向量做了线性变换； NNLM 和 C&W 模型更是做了非线性变换。OrderLBLNNLMSkip-ramCBOWC&W模型的结构复杂度2. 模型复杂度参数个数
2、从模型结构上看， CBOW 模型与 Skip-gram 模型相比，采取了 更复杂的上下文表示方法，用上下文词向量的线性叠加代替了随机选 取其中一个词的词向量。Order相比CBOW模型在上下文表示时, 保留了词序信息。 LBL 在保留词序信息的同时，还进一步使用线性 变换，使模型具有上下文的语义组合能力。 NNLM 与 C&W 模型进 一步采用了非线性激活函数，使得整个模型为神经网络结构，表达能 力强于 LBL 的双线形结构。3. 参数个数C&W 模型只有一份词向量，而其它模型均维护了两份词向量， 因此C&W模型的参数个数最少，为|e|X|V| + (win + l)|h|o其中 |e|为词向
3、量的维度，|V|为词表大小，|h|为隐藏层的维度，win为 上下文窗口的大小。Skip-gram与CBOW模型只使用了两份词向量, 而没有其它额外的模型参数，参数个数为 2|e|X|V|o LBL 和 NNLM 这两个模型在 CBOW 等模型的基础上加入了隐藏层，因此增加了一 个输入层到隐藏层的权重矩阵,其参数个数为(|e| + |h|) x |V| + (win1) |e| x |h| o参数最多的Order模型由于既保持了上下文的词序信 息，又采用了线性结构，因此在模型中，词当作目标词时的词向量e，, 其维度需要与作为上下文时的词向量的维度和一致，因此总参数个数 为win|e|X|V|。时间复杂度。揍型上下文的表亦目标词与苴上下文关系Skip-gram 73CBOW 73 Order LBL 79 NNLM.7 C& W17上下文中某一个词的词向量 上下文各词词向量的平均值 上下文各词词向量的拼接 上下文各词的语义组合 上下文各同的语义组合 上下文各词与目标词的语义组合1上下文弼测冃标词 上下文预测目标词 上下文预测ti标词 上下文预测目标词 上下文预测冃标词 上匸文和目标词联合打分
词向量表示技术
