SOURCE / w2v-efficient-estimation-2013

Efficient Estimation of Word Representations in Vector Space(arXiv:1301.3781v3)

CBOW 与 Skip-gram 两种架构、向量算术示例、维度与语料量对照表(Table 2 / 4 / 5 / 7)、大规模并行训练与类比题口径;公开件为 2013-09-07 的 v3,不是首版字节。

权利说明

版权声明:原论文、项目页、源码与讲座视频的权利归作者、出版方、机构及相关权利人;《原代码》保留署名与原始来源,公开快照与节选用于技术评论和证据核查,不据此宣称取得权利方书面许可。完整第三方音视频不在本站托管。

被引用位置

原句把这条算式的展示记为引用 [20],即更早的文献;本文的贡献是设计新架构以提高这类运算的准确性。因此口播不说'他们发现词向量能做算术',只说'这条算式成立'。三百维的说法来自 §4 的实验配置(300 维),也来自 05 段那个预训练包,不是唯一可能取值。

返回逐字稿段落 arith-open-3

支撑的是两种架构的方向、'输出层在词表上归一化很贵'、以及层次 softmax 沿树路径选择这一机制;原文给的是复杂度表达式,不承诺任意词表规模都可行。口播里的'二十层上下'是按 692K 词表取 log2 的量级推算(≈19.4),Huffman 树对高频词更浅、罕见词更深,故只说'上下',不当作论文数值。

返回逐字稿段落 pred-2返回逐字稿段落 pred-4返回逐字稿段落 pred-7

Table 3 与 Table 4 的语料不同(LDC 320M vs Google News 783M),口播在 table-7 / table-8 已明确禁止相减;八周指那台 RNNLM 在 LDC 数据上的训练时长,不与 Table 5 的'一天 / 三天'构成同一实验。Table 2 为 CBOW、30k 词表限定,不外推为通用定律。

返回逐字稿段落 table-6返回逐字稿段落 table-7返回逐字稿段落 table-8返回逐字稿段落 table-9返回逐字稿段落 table-10返回逐字稿段落 table-11返回逐字稿段落 table-12