C-018-001 / Word2Vec:一个词变成一个坐标
supports原句把这条算式的展示记为引用 [20],即更早的文献;本文的贡献是设计新架构以提高这类运算的准确性。因此口播不说'他们发现词向量能做算术',只说'这条算式成立'。三百维的说法来自 §4 的实验配置(300 维),也来自 05 段那个预训练包,不是唯一可能取值。
返回逐字稿段落 arith-open-3版权声明:原论文、项目页、源码与讲座视频的权利归作者、出版方、机构及相关权利人;《原代码》保留署名与原始来源,公开快照与节选用于技术评论和证据核查,不据此宣称取得权利方书面许可。完整第三方音视频不在本站托管。
原句把这条算式的展示记为引用 [20],即更早的文献;本文的贡献是设计新架构以提高这类运算的准确性。因此口播不说'他们发现词向量能做算术',只说'这条算式成立'。三百维的说法来自 §4 的实验配置(300 维),也来自 05 段那个预训练包,不是唯一可能取值。
返回逐字稿段落 arith-open-3支撑的是两种架构的方向、'输出层在词表上归一化很贵'、以及层次 softmax 沿树路径选择这一机制;原文给的是复杂度表达式,不承诺任意词表规模都可行。口播里的'二十层上下'是按 692K 词表取 log2 的量级推算(≈19.4),Huffman 树对高频词更浅、罕见词更深,故只说'上下',不当作论文数值。
返回逐字稿段落 pred-2返回逐字稿段落 pred-4返回逐字稿段落 pred-7默认值不等于论文实验配置;论文里跑出表格数字用的是 300–600 维、783M–1.6B 词等另一套设置。项目页清单是经验陈述,不是最优配置的保证。
返回逐字稿段落 pred-17返回逐字稿段落 pred-18所有数字只在同表、同语料、同维度内比较;`-30 / -50` 是训练样本最大长度,不是隐藏层维度;不使用集成或重排类数字;摘要的'不到一天'只对应特定配置。
返回逐字稿段落 table-2返回逐字稿段落 table-3返回逐字稿段落 table-4返回逐字稿段落 table-15返回逐字稿段落 table-19两处口径一致:论文自注引用 [20],项目页把更早那篇 NAACL 论文排在前面。因此不能说 2013 年首次发现词向量可做算术。
返回逐字稿段落 table-13Table 3 与 Table 4 的语料不同(LDC 320M vs Google News 783M),口播在 table-7 / table-8 已明确禁止相减;八周指那台 RNNLM 在 LDC 数据上的训练时长,不与 Table 5 的'一天 / 三天'构成同一实验。Table 2 为 CBOW、30k 词表限定,不外推为通用定律。
返回逐字稿段落 table-6返回逐字稿段落 table-7返回逐字稿段落 table-8返回逐字稿段落 table-9返回逐字稿段落 table-10返回逐字稿段落 table-11返回逐字稿段落 table-12两个数字口径不同:前者是项目方对'最好结果'的自述(配置未给),后者是论文同表内的实测。差异的解释(语料 100B vs 783M)依据项目页 Pre-trained vectors 的语料规模说明,属编辑解释,不是论文结论。
返回逐字稿段落 tool-10返回逐字稿段落 tool-11表 6 的训练词量为 6B(Google News 6B 数据集),不是 1.6B;口播在 table-17 已说明它与摘要'不到一天'不是同一实验。表 7 说明 Skip-gram 单独在此任务上不如 LSA / log-bilinear / RNNLM,口播按此如实交代,不用它做胜利叙事。
返回逐字稿段落 table-16返回逐字稿段落 table-17返回逐字稿段落 table-18该表本身包含错误示例(Japan − sushi → France 给出 tapas,实为西班牙小吃),论文照列,口播已如实指出;'约六成'是论文按精确匹配自评的口径,不是排行榜数字,不外推。
返回逐字稿段落 recall-8返回逐字稿段落 recall-9