EP.018 / PUBLISHED
Word2Vec:一个词变成一个坐标
从猜邻居里长出来的一条方向
没有人告诉模型"国王与男人的差别是王权",可这条算式偏偏落在 Queen 附近——它凭什么成立?本期《原代码》从 2013 年 Google 那篇论文出发,沿着 CBOW 与 Skip-gram 两种架构、两张不能相减的对照表、一段可以直接下载的 C 实现,走到三年后那篇讨论词向量偏见的论文。

从猜邻居里长出来的一条方向
没有人告诉模型"国王与男人的差别是王权",可这条算式偏偏落在 Queen 附近——它凭什么成立?本期《原代码》从 2013 年 Google 那篇论文出发,沿着 CBOW 与 Skip-gram 两种架构、两张不能相减的对照表、一段可以直接下载的 C 实现,走到三年后那篇讨论词向量偏见的论文。

没有人告诉模型"国王与男人的差别是王权",可这条算式偏偏落在 Queen 附近——它凭什么成立?本期《原代码》从 2013 年 Google 那篇论文出发,沿着 CBOW 与 Skip-gram 两种架构、两张不能相减的对照表、一段可以直接下载的 C 实现,走到三年后那篇讨论词向量偏见的论文。
从一个被猜中的邻居,到一条可以被算出来的方向:同一个机制,既留下了语言里的秩序,也留下了语言里的偏见。
你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
00:00 先算一遍,再问是谁教的
00:54 2013 年,四个人的任务小得离谱
02:39 原声:讲者回顾这一步
03:34 猜邻居,怎么就留下坐标了
08:40 原声:从一个类到一串数
10:23 同一份数据,两种架构,两个世界
16:03 它先是一个工具,然后才是一篇论文
21:22 一个词,被压成了一个点
24:23 再算一次那条算式
26:35 启下:一个点不够用
King − Man + Woman ≈ Queen 的算式不是这篇论文首次展示的:论文 §1 把它标成一个引用,项目页也把更早的 NAACL 论文排在前面。这篇论文的贡献是把这类运算的准确率抬上去,并给出别人能复现的规模。