返回系列索引
SERIES / ACTIVE

大语言模型前史

从图灵、冯·诺依曼到 GPT-1。这是一条从形式计算、机器记忆、信息概率、学习与注意力一路走到生成式预训练的节目线索。它不把大语言模型讲成突然出现的发明,也不把八十多年的计算史压成一条注定抵达今天的直线。

8 期已发布 / 10 期规划 / 更新于 2026-11-10

节目顺序

EPISODES 011–020
  1. EP.011
    已发布

    模仿游戏:Alan Turing 与图灵机

    一个过大的问题怎样被改写成可执行的计算动作,或一场可以观察的问答游戏。

    代表人物
    Alan Turing
    技术对象
    Turing machine、universal computation、imitation game
  2. EP.012
    已发布

    “冯·诺依曼架构”:从 EDVAC 到大语言模型

    程序成为机器记忆中的对象后,程序、状态、控制与执行的关系怎样跨越不同尺度,并在性能压力下重新显形。

    代表人物
    John von Neumann
    技术对象
    stored-program computer、programming languages、data reuse
  3. EP.013
    已发布

    信息熵:Claude Shannon 与下一个字母

    语言怎样变成可以预测和度量的概率分布。

    代表人物
    Claude Shannon
    技术对象
    entropy、conditional probability、character prediction
  4. EP.014
    已发布

    感知机:Frank Rosenblatt 与会犯错的机器

    机器怎样从样本和错误中修改参数。

    代表人物
    Frank Rosenblatt
    技术对象
    perceptron、learnable weights、linear separability
  5. EP.015
    已发布

    专家系统:Edward Feigenbaum 与 DENDRAL

    从 DENDRAL 的化学判断、知识获取与规则学习,讨论显式知识的能力、维护成本及其与语言模型的不同路径。

    代表人物
    Edward Feigenbaum
    技术对象
    symbolic knowledge、heuristic search、knowledge engineering
  6. EP.016
    已发布

    n-gram:Frederick Jelinek 与 IBM 的语言概率

    从 IBM 的候选词序列、三词统计与插值,追踪独立检验、语言表示和近期流式语音识别的声音依据。

    代表人物
    Frederick Jelinek
    技术对象
    n-gram、HMM、perplexity、noisy channel
  7. EP.017
    已发布

    LSTM:Sepp Hochreiter 与消失的梯度

    从少糖点单进入训练困难与 LSTM 门控,再以聚餐改时追踪长上下文、检索、持久文件和行动中的记忆。

    代表人物
    Sepp Hochreiter
    技术对象
    backpropagation、long-term memory、neural language model bridge
  8. EP.018
    已发布

    Word2Vec:一个词变成一个坐标

    从 King 减 Man 加 Woman 这条算式出发,追问词与词的关系能否不靠人定义、而从猜邻居里长出来,以及同一套机制怎样同时留下秩序与偏见。

    代表人物
    Tomáš Mikolov
    技术对象
    CBOW、Skip-gram、negative sampling、word vectors
  9. EP.019
    计划中

    Attention Is All You Need

    attention 怎样取代循环,成为可并行扩展的主体架构。

    代表人物
    Jakob Uszkoreit
    技术对象
    self-attention、Transformer、parallel training
  10. EP.020
    计划中

    GPT-1:Alec Radford 与生成式预训练

    同一个 Transformer 怎样先从无标签文本学习,再迁移到多个有标签任务。

    代表人物
    Alec Radford
    技术对象
    causal language model、pre-training、fine-tuning