“冯·诺依曼架构”：从 EDVAC 到大语言模型

六万多个计算单元都已就位，为什么还会一起停下来？本期《原代码》从 2017 年第一代张量处理器等待权重的场景出发，回到 ENIAC 换任务需要重新设置开关和电缆、EDVAC 团队把指令与数值都放进机器的转折，再沿着嵌入式设备、云端系统、编程语言、高速缓存、脉动阵列和注意力算法，追问谁保存状态、谁决定下一步、依赖怎样抵达并被复用。

从换一类任务就要重新布置机器，到大语言模型生成下一个字词单位：机器的外形不断改变，反复出现的却是同一个工程问题——下一步需要的东西，能不能及时到达正在等待它的执行者。

你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。

时间轴

• 00:00 六万多个计算单元为什么一起等待

• 02:11 从重新接线到把下一步存进机器

• 07:02 门锁、云端与组织类比：关系不是蓝图

• 12:22 语言怎样重新分配开发者与工具的劳动

• 17:47 CUDA 与 Triton：性能压力让底层重新显形

• 22:13 高速缓存与脉动阵列怎样复用依赖

• 27:02 回到张量处理器与注意力算法

• 30:26 生成下一个字词单位前，依赖从哪里来

本期资料

• John von Neumann：《First Draft of a Report on the EDVAC》
• J. Presper Eckert / John W. Mauchly：《Automatic High Speed Computing: A Progress Report on the EDVAC》
• Burks / Goldstine / von Neumann：《Preliminary Discussion of the Logical Design of an Electronic Computing Instrument》
• Microchip：AVR32DA28/32/48 Data Sheet
• Barroso / Holzle / Ranganathan：《The Datacenter as a Computer》
• John Backus 等：《The FORTRAN Automatic Coding System》
• Dennis Ritchie：《The Development of the C Language》
• NVIDIA：CUDA C++ Programming Guide 12.4
• Tillet / Kung / Cox：《Triton》
• Maurice Wilkes：《Slave Memories and Dynamic Storage Allocation》
• H. T. Kung：《Why Systolic Architectures?》
• Jouppi 等：《In-Datacenter Performance Analysis of a Tensor Processing Unit》
• Tri Dao 等：《FlashAttention》
• Pope 等：《Efficiently Scaling Transformer Inference》

访谈与历史原声来源

本版没有剪入第三方历史原声。Smithsonian finding aid 只证明相关馆藏入口存在；本轮没有取得同时通过媒体访问、说话人、上下文、人工句界复听和权利门禁的片段。

• Smithsonian Computer Oral History Collection finding aid
• Smithsonian：John W. Mauchly oral history record

说明与延伸阅读

• First Draft 没有使用后来固定的 stored program 术语；节目先解释 orders 与 numbers 都进入 memory 的具体动作，再使用后见名称。
• “冯·诺依曼架构”不等于今天所有计算机共享同一物理结构，也不等于 von Neumann 独自完成 EDVAC、IAS 或现代计算机。
• 智能门锁、云端服务和公司组织只用于比较角色关系；它们不是 EDVAC 的物理缩放，公司也没有机器式的唯一控制器和统一时钟。
• FORTRAN、C、CUDA 与 Triton 展示控制权如何在开发者与工具之间移动，不构成“语言越底层越快”的单向排名。
• TPU、FlashAttention 和大语言模型推理构成当代镜照，不证明 EDVAC 直接导致现代 AI，也不证明所有模型都由同一种内存瓶颈主导。