支撑 IBM 作者组直接从 Shannon 1951 起算及其规模化测量问题;不把整个 IBM / Jelinek 语言模型史归给五位作者。
返回逐字稿段落 ibm-reopens-shannon-questionSOURCE / brown-entropy-english-1992
Peter F. Brown 等, An Estimate of an Upper Bound for the Entropy of English
直接回到 Shannon 1951 问题:用 583M-word 训练文本、word trigram model 与 5.96M-character Brown Corpus,通过 cross-entropy 给出 1.75 bits / character 上界;明确对照过去人类实验;边界:上界是该模型与样本的结果,不是英语熵精确值;不能代表全部 IBM 语言模型史或全部 Jelinek 团队贡献
权利说明
版权声明:原始页面、论文、报告和结构化资料的权利归作者、出版方、机构及其他原权利人;《原代码》公开必要的证据快照用于技术评论与核查,保留原始链接。
被引用位置
支撑训练 / 测试规模、词三元模型、交叉熵和 1.75 上界;不能把上界说成英语熵精确值或全部统计语言模型质量。
返回逐字稿段落 trigram-scores-corpus三个来源共同支撑误差用途变化和 n-gram 稀疏压力;这是编辑比较,不证明三个团队形成直接合作或单线引用链。
返回逐字稿段落 error-now-evaluates-model四阶段责任转移是有来源边界的编辑综合;论文之间不存在本文可证明的逐篇直接引用链,也不取代 Episode 020 的完整 GPT-1 谱系。
返回逐字稿段落 error-pretrains-a-starting-point