SOURCE / openai-generative-pretraining-2018

Alec Radford / Karthik Narasimhan / Tim Salimans / Ilya Sutskever, Improving Language Understanding by Generative Pre-Training

固定后来被称为 GPT-1 的两阶段路线:先以条件语言模型目标和 Transformer decoder 在连续无标签文本上学习参数,再用有标签任务微调;BooksCorpus 与 long-range context 只按论文口径使用;边界:标题没有 GPT-1;论文没有直接引用 Shannon 或 Bengio 2003,不得写成单作者或单线继承,也不代表当前 LLM 的完整后训练

权利说明

版权声明:原始页面、论文、报告和结构化资料的权利归作者、出版方、机构及其他原权利人;《原代码》公开必要的证据快照用于技术评论与核查,保留原始链接。

被引用位置