大语言模型的前世、今生与未来

NLP 技术的奇点时刻。语言模型的核心是对任意一段文本序列进行概率建模，用一个高维向量来表示一个 token 的全部特征。我们将深度学习应用于 NLP 领域的范式转移总结为"有监督的机器学习->预训练+微调->预训练+提示"。其中，ChatGPT 的横空出世开启了“预训练+提示”的新范式这主要得益于 OpenAI 对生成类模型 (GPT)和算法规模化 (Scalability)这两个基础技术路线的成功押注，大语言模型“涌现”出了解决复杂问题的通用能力，催生了本轮全球范围内的生成式 AI浪潮。