DataWhale 大语言模型 - 大模型技术基础
本课程围绕中国人民大学高瓴人工智能学院赵鑫教授团队出品的《大语言模型》书籍展开，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的核心技术。并且，课程内容基于大量的代码实战与讲解，通过实际项目与案例，学员能将理论知识应用于真实场景，提升解决实际问题的能力。
课程地址：https://www.datawhale.cn/learn/summary/107
赵鑫教授团队：http://aibox.ruc.edu.cn/
课程学习地址：Datawhale-学用 AI,从此开始
视频地址：《大语言模型》 1.2 大模型技术基础_哔哩哔哩_bilibili
大语言模型预训练：预训练是大语言模型构建的初始阶段，通过海量无标注文本数据（如网页、书籍、对话记录）训练模型，学习语言的统计规律、语法结构和语义知识。这一阶段通常采用自监督学习目标（如掩码语言建模或因果语言建模）
大语言模型后训练：后训练指在预训练完成后，通过特定技术对模型进行进一步调整，以增强其任务解决能力或对齐人类价值观。
指令微调：提升模型遵循人类指令的能力，使其能泛化到未见任务
人类对齐：确保模型行为符合人类价值观（如无害性、诚实性、有用性），避免生成偏见、虚假或有害内容
典型流程：1. 预训练 → 2. 指令微调（监督学习） → 3. 人类对齐（强化学习/监督学习）
扩展定律：扩展定律是指在一定范围内，系统的性能（如准确性、效率等）随着系统规模的增加（如参数数量、数据量、计算资源等）而呈现出的可预测关系。
涌现能力：涌现能力是指在复杂系统中，随着系统规模的增加或者系统复杂度的提升，系统会出现一些新的性质或行为，这些性质或行为在系统较小或较简单时是不明显的。
