241121学习日志——[CSDIY] [InternStudio] 大模型训练营 [11]
CSDIY：这是一个非科班学生的努力之路，从今天开始这个系列会长期更新，（最好做到日更），我会慢慢把自己目前对CS的努力逐一上传，帮助那些和我一样有着梦想的玩家取得胜利！！！
第一弹：Cpp零基础学习【30 DAYS 从0到1】
第二弹：Cpp刷题文档【LeetCode】
第三弹：Go开发入门【字节后端青训营】
第四弹：Cpp简单项目开发【黑马Rookie】
第五弹：数据结构绪论【数据结构与算法】
第六弹：Go工程实践【字节后端青训营】
第七弹：高质量编程和性能调优【字节后端青训营】
第八弹：Linux 基础知识【书生大模型训练营】
第九弹：Git 基础知识【书生大模型训练营】
第十弹：玩转HF/魔搭/魔乐社区【书生大模型训练营】
第十一弹：书生大模型全链路开源体系【书生大模型训练营】
| 第1关 | L1G1000 | 书生大模型全链路开源体系 |
|---|
书生 · 浦语大模型开源开放体系
书生 · 浦语 (InterLM) 开源一周年
InterLM2.5 概览
- 推理能力领先
- 支持100万字上下文
- 自主规划和搜索完成复杂任务
核心技术思路
相似度对齐、预训练、…
- 基于规则的数据构造
- 基于模型的数据扩充
- 基于反馈的数据生成
融合多种数据合成方案
100万 Token 上下文
大海捞针实验：在超长文本输入中，能否精准找到任何位置的任何信息。
基于规划和搜索解决复杂任务
解决方式：思维路径拆解，分解子问题
开源谱系
-
1.8B、7B、20B、102B
-
InterLM - XComposer - 文本多模态
-
InterLM - Math - 数学
-
InterLM - WOX - 高考
全链条开源体系
-
数据 书生·万卷 语料库
-
预训练 InternEvo 训练框架
- 分布式训练系统
-
微调 XTuner
- 微调、偏好对齐算法
- 自动优化加速
-
评测 OpenCompass
- 工具、社区…
-
部署 LMDeploy
- Weight-only量化、…
-
应用
- LLM —>智能体
- 智能体 Legent
- 零样本泛化：多模态 AI 工具使用
- 智能体 MindSearch
- 模拟人脑思维导图搜索
- 智能体 HuixiangDou
- 企业级
- 开源、安全、…
碎碎念：入门岛通关，进军基础岛。坚持。
与君共勉。