四期书生大模型实战营（【基础岛】- 第1关 | 书生·浦语大模型开源开放体系）

书生浦语官网：官网链接
GitHub：GitHub链接
本关卡视频: 关卡视频

书生大模型全链路开源开放体系是由上海人工智能实验室打造的完整的大模型生态系统，包含从数据处理、模型训练到应用部署的全链路解决方案。该体系不仅支持全流程的开源工具，还大幅度降低了大模型技术的门槛，助力企业和开发者快速高效地构建定制化的AI应用。

1. 性能提升、推理能力领先

1.1. 书生浦语开源时间线

1.1.1. 时间节点

书生浦语生态的构建和升级遵循清晰的时间节点，不断迭代和优化，以实现更强的性能和更广泛的应用支持：

1. 2023年7月6日：推出首个7B模型InternLM-7B，率先实现免费商用，并发布了全链条开源工具体系，为后续模型的更新升级奠定了基础。
2. 2023年9月20日：进一步推出InternLM-20B，该模型具备更高的综合性能，开源工具链全线升级。
3. 2024年1月17日：发布InternLM2，该模型在同量级开源模型中表现领先，成为新的性能标杆。
4. 2024年7月4日：正式发布InternLM2.5，在推理、理解、任务规划方面实现进一步提升。
   

1.1.2. InternLM性能天梯

书生浦语构建了性能天梯系统，通过直观的方式展示不同版本的模型在各种任务中的表现，帮助用户选择合适的模型用于特定应用场景。

1.2. 模型亮点

涵盖从数据采集、模型训练到实际应用场景的全流程解决方案，并实现了显著性能提升及创新功能突破。例如，最新版Informer LM 2.5拥有卓越的推理能力和长达百万级别的上下文容量，在某些指标上甚至超过同类开源模型。

1. 推理能力：InternLM2.5的推理能力较InternLM2提升20%，其表现已处于社区领先地位，能够适应更复杂的语境推理和信息理解。
2. 长文本支持：该模型具备处理百万字长文的能力，在信息提取和上下文理解方面尤为出色，尤其适用于法律、金融、科研等领域的文本分析。
3. 复杂任务的自动规划与搜索：InternLM2.5能够高效搜索、整合信息，解决复杂问题，效率较前代模型提升60倍，可撰写更专业、系统的回答。
   

1.2.1. 推理能力

1.2.2. 长文本支持

1.2.3. 复杂任务的自动规划与搜索

1.3. 核心技术思路

书生浦语采用了独特的“模型能力飞轮”策略，通过不断迭代模型并广泛使用模型进行自身优化，加速其能力提升。此外，书生浦语构建了高质量的合成数据集，融合多种数据合成技术，以提升模型的适用性和性能。

1. 基于规则的数据构造：引入代码、数学公式、题解等半结构化数据，增强模型的逻辑推理能力。
2. 基于模型的数据扩充：利用现有模型自动生成注释、拓展代码语料，丰富模型的训练数据。
3. 基于反馈的数据生成：基于人类反馈生成数据，确保模型输出更符合人类偏好，提升模型的实用性和精确性。
   

2. 支持多模态预训练与微调

2.1. 开源模型谱系

书生浦语发布了适用于不同应用场景的多种参数规模的模型，使用户能够选择适合其特定需求的模型：

6.1. 按参数规模分类

• 1.8B：适合资源受限的轻量级应用和端侧设备。
• 7B：为轻量级的研究和应用提供强力支持。
• 20B：适合更复杂的实际场景和推理任务。
• 102B：为闭源模型，性能接近GPT-4，适用于高精度场景。

6.2. 按应用场景分类

• InternLM-XComposer（灵笔）：面向写作应用，支持内容创作。
• InternLM-Math（数学）：针对数学问题进行解答。
• InternLM-WQX（文曲星）：考试辅助，支持多学科题解。
  

2.2. 核心优势

强调高性能模型的全面覆盖，从小规模至大规模均适用；同时推出了一系列配套工具，诸如高效的微调框架、自动标签系统Label LLM等，极大简化开发者的工作流。

3. 书生浦语大模型开源链条

开源链条

书生浦语全链条开源方案涵盖数据处理、模型预训练、微调、部署、评测到应用开发的所有环节，支持与Hugging Face、vLLM等生态系统的无缝衔接。

3.1. 数据

书生万卷预训练语料库包含了多模态数据，涵盖图像、语音、视频、3D模型等，数据量达180TB，提供丰富的开放数据资源。

3.2. 开源数据处理工具箱

• MinerU：一站式数据提取工具，从PDF、网页、电子书中提取文本。
• Label LLM和Label U：标注工具，支持NLP和图像标注，适合大规模标注任务。
  

3.3. 预训练框架 - Intern Evo

通过显存和通信优化，降低硬件要求，提升预训练效率。

3.4. 微调框架 - X-Tuner

支持多模态微调，兼容QLORA、LORA等优化算法。

3.5. 评测体系 - OpenCompass

高效评测系统，提供权威性能榜单，助力AI模型的性能优化。

3.6. 部署框架 - LM Deploy

支持多推理引擎和接口，便于模型快速部署应用。

3.7. 智能体框架 - Legend

兼容多种大语言模型的智能体，适合多任务场景。

3.8. 搜索引擎 - MindSearch

结合AI技术，提供人脑逻辑模拟的智能搜索。

3.9. 企业级知识库工具 - HuixiangDou

支持RAG和知识图谱，便于企业构建高效、安全的知识管理系统。

总结

书生浦语全链路开源体系通过提供从数据构建到模型应用的全套工具，显著降低了大模型研发和应用的门槛，为人工智能开发提供了更广泛的支持。此生态系统不仅帮助企业更快速地部署大模型，还加速了通用人工智能技术的落地应用。