大模型落地场景及价值思考

引言

鉴于我们对于大模型落地案例及实际价值存在诸多模糊与分歧，结合当前的市场声音、行业观点与案例研究资料，综合作本文，以发散应用趋势和思路。

开宗明义

1. 基于大模型的企业应用中一大部分需求就是RAG——检索增强生成。（这个架构其实是宽泛的，可拓展到 TableAG、Struct-AG、GraphAG、DBAG 也就是 Text2SQL）
2. 小公司及创业者真的没必要去做LLM，应该聚焦在基于AI的应用上，去做错位竞争。（把用户体验先做好，不可能面面俱到–既没有时间，也没有能力）
3. 一个产品/平台，最终组成部分，80%是工程，20%是创新技术。
4. 和B端客户交流中发现，65%的需求都是信息的检索、汇总和再生成，更像上面提到的RAG。（一个细分的方向是 PDFChat 类产品）
5. 另外第二大需求（约占20%）是流程自动化、决策辅助，BI等需求上AI驱动的应用升级。
6. 文生图和代码生成的需求在B端其实很低，和我们之前预期的差距很大，Text2SQL 只是代码生成的特例。
7. 很多大客户对于结果的可靠性要求非常高，很多项目都已经进入POC阶段了，因为达不到想要的可靠性（哪怕是标准再降低一些）而被否决。
8. 甚至有些客户后面直接就想通了，我要的就是一个更好的搜索而已，但是LLM好像做不到。到最后，大家都冷静下来了，客户知道自己要的是一个解决方案，解决他业务中的痛点，而不是一个大模型。
9. 客户一般都知道或者用过最好的，所以他们的需求会天马行空，然后接触到国内基于LLM的产品之后，感觉落差巨大（目前各家 LLM 差异没那么大了，但落差是 LLM 本身的能力不足）。
10. 现在碰到的问题是：我们把LLM神化了，感觉什么都可以通过LLM一劳永逸的解决了，但实际真不是这样的。到目前为止，要有非常好的精准度，依然必须要有运营兜底。基于生成式的LLM在幻想方面是个黑盒，不要说我们，OpenAI也没办法完全控制。
11. 应用与LLM的切割，做好架构，先做好自己的应用，做到随时切换各个不同的LLM。业务优先，AI在后。
12. 小公司独立部署大模型会很吃力，因为大模型部署是一个系统性的问题。涉及到算力，大模型，服务接口，并发问题等多个环节，设计到系统运维，镜像，监控，系统架构等多个方面。
13. 一些小模型，单台机器就能够支撑其运算需求，这时在企业生产中只需要在多台机器上部署多个相同的模型，然后在入口做一个负载均衡就可以了。

观点来源
1.关于LLM（大语言模型）的一些声音 --TorchV CEO-卢向东

2.微软 AI CEO 穆斯塔法：小模型绝对是未来趋势

3.关于大模型在企业生产环境中的独立部署问题

4.黎科峰博士–InfoQ 《大模型领航者》

RAG 的优化重点

RAG涉及的内容其实广泛，包括Embedding、分词分块、检索召回（相似度匹配）、chat系统、ReAct和Prompt优化等，最后还有与LLM的交互，整个过程技术复杂度很高。如果你用的LLM非常好，反而大模型这一块是你最不需要关心的。而这些环节里面我们每个都没达到1（比如0.9、0.7…），那么最终的结果可能是这些小数点的乘积。如果我们每个环节都可以做到>1.0，那么最终的结果会比上一个结果高出很多。

分块是很重要的环节，也许是我们容易做到高质量的一个环节。

价值综述

基于大模型研发的智能体（Agent）通常是指利用大型语言模型（如GPT、BERT等）作为核心组件，构建的能够执行特定任务、与环境交互并做出决策的人工智能系统。

这些智能体通常具备以下特点：

1、自主性：智能体能够在没有人类直接干预的情况下执行任务。

2、交互性：智能体能够与用户、其他系统或环境进行交互。

3、适应性：智能体能够根据交互过程中获得的反馈和经验进行学习和适应。

4、推理能力：智能体能够理解和处理复杂的逻辑关系，进行推理和决策。

5、多模态处理：智能体可能具备处理多种类型数据的能力，如文本、图像、声音等。

6、上下文理解：智能体能够理解上下文信息，以更准确地响应用户的需求。

7、个性化服务：智能体能够根据用户的历史行为和偏好提供个性化的服务。

智能体的核心价值在于其能够模拟人类的认知和决策过程，提供更加自然、高效和个性化的交互体验。

落地场景及案例

一些大模型开发的应用助手：

1. 客服机器人：京东利用大模型开发了智能客服机器人“京小智”，提升了用户满意度，降低了人力成本，并提高了处理咨询的速度。

**2. 内容创作：**腾讯新闻使用大模型“Dreamwriter”自动化新闻写作，提高了发稿速度，模仿专业记者的写作风格，并扩大了应用范围。

**3. 智能推荐系统：**抖音利用大模型构建推荐引擎，增强了用户粘性，提高了平台收入，并促进了创作者兴起。

**4. 销售助手：**阿里云智能外呼系统“天池”通过 NLP 技术与客户进行自然对话交流，提高了成交几率，减少了客户投诉。

**5. 运营优化：**AI助手可以帮助运营团队完成数据监控，及时发现并解决问题。

**6. 数据分析：**AI助手能够对数据进行深度挖掘，为企业提供决策支持。

**7. 教育领域：**AI助手提供个性化学习体验，辅助教师教学和学生学习。

**8. 编程助手：**如GitHub Copilot和豆包MarsCode，提供代码生成、注释、错误修正等功能，提高编程效率。

**9. 音乐创作：**Suno AI音乐创作工具可以根据文本提示生成完整的歌曲，包括歌词、人声和伴奏。

**10. 文本分析：**Kimi等AI助手在长文本处理能力上表现出色，能够快速总结文档内容。

**11. 搜索和广告：**AI助手在搜索引擎和广告营销中的应用，提供更个性化的服务。

**12. 电商购物：**AI助手在电商平台中提供导购工具，帮助用户快速找到所需商品。

**13. 生活办事：**AI助手在生活服务中的应用，如支付宝小程序中的AI应用插件，服务用户日常生活。

**14. 地图导航：**AI助手在地图导航中的应用，提供语音交互，提升用户体验。

**15. 理财投资：**AI助手在金融理财中的应用，提供专业的金融投资建议。（ProPicks）

那么大模型智能体的核心价值在于提高效率、降低成本、增强用户体验，并为企业和个人提供决策支持。

基于大模型的应用的价值到底在哪里？

基于大模型的自适应故障场景监控探索

原文：基于大模型的自适应故障场景监控探索

AI辅助的BI产品 - ChatBI

大家或许对 Text-To-SQL 的闭环操作寄予了很高的期望，但实践结果却显示其准确率并不理想。大部分Text-To-SQL 的系统的准确率只能达到60%左右，如果把数据库的结构信息补充给大模型，并把数据库里执行过的SQL执行做人工的文本标注，加入相关的上下文的文档后，准确率可以提升至90%左右。详细的内容可以参考这篇文章：

How accurate can AI generate SQL?

在实际业务环境中，数据的来源和逻辑错综复杂，自然语言的模糊性和数据的精准性存在巨大差异，毕竟 AI 大语言模型是概率模型，而 BI 更像精准的机器。人工增加数据的上下文固然可以提高精准度，但是也提升了AI数据自动化的成本。

原文：大模型时代，BI系统的演化方向

大型语言模型的数据合成与增强

目前，数据生成主要包括两种方法：数据增强和数据合成。数据增强通常指对现有数据进行各种变换以生成新的数据实例，而数据合成则是通过算法生成全新的数据。这两种方法在LLMs的整个生命周期中都有广泛应用，包括数据准备、预训练、微调、指令调优、偏好对齐及其应用等阶段。

原文：大型语言模型的数据合成与增强：现状与未来

重点关注

1. 推理能力和训练数据的不足使得AI系统往往在数学和几何问题上表现不佳。
2. 嵌入模型是少数几个开源模型通常优于专有模型的子领域之一。
3. 上下文也被证明是RAG性能的关键驱动因素。Chroma的研究也表明，分片策略的选择可以影响检索性能高达9%的召回率差异。
4. RAG领域有一个悬而未决的问题就是评估。
5. 尽管受到制裁，中国的LLMs和VLLMs依然在排行榜上大放异彩，深度求索、零一万物、智谱AI 和阿里巴巴的模型在LMSYS排行榜上取得了良好的成绩，特别是在数学和编码方面表现尤为出色。
6. 系统要推理、规划和理解物理世界，至少还需要几年甚至十年的时间，这时候人工智能才能达到人类水平。（Lecun：现在Meta基本已经放弃纯语言模型，因为，仅通过文本训练，永远不会达到接近人类水平的智能。）
7. 莫拉维克悖论：即对我们来说看起来微不足道、我们甚至不认为是智能的事情，对机器来说却非常非常难以做到。但是，像高级复杂的抽象思维，比如操纵语言、下棋，对机器来说似乎很容易。
8. **AI 的「幻觉」不是 Bug，而是创造力的体现。**这些模型几乎没有真正的自我改进能力，也就是说，没有一个不需要人类直接监督的自我进化闭环。
9. **模型正在同时向着更大和更小两个方向发展，这种趋势几乎肯定会持续下去。**大模型+垂直小模型的方式就是最好的合作体现——合作共赢。
10. 没有一成不变的架构，也没有完美无缺的系统，我们需要根据实际情况根本不同的业务场景，选择合适的解决方案，而不是想着靠一个架构解决所有问题。个人或企业只需要关注于自身的核心业务，而不用把时间和精力浪费在一些自己根本无力完成的任务上，这就是要做回报率最高，最有性价比的事情。
11. 真正盈利的是上层应用–那些拥有数据并能够利用工具提升效率的企业将成为最有价值的企业。尽管大模型技术具有巨大潜力，但它本质上仍然是一种工具，用来帮助企业实现业务目标和战略。

吴恩达：《State of AI report》展现2024的主要趋势和突破（一）

微软 AI CEO 穆斯塔法：小模型绝对是未来趋势，AI 会小到能装在冰箱贴上

大模型应用开发过程中主流架构模式——大模型+多个小模型

结论

老生常谈的大模型的一个应用领域——AIGC，也就是说大模型能够生成内容；第二，大模型能够阅读外部文档，然后去回答它之前不懂的问题；第三，大模型具有简单的逻辑推理能力。

利用大模型实现数字化转型，第一核心本质是或者核心竞争力还是需要企业自身对于业务和技术的深刻理解，同过去技术帮忙企业提升效率，降低成本是一样的逻辑。另外如果涉及到业务，那么就需要专注做自己擅长的领域，做到精，通过大量的案例，提高模型的准确性和精准性，另外也需要在技术方面进行精细的设计，降低与大模型交互的次数，降低成本。最终才能形成一个成本低，准确度高，又好用的，懂业务的智能工具，才能在拥挤的赛道中胜出。