【最后203篇系列】014 AI机器人-1
说明
终于开张了，我觉得AI机器人是一件真正正确，具有商业价值的事。
把AI机器人当成一笔生意，我如何做好这笔生意？一端是业务价值，另一端是技术支撑。如何构造高质量的内容和服务，如何确保技术的广度和深度？
正好在做这件事，所以我想不太多谈技术，把核心的理念和故事串一串。为技术而技术是没有价值的，为商业价值而产品又是没有生命力的，怎么让商业背后自然衔接到技术，而技术又如何自然衍生出商业价值，这是最为关键的。
内容
1 Manus
最近这个话题很火，就不多说了。有一点是，大家都模模糊糊的有了大致的方向，而且其实很多都是殊途同归的。不管怎么样，manus炒作了一把，我觉得也算是一个poc，大家可以有一些共识。
2 AI机器人
我现在的应用，是在现在的产品中嵌入一个机器人，精确基于产品的数据，而非大模型的通用能力回答问题。
时间非常紧张，大约在2周时间，完成了从poc，到上线的过程。整体上还是属于达到且稍微超过预期的一个状态，还有不少缺点，但能够用了。
还是挺感谢老板理解的，因为时间这么短，里面有很多东西是非常粗糙的，但正如马斯克说的：东西先做出来最重要，慢慢会改好的。
然后在这段时间内发现按常规方法是行不通的：anythingllm, dify, langchain， 这些成熟的套件工具没有那么熟，其实尝试过，发现在很多地方“不听话”，很难控制好。另外，关于数据应该怎么整合，如何描述给大模型完成对接，也没法按教科书那样去做。
整个过程我就奔着一个上线目标，想想第一性原理，然后迅速推进。然后我觉得有很多东西 （还有待验证）可能也如马斯克说的：世界就是一群草台班子构成的。
我用自己零散的工具和知识，也完成类似RAG和Agent Flow这样的效果，而且，似乎这个是可以不断叠加，最后由强化学习去自我优化的。我想用那些成熟工具也许是更浪费时间，而且可能是没法达到我的目标的。
自己用零件进行开发和拼装，争取在半年左右把AI机器人作出高度
这又回到我的二八理论，最终要登顶还是要靠自己。
3 结构
还是会稍微提到一点技术
- 1 向量化。为了 更好的进行语义相似性匹配，还是需要把用户的问题转为向量。
- 2 向量数据库。用于存储和检索近似的问题。
- 3 FastAPI。构造流式响应服务。
- 4 Redis。存储各种缓存，包括当前的知识数据。
- 5 Kafka。保存会话数据。
- 6 大模型接口。完成逻辑判断，数据整合分析。
其实可以看到，这个结构是非常简陋的，但是可以行得通。
4 问题
- 1 服务的并发性。这个算是部分解决了，但还不够彻底。向量化的服务本来是处理批量数据的，但是在问答情况下只能一次一条，影响并发。
- 2 当前的会话，前端没有带历史消息，回答有时看起来就会很傻。
- 3 要问的很具体才有效。由于数据是简单糅合的，如果用户的问题偏了，机器人不会拉回来对齐，然后回答的质量就很低。
- 4 很慢。简单问题1-3秒开始输出，中等问题大约要5-10秒才会看到回复，复杂问题可能会30秒， 这个从体验上很糟糕。
- 5 没有过程输出。除了一个思考中的提示，没有给到中间过程。
5 第一期的改进
- 1 让前端带2轮历史会话。
- 2 用session_id的方式，让前端可以轮询到整个任务框架和任务完成情况
- 3 确保能够统计到用户访问和使用的各种情况。
小步快跑，后面我再持续更新。