【最后203篇系列】014 AI机器人-2

继续之前的话题：记录和分享我构建AI机器人的过程和体会。

1 上线后的寂寞

之前为了上线，还考虑了挺多，包括并发性这些。后来上线的时候发现服务竟然挺空闲的，我猜问题大致还是和原来的客户习惯不一样，而且本身我们对可以使用机器人的样本也做了选择，也没有宣传。

然后这个时间我就进行观察和完善。

总体上运行还不错，偶尔还是有超时的问题，但那个和我逻辑无关，应该是大模型服务接口的问题。

2 会话轮次

上线的时候，一开始前端没有带历史会话，所以机器人有时候会认为用户的问题无关而拒绝回答。其实用户是基于之前的讨论做了简化。我觉得简单点，本次问题加前一次问答，一共三条历史就比较合适。

3 数据问题

因为现在的数据没有做真的adhoc汇聚和筛选，所以回答用户的问题多少有点打马虎眼。但是认真说起来，还是有价值的。我觉得，机器人的价值就是体现在节约人的时间，不仅是对甲方，也是对乙方。所以我想，在第一阶段，机器人就是免去了人进行多个信息维度的查找，比对和简单总结的过程。

现代人对痛苦的是信息过载，不管是搜索引擎还是推荐算法，目的都是为了让人更快、更好的找到所需的信息。

4 体验慢的问题

感受的确是慢的。因为在用户提问之后，流程(flow)上会经过多轮的大模型判定，取数，回答。大模型对于一般的问题也需要1-2秒，而在解决用户这些基本问题的时候，通常数据量会更大，复杂的问题会输入模型上上限的文本，所以整体路程就拉到15秒左右。

当然在后端的流程组织，数据组织上可以加快，未来我想我也肯定会加快，但眼前没有产生足够收益，我还是想快快的先搞定再说。

所以增加了一个session_id字段，然后在执行的过程中，会不断把更新的元数据刷到redis,然后让前端在发起流式请求的时候轮询状态，并展示状态中的内容，这样用户就知道agent flow具体是在做哪一块问题，容忍程度会提高，甚至会觉得大模型很聪明。

5 商业价值

提供机器人给用户，其实也是在收获商用价值。用户会向你提问那个领域/主体的问题，又分别提了哪些问题，这些都非常有价值。

6 分层次的问题

实际上，用户在和你交流的时候是有层次的。一开始是寒暄，然后才是细节，大模型需要有能力去进行沟通和协调，而不是一来就自作主张的告诉客户答案：你得先懂用户要什么！

7 下一步计划

下一步先把过程的交互给弄完，主要是让前端同事搞搞效果了，我做微调就行。

然后我计划做一个维度的数据实验：按照line protocal的方式整理数据，可以做到对用户的问题（查询）进行精确的参数匹配 。这样后续如果要上量的话就没影响，甚至比现在还要快许多。（多维度并发统计取数）

还有很多，不过要先等机器人证明它的价值，然后再说。一般来说，这是个时间问题。要等得久的话，我就把机器人先转为本地助手，提高我自己的效率，我的刚需还是挺多的。