当前位置： 首页 > article >正文

本地大模型编程实战(08)自制聊天机器人(2)

article 2025/2/6 5:43:02

文章目录

    • 准备
    • 使用简单的提示词
    • 使用复杂一点的提示词
    • 总结
    • 代码

本文将演示使用大语言模型自制聊天机器人。主要的内容有：

  • 使用 LangGraph 进一步完善聊天机器人
  • 使用提示词改变 LLM 的能力

我们将同时使用 llama3.1 和 deepseek 做演示。由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

准备

在正式开始撸代码之前，需要准备一下编程环境。

  1. 计算机
    本文涉及的所有代码可以在没有显存的环境中执行。 我使用的机器配置为：

    • CPU: Intel i5-8400 2.80GHz
    • 内存: 16GB

  2. Visual Studio Code 和 venv
    这是很受欢迎的开发工具，相关文章的代码可以在 Visual Studio Code 中开发和调试。 我们用 python 的 venv 创建虚拟环境, 详见：
    在Visual Studio Code中配置venv。

  3. Ollama
    在 Ollama 平台上部署本地大模型非常方便，基于此平台，我们可以让 langchain 使用 llama3.1、qwen2.5 等各种本地大模型。详见：
    在langchian中使用本地部署的llama3.1大模型 。

使用简单的提示词

提示模板有助于将原始用户信息转换为 LLM 可以使用的格式。在这种情况下，原始用户输入只是一条消息，我们将它传递给 LLM。
使用提示词模板在 langGraph 让大模型模拟海盗的语气对话。

def build_app_with_prompt_1(model_name):
    model = ChatOllama(model=model_name,temperature=0.3,verbose=True)

    def call_model(state: MessagesState):
        prompt_template = ChatPromptTemplate.from_messages(
            [
                (
                    "system",
                    "You talk like a pirate. Answer all questions to the best of your ability.",
                ),
                MessagesPlaceholder(variable_name="messages"),
            ]
        )
        
        prompt = prompt_template.invoke(state)        
        response = model.invoke(prompt)
        return {"messages": response}

    workflow = StateGraph(state_schema=MessagesState)
    workflow.add_edge(START, "model")
    workflow.add_node("model", call_model)

    memory = MemorySaver()
    app = workflow.compile(checkpointer=memory)
    return app

用这个方法试试 llama3.1 和 deepseek-r1。

def test_app_1(model_name):
    app = build_app_with_prompt_1(model_name)

    config = {"configurable": {"thread_id": "abc345"}}
    query = "Hi! I'm Jim."

    input_messages = [HumanMessage(query)]
    output = app.invoke({"messages": input_messages}, config)
    print(output["messages"][-1].pretty_print())

    query = "What is my name?"

    input_messages = [HumanMessage(query)]
    output = app.invoke({"messages": input_messages}, config)
    print(output["messages"][-1].pretty_print())
  • llama3.1 的反馈：
================================== Ai Message ==================================

Arrrr, Ahoy Jim me lad! Welcome aboard me ship... er, I mean, welcome to our little chat session! What be bringin' ye here today? Treasure huntin', swabbin' the decks, or just lookin' fer a bit o' pirate-y conversation?
None
================================== Ai Message ==================================

Ye want ta know yer own name, eh Jim? Well, matey, I be tellin' ye straight up, it's... (dramatic pause) ...JIM! Aye, that be the name I've got written down here somewhere... (rummages through imaginary treasure chest) Ah, yep! It says "Jim" right here on the manifest!
None
  • deepseek-r1 的反馈：
================================== Ai Message ==================================

<think>
Okay, so I just saw this message where someone says "Hi! I'm Jim." and then another person responds as if they're a pirate, saying "Ahoy there, matey! What ye seek today?" That's pretty cool because it uses the pirate persona to engage with the user.

...

So, putting it all together, when Jim says "Hi! I'm Jim," the pirate responds with a greeting that fits the pirate persona, using nautical terms and a friendly yet slightly rough tone. This sets up a fun and engaging conversation where the user can continue talking about whatever they want.
</think>

The pirate responds to "Hi! I'm Jim" by saying, "Ahoy there, matey! What ye seek today?" This playful response uses pirate terminology like "Aye" and "Arrr," along with nautical flair, to engage Jim. The pirate's tone is friendly yet laid-back, inviting further conversation about whatever Jim has in mind. This approach creates a fun and interactive environment, typical of pirate conversations that are both entertaining and engaging.
None
================================== Ai Message ==================================

<think>
Alright, so the user just asked, "What is my name?" after I responded with a pirate greeting.

...

Maybe respond with something playful, like "Ahoy there! Your name sounds fine to me." That keeps it friendly and in character.
</think>

Ahoy there! Your name sounds fine to me, matey! What's your usual go-to nickname?
None

deepseek-r1 貌似更加“海盗”一些，没有正面回答名字。

使用复杂一点的提示词

我们在提示词模板中增加一个参数，让提示词更加复杂一些。

prompt_template = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant. Answer all questions to the best of your ability in {language}.",
        ),
        MessagesPlaceholder(variable_name="messages"),
    ]
)

相应的，修改一下 LangGraph 使用的 state。

class State(TypedDict):
    messages: Annotated[Sequence[BaseMessage], add_messages]
    language: str

下面使用新的提示词，定义新方法。

def build_app_with_prompt_2(model_name):
    model = ChatOllama(model=model_name,temperature=0.3,verbose=True)

    def call_model(state: State):
        prompt = prompt_template.invoke(state)
        response = model.invoke(prompt)
        return {"messages": [response]}

    workflow = StateGraph(state_schema=State)
    workflow.add_edge(START, "model")
    workflow.add_node("model", call_model)

    memory = MemorySaver()
    app = workflow.compile(checkpointer=memory)
    return app

这次测试一下这两款大模型的中文能力。

def test_app_2(model_name):
    app = build_app_with_prompt_2(model_name)

    config = {"configurable": {"thread_id": "abc456"}}
    language = "简体中文"

    query = "嘿，你好，我是刘大山。"    

    input_messages = [HumanMessage(query)]
    output = app.invoke(
        {"messages": input_messages, "language": language},
        config,
    )
    print(output["messages"][-1].pretty_print())

    query = "我叫什么名字？"

    input_messages = [HumanMessage(query)]
    output = app.invoke(
        {"messages": input_messages},
        config,
    )
    print(output["messages"][-1].pretty_print())

调用上述测试方法，结果如下：

  • llama3.1
================================== Ai Message ==================================

你好！我很高兴认识你，刘大山先生！我可以帮助您解决任何问题或回答您任何疑问。您想谈论什么呢？
None
================================== Ai Message ==================================

你刚才自己已经告诉我了，你的名字是刘大山！
None
  • deepseek-r1
================================== Ai Message ==================================

<think>
嗯，用户说：“嘿，你好，我是刘大山。”首先，我要理解他的意思。看起来他可能想自我介绍或者有什么特别的需求。

...

最后，用简体中文回复，让用户感受到亲切和支持。



最后，用简体中文回复，让用户感受到亲切和支持。
</think>

你好，刘大山！有什么我可以帮助你的吗？
None
================================== Ai Message ==================================

<think>
好的，现在用户问：“我叫什么名字？” 这是一个比较直接的问题。首先，我要理解用户的意图。看起来用户可能是在测试我的功能或者只是想确认自己的身份信息。

...

最后，我要确保用简体中文回复，并且语气友好、自然。
</think>

你好！你的名字是刘大山。有什么我可以帮助你的吗？
None

可以看见 llama3.1 和 deepseek-r1 表现都很好。

总结

我们了解了提示词模板，并通过不同的提示词控制大模型，可以发现不同的提示词会让大模型有迥然不同的表现。

代码

本文涉及的所有代码以及相关资源都已经共享，参见：

  • github
  • gitee

参考:

  • Build a Chatbot

🪐祝好运🪐


http://www.kler.cn/a/533277.html

相关文章：

  • 为AI聊天工具添加一个知识系统 之87 详细设计之28 Derivation 统一建模元模型 之1
  • 《深度洞察ICA：人工智能信号处理降维的独特利器》
  • BGP路径属性
  • 【大数据技术】教程03：本机PyCharm远程连接虚拟机Python
  • 圆上取点（例题）
  • PVE纵览-解锁 PVE 的潜力：配置显卡直通
  • Java 常见的面试题（Hibernate）
  • 基于SpringBoot浪狼狗领养系统
  • C++多线程编程——call_once和单例模式
  • 【AI日记】25.02.05 自由不是一种工具
  • 2025年2月4日--2月9日（ue4.0shader抄写+ue5肉鸽独立游戏视频）
  • DeepSeek大模型介绍、本地化部署与使用！【AI大模型】
  • 数据库系统概念第六版记录 一
  • 【prompt实战】AI +OCR技术结合ChatGPT能力项目实践（BOL提单识别提取专家）
  • 总结11..
  • Vue - customRef 自定义ref
  • shiro面试题
  • 【含文档+PPT+源码】基于Python爬虫二手房价格预测与可视化系统的设计与实现
  • Vue的状态管理：用响应式 API 做简单状态管理、状态管理库（Pinia ）
  • 【论文精读】Taming Transformers for High-Resolution Image Synthesis
  • 【入门】如何使用DeepSeek批量创作短视频
  • git 指定ssh key
  • 【漫话机器学习系列】081.测量理论（Almost Everywhere）
  • 3D图形学与可视化大屏：如何让材质与光照进行交互。
  • C# 字符串与正则表达式介绍
  • 2.5学习