6-langchang多模态输入和自定义输出
6-langchang多模态输入和自定义输出
- 多模态数据输入
-
- url
- base64
- url list
- 工具调用
- 自定义输出: JSON, XML, YAML
-
- 如何解析 JSON 输出
- json
- 如何解析xml
- YAML解析器
多模态数据输入
这里我们演示如何将多模态输入直接传递给模型。我们目前期望所有输入都以与OpenAI 期望的格式相同的格式传递。对于支持多模态输入的其他模型提供者，我们在类中添加了逻辑以转换为预期格式。
在这个例子中，我们将要求模型描述一幅图像。
url
import base64
import httpx
from langchain_core.messages import HumanMessage
from langchain_openai.chat_models.base import BaseChatOpenAI
img_url =