深度学习-79-大语言模型LLM之基于python与ollama启用的模型交互API介绍
文章目录
- 1 概述
- 2 Ollama
-
- 2.1 Ollama简介
- 2.2 启动并运行
- 2.3 设置外网访问
- 2.4 模型库
- 3 使用API与模型对话
-
- 3.1 生成文本补全(Generate a Completion)/generate
- 3.2 流式生成文本补全(Streaming Completion)/generate
- 3.3 生成对话补全 (Chat Completion)/chat
- 3.4 流式生成对话补全 (Streaming Completion)/chat
- 3.5 生成文本嵌入 (Generate Embeddings)/embed
- 4 使用API对模型增删改查
-
- 4.1 列出本地模型(List Local Models)/tags
- 4.2 查看模型信息(Show Model Information)/show
- 4.3 拉取模型(Pull a Model)/pull
- 4.4 删除模型(Delete a Model)/delete
- 5 附录
-
- 5.1 llama runner process has terminated
- 5.2 参考附录
1 概述
在迅速发展的AI领域中，高效部署大型语言模型（LLM）对于许多应用程序至关重要。对于希望利用LLM力量的开发人员和组织来说，vLLM提供了一种简单、快速且经济高效的解决方案，用于在GPU上运行模型。
vLLM主要专注于在GPU上运行大型语言模型，使其成为需要并行处理的高性能应用的理想选择。然而，它支持的模型范围有限。相比之下，Ollama则面向需要在CPU上构建和测试AI应用程序的开发人员。Ollama支持任何模型，为在CPU环境中工作的人提供了更大的灵活性。
2 Ollama
能够在本地部署并运行属于自己的大模型。
对于硬件的要求：基本的配置只需是Intel i5处理器 + 16G内存（内存8G也ok，但是能慢一些，但CPU起码得是i5的，相信这个配置对于大多数人来说还是可以满足的），你就能够顺利运行多种开源的大模型，例如33亿参数、7亿参数的模型，但是70b那种跑不起来。需要注意的是，这里讨论的是利用大型模型进行推理，而非训练或微调模型。
两个可以运行在本地的大模型工具：ollama和llama.cpp，尤其是ollama，本地跑一个大模型特别简单。无论是Ollama还是llama.cpp都是运行的