Ollama 快速入门
查看全部Ollama文档请访问：文档 -- Ollama 中文文档|Ollama官方文档
快速入门
要运行 Llama 并与 Llama 聊天 3.2：
ollama run llama3.2
模型库
Ollama 支持 ollama.com/library 上可用的模型列表
以下是一些可以下载的示例模型：
| 型 | 参数 | 大小 | 下载 |
|---|---|---|---|
| Deepseek-R1 | 7B | 4.7GB | ollama run deepseek-r1 |
| Deepseek-R1 | 671B | 404GB | ollama run deepseek-r1:671b |
| llama 3.3 | 70B | 43GB | ollama run llama3.3 |
| llama 3.2 | 3B | 2.0GB | ollama run llama3.2 |
| llama 3.2 | 1B | 1.3GB | ollama run llama3.2:1b |
| llama 3.2 Vision | 11B | 7.9GB | ollama run llama3.2-vision |
| llama 3.2 Vision | 90B | 55GB | ollama run llama3.2-vision:90b |
| llama 3.1 | 8B | 4.7GB | ollama run llama3.1 |
| llama 3.1 | 405B | 231GB | ollama run llama3.1:405b |
| Phi 4 | 14B | 9.1GB | ollama run phi4 |
| Phi 3 Mini | 3.8 字节 | 2.3GB | ollama run phi3 |
| Gemma 2 | 2B | 1.6GB | ollama run gemma2:2b |
| Gemma 2 | 9B | 5.5GB | ollama run gemma2 |
| Gemma 2 | 27B | 16GB | ollama run gemma2:27b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Solar | 10.7B | 6.1GB | ollama run solar |
[!注意] 您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 的 RAM 来运行 13B 的型号，32 GB 的 RAM 来运行 33B 型号。
自定义模型
从 GGUF 导入
Ollama 支持在 Modelfile 中导入 GGUF 模型：
-
创建一个名为
Modelfile，其中FROM指令替换为要导入的模型的本地文件路径。FROM ./vicuna-33b.Q4_0.gguf -
在 Ollama 中创建模型
ollama create example -f Modelfile -
运行模型
ollama run example
从 Safetensor 导入
请参阅 导入模型 以了解更多信息。
自定义提示
Ollama 库中的模型可以通过提示进行自定义。例如，要自定义llama3.2型：
ollama pull llama3.2
创建一个Modelfile:
FROM llama3.2
# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
接下来，创建并运行模型：
ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.
有关使用 Modelfile 的更多信息，请参阅 Modelfile 文档。
CLI 参考
创建模型
ollama create用于从 Modelfile 创建模型。
ollama create mymodel -f ./Modelfile
拉取模型
ollama pull llama3.2
此命令还可用于更新本地模型。只会拉取 diff。
删除模型
ollama rm llama3.2
复制模型
ollama cp llama3.2 my-model
多行输入
对于多行输入，您可以使用 ："""
>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.
多模态模型
ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"
输出：图像具有黄色笑脸，这可能是图片的中心焦点。
将提示作为参数传递
ollama run llama3.2 "Summarize this file: $(cat README.md)"
输出：Ollama 是一个轻量级的可扩展框架，用于在本地计算机上构建和运行语言模型。它提供了一个用于创建、运行和管理模型的简单 API，以及一个可在各种应用程序中轻松使用的预构建模型库。
显示模型信息
ollama show llama3.2
列出计算机上的模型
ollama list
列出当前加载的模型
ollama ps
停止当前正在运行的模型
ollama stop llama3.2
启动 Ollama
ollama serve当您想在不运行桌面应用程序的情况下启动 OLLAMA 时使用。
构建
查看开发人员指南
运行本地构建
接下来，启动服务器：
./ollama serve
最后，在单独的 shell 中运行一个模型：
./ollama run llama3.2
REST API
Ollama 有一个用于运行和管理模型的 REST API。
生成响应
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt":"Why is the sky blue?"
}'
与模型聊天
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
请参阅所有端点的 API 文档。
文章来源：文档 -- Ollama 中文文档|Ollama官方文档