当前位置：首页 > article >正文

速度！双击文件就可以运行本地大模型！神奇的AI大模型开源项目——llamafile

article 2024/11/2 16:45:28

今天分享一个神奇的AI大模型开源项目——llamafile，原来我们本地部署运行大模型很复杂，现在打开一个文件就搞定了！

运行后的页面：

llamafile项目简介

项目背景与目标

llamafile是一个旨在让开源大型语言模型（LLMs）更容易被开发者和终端用户使用的项目。为了实现这一目标，llamafile将llama.cpp与Cosmopolitan Libc结合，形成了一个框架，这个框架将LLMs的复杂性简化为一个单文件可执行文件（称为“llamafile”）。这个llamafile可以在大多数计算机上本地运行，无需安装任何额外软件。

项目来源

llamafile是Mozilla Builders项目的一部分，Mozilla是一个致力于推动开放标准和开源软件的非营利组织。

快速上手

对于初学者来说，尝试llamafile最简单的方式是下载LLaVA模型的示例llamafile。LLaVA是一个新型LLM，不仅可以聊天，还可以上传图片并回答关于图片的问题。使用llamafile，所有这些操作都在本地进行，数据安全性有保障！

下载llamafile：

你可以从项目网站下载名为“llava-v1.5-7b-q4.llamafile”的文件（大小约为4.29 GB）。官网也有其他大模型文件可以选择！
下载完文件，如果你使用的是Windows，只需将文件重命名，在文件名末尾添加“.exe”。双击一下，就可以运行大模型了。（略过后面的步骤）

打开终端：

在你的计算机上打开终端。

赋予执行权限：

如果你使用的是macOS、Linux或BSD，你需要为计算机赋予执行这个新文件的权限。这只需要做一次。在终端中输入以下命令：


复制代码

<table><tbody style="box-sizing: border-box;padding: 0px;-webkit-font-smoothing: antialiased;list-style: none;margin: 0px;scrollbar-width: none;font-family: Consolas, Monaco, monospace;font-size: 15px;line-height: 24px;"><tr style="box-sizing: border-box;padding: 0px;-webkit-font-smoothing: antialiased;list-style: none;margin: 0px;scrollbar-width: none;font-family: Consolas, Monaco, monospace;font-size: 15px;line-height: 24px;"><td data-line-number="1" style="box-sizing: border-box;padding: 0px;list-style: none;margin: 0px;scrollbar-width: none;font-family: Consolas, Monaco, monospace;font-size: 15px;line-height: 24px;color: rgba(229, 225, 246, 0.6);letter-spacing: 0px;max-width: 50px;overflow: hidden;text-align: justify;user-select: none;vertical-align: top;white-space: nowrap;" width="0"><br></td><td data-line-number="1" style="box-sizing: border-box;padding: 0px 0px 0px 44px;-webkit-font-smoothing: antialiased;list-style: none;margin: 0px;scrollbar-width: none;font-family: Consolas, Monaco, monospace;font-size: 15px;line-height: 24px;">chmod +x llava-v1.5-7b-q4.llamafile</td></tr></tbody></table>

运行llamafile：

在终端中输入以下命令来运行llamafile：


复制代码

<table><tbody style="box-sizing: border-box;padding: 0px;-webkit-font-smoothing: antialiased;list-style: none;margin: 0px;scrollbar-width: none;font-family: Consolas, Monaco, monospace;font-size: 15px;line-height: 24px;"><tr style="box-sizing: border-box;padding: 0px;-webkit-font-smoothing: antialiased;list-style: none;margin: 0px;scrollbar-width: none;font-family: Consolas, Monaco, monospace;font-size: 15px;line-height: 24px;"><td data-line-number="1" style="box-sizing: border-box;padding: 0px;list-style: none;margin: 0px;scrollbar-width: none;font-family: Consolas, Monaco, monospace;font-size: 15px;line-height: 24px;color: rgba(229, 225, 246, 0.6);letter-spacing: 0px;max-width: 50px;overflow: hidden;text-align: justify;user-select: none;vertical-align: top;white-space: nowrap;" width="0"><br></td><td data-line-number="1" style="box-sizing: border-box;padding: 0px 0px 0px 44px;-webkit-font-smoothing: antialiased;list-style: none;margin: 0px;scrollbar-width: none;font-family: Consolas, Monaco, monospace;font-size: 15px;line-height: 24px;">./llava-v1.5-7b-q4.llamafile</td></tr></tbody></table>

你的浏览器应该会自动打开并显示一个聊天界面。如果没有自动打开，你可以在浏览器中手动输入“http://localhost:8080”来访问。

结束聊天：

当你完成聊天后，回到终端并按Control-C来关闭llamafile。

JSON API快速上手

当你启动llamafile时，它除了托管一个位于“http://127.0.0.1:8080/”的Web UI聊天服务器外，还提供了一个与OpenAI API兼容的聊天补全端点。这个端点旨在支持最常见的OpenAI API用例，并且完全在本地运行。此外，我们还扩展了它，以包含llama.cpp的特定功能（如mirostat）。有关可用字段和端点的更多详细信息，请参阅OpenAI文档和llamafile服务器README。

API客户端示例

项目还提供了Curl和Python的API客户端示例，以及其他模型的llamafile示例，以便你可以轻松地用不同类型的LLMs尝试llamafile。

总的来说，llamafile是一个强大的工具，它使得在本地运行和测试大型语言模型变得更加简单和方便。无论你是开发者还是终端用户，都可以通过这个项目轻松地探索和利用大型语言模型的潜力。

项目地址：https://github.com/Mozilla-Ocho/llamafile

在这里插入图片描述