本机实现Llama 7B推理及部署
本机实现Llama 7B推理及部署
使用llamafile在Windows系统部署
- 部署步骤：首先从https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?Revision=master&FilePath=llamafile-0.6.2.win.zip下载llamafile并解压得到llamafile.exe文件， 再从https://www.modelscope.cn/models/bingal/llamafile-models/下载相应的Llama 7B模型，将模型文件和llamafile.exe放在同一目录下。然后在当前目录下打开powershell命令窗口，执行命令
.\llamafile-0.6.2.exe -m.\Qwen-7B-Chat-q4_0.llamafile -ngl 9999 --port 8080 --