测试大语言模型在嵌入式设备部署的可能性-ollama本地部署测试
前言
当今各种大语言模型百花齐放，为了方便使用者更加自由的使用大模型，将大模型变成如同棒球棍一样每个人都能用，并且顺手方便的工具，本地私有化具有重要意义。
本次测试使用ollama完成模型下载，过程简单快捷。
1、进入ollama：https://ollama.com/下载对应系统的ollama
2、windows中使用cmd或powershell执行ollama server进入ollama命令行
3、ollama run llm-model即可检测是否下载模型，并运行模型
本次测试的大语言模型大小均在1GB左右，具体如下图所示：
以上使用的模型最大的是llama3.2:1b，大小达到了1.3GB
在ollam项目的github:https://github.com/ollama/ollama页面可以看到提示：
因此，考虑到边缘嵌入式设备的内存大小，并且如果需要大语言模型能够在嵌入式设备中运行，那么必须要要留足空间给大语言模型。此外，还要留出一部分空间给比如数据库、UI等各种资源的。
如果大语言模型占用了1GB，个人认为嵌入式设备的RAM大小至少要3GB可能才不会影响其他进程的运行。
测试过程
测试问题
从解释性编程语言编程、日常问题和长句问题，三个方向出问题测试：
- 使用python编写一个贪吃蛇游戏
- 天空为什么是蓝色的？
- 当今时代，大语言模型大行其道，大量的文员类工作可能很快被大语言模型替代，如果因此被辞退应该何去何从？
测试效果
qwen2.5:1.5b
问题1
问题2
问题3
qwen2.5-coder:0.5b
问题1
问题2
问题3
qwen2.5:0.5b
问题1
问题2
问题3
llama3.2:1b
问题1
测试过程中出现过中文全部乱码的问题。
问题2
问题3
deepseek-r1:1.5b
问题1
编写代码大概率（3次测试出现2次）出现编写代码循环重复和无法停止的问题。
问题2
问题3
结论
从反应速度（完成问题回答）、回答问题准确性（语言一致性，但不包括回答正确性），两方面进行比较，分别分为低中高三个档次。
| 模型 | 模型大小 | 反应速度 | 准确性 |
|---|---|---|---|
| qwen2.5:1.5b | 986 MB | 中 | 高 |
| qwen2.5-coder:0.5b | 531 MB | 高 | 中 |
| qwen2.5:0.5b | 397 MB | 高 | 中 |
| llama3.2:1b | 1.3 GB | 中 | 低 |
| deepseek-r1:1.5b | 1.1 GB | 低 | 中 |
总体来说qwen2.5:1.5b在边缘嵌入式设备部署最具有综合竞争力。同时，qwen2.5:0.5b在除了代码编程当中比较不足，但qwen2.5-coder:0.5b又专门提供了这方面的能力，两者的总大小小于qwen2.5:1.5b。
可以考虑使用一个折中的方法，主模型使用qwen2.5:0.5b用户回答问题，在回答问题前先问是否是需要编程，或使用正则表达式判断问题当中是否有python,cpp,c++,c语言,java等字段。如果需要编程则转到作为子模型的qwen2.5-coder:0.5b回答问题。
