当前位置: 首页 > article >正文

在本地运行大模型:以Ollama为例

对于不少朋友来说,想要让这些大模型在自己的电脑上跑起来,似乎是一件很遥远的事情。别担心!今天我们就来一步步教你如何在Windows系统下轻松实现这一目标——使用一个叫作Ollama的工具

准备阶段:下载与安装Ollama

首先,我们需要前往Ollama官网 https://ollama.com/ 下载适用于Windows平台的安装包。找到对应版本后直接下载即可。这一步就像为你的电脑准备了一个魔法盒子,里面装着开启新世界大门的钥匙。

下载完成后,双击刚刚获得的OllamaSetup.exe文件开始安装过程。整个过程非常简单快捷,按照提示操作就行啦。当看到确认信息显示已成功安装时,就意味着你已经完成了第一个重要步骤!

执行以下命令验证是否安装成功

在这里插入图片描述

个性化配置:设置模型存储位置

接下来,我们要给即将召唤出来的大模型找个合适的家。默认情况下,Ollama会把所有下载好的模型存放在C:\Users\YourName\.ollama\models这个路径下面。但如果你希望换个地方存放,比如放到D盘或者任何你觉得更合适的地方,则可以通过命令行来调整:

  • 如果只是想给自己用的话(即当前用户),可以执行这条命令:

    setx OLLAMA_MODELS "C:\zgz\ollama_models"
    
  • 若是想让所有人都能访问该目录下的模型,则需加上/M参数:

    setx OLLAMA_MODELS "C:\zgz\ollama_models" /M
    

注意,在更改完环境变量之后记得重启命令行窗口或终端,这样才能确保新的设置生效哦!

探索无限可能:查看可用模型列表

现在准备工作基本完成,下一步就是挑选心仪的模型了。你可以通过访问Ollama官方库来浏览目前支持的所有模型。这就好比进入了一间巨大的图书馆,里面摆满了各种书籍等待着你去发现。

在这里插入图片描述

选择你需要的模型

在这里插入图片描述

实践出真知:下载并启动模型

选定了心仪的模型之后,就到了激动人心的时刻——让我们把它请到家里来吧!假设你选择了名为llama3.2:1b的模型,只需打开命令提示符窗口输入如下指令即可开始下载和加载:

> ollama run llama3.2:1b

稍等片刻后,如果一切顺利,你应该就能见到自己选择的大模型正在热身准备中了。

在这里插入图片描述

可以通过以下命令查看已经安装的模型列表

img

测试环节:与模型互动

为了确保一切正常工作,我们可以通过简单的对话方式来测试一下模型的功能。只要保持刚才打开的那个命令行界面不要关闭,并尝试向模型提出问题或是发出指令,它就会给出回应啦。这就像是第一次与机器人朋友聊天一样,既新奇又有趣。

高级玩法:开放外部访问

最后,如果你想让自己搭建的AI服务器不仅限于本机使用,而是能让其他设备也能连接进来玩耍的话,就需要做一些额外设置了。默认状态下,Ollama只允许来自同一台计算机内部网络请求访问其服务。要改变这一点,我们需要告诉它接受来自任意IP地址的连接请求。

具体做法如下

一、修改一个叫做OLLAMA_HOST的环境变量值为0.0.0.0:11434

img

二、退出并重新启动Ollama服务即可

按照以下两步退出Ollama

img

img

启动Ollama

在这里插入图片描述

检查端口是否被使用

img

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。


http://www.kler.cn/a/384369.html

相关文章:

  • 信号-2-信号捕捉
  • 线性表之链表详解
  • vue实现websocket实时短消息通知
  • 详解Rust标准库:VecDeque 队列
  • 别名路径联想设置
  • 深度学习笔记9-实现逻辑回归
  • 2024最新版JavaScript逆向爬虫教程-------基础篇之Chrome开发者工具学习
  • 架构师:如何提高web网站的请求并发响应量?
  • Python中pandas组件学习总结
  • 【Linux】进程间通信(匿/命名管道、共享内存、消息队列、信号量)
  • 【go从零单排】实现枚举类型(Enum)
  • PyCharm中 argparse 库 的使用方法
  • jenkins流水线pipeline
  • Netty篇(学习前言)
  • mysql常见的一些配置项
  • C#-拓展方法
  • iOS开发 swift系列---一个视图数据修改后,如何刷新另外一个视图
  • 多机器人图优化:2024ICARA开源
  • 服务器数据恢复—分区结构被破坏的reiserfs文件系统数据恢复案例
  • 火山引擎云服务docker 安装
  • SpringBoot开发——8种读取配置文件信息的方式
  • 基于MPPT最大功率跟踪的光伏发电蓄电池控制系统simulink建模与仿真
  • 【ArcGISPro】单次将自己建立的工具箱添加至Arcpy中
  • C字符串 | 字符串处理函数 | 使用 | 原理 | 实现
  • MySQL limit offset分页查询可能存在的问题
  • FPGA高速设计之Aurora64B/66B的应用与不足的修正