【8G 显存玩转书生大模型 Demo】

8G 显存玩转书生大模型 Demo

1 准备工作

使用studio.intern环境：

1、启动开发机，如果被释放了，要重新创建一个

2、远程连接

参见

打开之前配置好的远程连接（新建的要修改配置文件）：

【仅新建】修改配置文件

2 部署demo

mkdir -p /root/demo
touch /root/demo/cli_demo.py
#复制 cli_demo.py代码，使用vi或者vscode可视化
python /root/demo/cli_demo.py

参见图示例：

模型使用

3 进阶任务

3.1 InternLM-XComposer2-VL-1.8B

GPU资源不足，无法运行

【使用自有服务器】

1 模型下载

# pip install modelscope
from modelscope.hub.snapshot_download import snapshot_download
 
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b', cache_dir='./model_dir', revision='master')

模型已下载，但是没识别到

3.2 InternVL2-2B

GPU资源不足，无法运行

1 模型下载

# pip install modelscope
# 该模式是申请制，需要先在页面上申请https://modelscope.cn/models/OpenGVLab/InternVL2-2B，进个人中心的设置获取key
from modelscope.hub.snapshot_download import snapshot_download
 
from modelscope import HubApi
api=HubApi()
api.login('个人设置中的访问令牌')
model_dir = snapshot_download('OpenGVLab/InternVL2-2B', cache_dir='./model_dir', revision='master')

2 模型使用

# 一些必要包安装
# pip install lmdeploy gradio timm
lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1

打开可视化页面

上传图片进行对话