当前位置：首页 > article >正文

玩转HF/魔搭/魔乐社区（作业）

article 2024/11/8 13:09:58

任务描述时间
模型下载使用Hugging Face平台、魔搭社区平台（可选）和魔乐社区平台（可选）下载文档中提到的模型（至少需要下载config.json文件、model.safetensors.index.json文件），请在必要的步骤以及结果当中截图。 20min
模型上传（可选）将我们下载好的config.json文件（也自行添加其他模型相关文件）上传到对应HF平台和魔搭社区平台，并截图。 10min
Space上传（可选）在HF平台上使用Spaces并把intern_cobuild部署成功，关键步骤截图。 10min

任务	描述	时间
模型下载	使用Hugging Face平台、魔搭社区平台（可选）和魔乐社区平台（可选）下载文档中提到的模型（至少需要下载config.json文件、model.safetensors.index.json文件），请在必要的步骤以及结果当中截图。	20min
模型上传（可选）	将我们下载好的config.json文件（也自行添加其他模型相关文件）上传到对应HF平台和魔搭社区平台，并截图。	10min
Space上传（可选）	在HF平台上使用Spaces并把intern_cobuild部署成功，关键步骤截图。	10min

GitHub CodeSpace的使用:

在终端复制以下内容

# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

下载internlm2_5-7b-chat的配置文件：

touch hf_download_josn.py

import os
from huggingface_hub import hf_hub_download

# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"

# 指定要下载的文件列表
files_to_download = [
    {"filename": "config.json"},
    {"filename": "model.safetensors.index.json"}
]

# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)

# 遍历文件列表并下载每个文件
for file_info in files_to_download:
    file_path = hf_hub_download(
        repo_id=repo_id,
        filename=file_info["filename"],
        local_dir=local_dir
    )
    print(f"{file_info['filename']} file downloaded to: {file_path}")

python hf_download_josn.py

检查运行完之后的目录：

虽然在这里我们没有完全下载internlm2_5-7b-chat模型，但是在实战营课程中，我们的InternStudio平台的 /root/share 目录下已经提供了InterLM2.5系列的模型，可以找到它们作为model_name_or_path进行使用，如

/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat

下载internlm2_5-chat-1_8b并打印示例输出：

那么如果我们需想要下载一个完整的模型文件怎么办呢？创建一个python文件用于下载internlm2_5-1_8B模型并运行。下载速度跟网速和模型参数量大小相关联，如果网速较慢的小伙伴可以只尝试下载1.8b模型对应的config.json文件以及其他配置文件。
touch hf_download_1_8_demo.py
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-1_8b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-1_8b", torch_dtype=torch.float16, trust_remote_code=True)
model = model.eval()

inputs = tokenizer(["A beautiful flower"], return_tensors="pt")
gen_kwargs = {
    "max_length": 128,
    "top_p": 0.8,
    "temperature": 0.8,
    "do_sample": True,
    "repetition_penalty": 1.0
}

# 以下内容可选，如果解除注释等待一段时间后可以看到模型输出
# output = model.generate(**inputs, **gen_kwargs)
# output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
# print(output)
将后面的代码注释：

Hugging Face Spaces的使用：
这里按着步骤走就好，

create之后，会有一个默认界面，我们复制那个url后，回到codespace继续操作就好。
如果报错：remote: Password authentication in git is no longer supported. You must use a user access token or an SSH key instead.
请再次设置这个项目的验证，这个地方需要用户的Access Tokens（具体获取方式见下文 "2.1.5 模型上传"）
git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>
例如：
git remote set-url origin https://jack:hf_xxxxx@huggingface.co/spaces/jack/intern_cobuild/
然后再次git push即可
这里的token是在这里创建的，记得改为write模式，然后，要保存！！！

然后去刷新刚刚的space界面：