书生大模型第四期闯关任务与笔记

入门岛

第一关 Linux

闯关任务：完成SSH连接与端口映射并运行hello_world.py

ssh连接：打开powershell，复制登录命令。使用hostname查看开发机名称，使用uname -a查看开发机内核信息，使用lsb_release -a查看开发机版本信息，使用nvidia-smi查看GPU的信息

后续使用cursor进行ssh和端口映射，成功运行hello_world.py

笔记与过程

SSH

cursor安装Remote-SSH

创建开发机

SSH全称Secure Shell，中文翻译为安全外壳，它是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。

SSH 是（C/S架构）由服务器和客户端组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的会话密钥用于后续的对称加密。在完成用户认证后，双方即可建立会话进行数据交互。

那在后面的实践中我们会配置SSH密钥，配置密钥是为了当我们远程连接开发机时不用重复的输入密码，那为什么要进行远程连接呢？

远程连接的好处就是，如果你使用的是远程办公，你可以通过SSH远程连接开发机，这样就可以在本地进行开发。而且如果你需要跑一些本地的代码，又没有环境，那么远程连接就非常有必要了。

命令：ssh -p 38267 root@ssh.intern-ai.org.cn -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null

端口映射

端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。

那么我们使用开发机为什么要进行端口映射呢？

因为在后续的课程中我们会进行模型web_demo的部署实践，那在这个过程中，很有可能遇到web ui加载不全的问题。这是因为开发机Web IDE中运行web_demo时，直接访问开发机内 http/https 服务可能会遇到代理问题，外网链接的ui资源没有被加载完全。

所以为了解决这个问题，我们需要对运行web_demo的连接进行端口映射，将外网链接映射到我们本地主机，我们使用本地连接访问，解决这个代理问题。下面让我们实践一下。

ssh -p 38267 root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyChecking=no

这条命令会通过开发机 SSH 通道将开发机内的 {开发机_PORT} 转发到您本地机器的 (本地机器_PORT}，这个过程可能会要求你输入 SSH 链接的密码。

linux文件管理命令

在 Linux 中，常见的文件管理操作包括：

• 创建文件：可以使用 touch 命令创建空文件。
• 创建目录：使用 mkdir 命令。
• 目录切换：使用cd命令。
• 显示所在目录：使用pwd命令。
• 查看文件内容：如使用 cat 直接显示文件全部内容，more 和 less 可以分页查看。
• 编辑文件：如 vi 或 vim 等编辑器。
• 复制文件：用 cp 命令。
• 创建文件链接：用ln命令。
• 移动文件：通过 mv 命令。
• 删除文件：使用 rm 命令。
• 删除目录：rmdir（只能删除空目录）或 rm -r（可删除非空目录）。
• 查找文件：可以用 find 命令。
• 查看文件或目录的详细信息：使用ls命令，如使用 ls -l查看目录下文件的详细信息。
• 处理文件：进行复杂的文件操作，可以使用sed命令。

linux进程管理命令

进程管理命令是进行系统监控和进程管理时的重要工具，常用的进程管理命令有以下几种：

• ps：查看正在运行的进程
• top：动态显示正在运行的进程
• pstree：树状查看正在运行的进程
• pgrep：用于查找进程
• nice：更改进程的优先级
• jobs：显示进程的相关信息
• bg 和 fg：将进程调入后台
• kill：杀死进程

第二关 Python

闯关任务：Leetcode 383(笔记中提交代码与leetcode提交通过截图)

代码：

class Solution:
    def canConstruct(self, ransomNote: str, magazine: str) -> bool:
        a = Counter(ransomNote) 
        b = Counter(magazine)
        return (a & b) == a

通过截图：

思路：一开始的想法是用map统计每个字母的出现次数，保证magazine中每个字母的统计次数>=ransomNote中的；python3正好有很方便的库Collection用来跟踪值出现的次数，常见操作如下，用交集就可以满足该题的要求。

>>> c = Counter("abcdcba")
>>> c
Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})
>>> c = Counter("abcdefgab")
>>> c["a"]
2
>>> c["c"]
1
>>> c["h"]
0
sum(c.values())  # 所有计数的总数
c.clear()  # 重置Counter对象，注意不是删除
list(c)  # 将c中的键转为列表
set(c)  # 将c中的键转为set
dict(c)  # 将c中的键值对转为字典
c.items()  # 转为(elem, cnt)格式的列表
Counter(dict(list_of_pairs))  # 从(elem, cnt)格式的列表转换为Counter类对象
c.most_common()[:-n:-1]  # 取出计数最少的n-1个元素
c += Counter()  # 移除0和负值

闯关任务：Vscode连接InternStudio debug笔记

pip下载openai环境，运行后发现有bug

打断点排查，发现json.loads理应处理的json字符串res有一些多余的字符：

使用res.strip()去除后即可顺利运行：

完整代码：

from openai import OpenAI#调用书生浦语API实现将非结构化文本转化成结构化json的例子
import json
def internlm_gen(prompt,client):
    '''
    LLM生成函数
    Param prompt: prompt string
    Param client: OpenAI client 
    '''
    response = client.chat.completions.create(
        model="internlm2.5-latest",
        messages=[
            {"role": "user", "content": prompt},
      ],
        stream=False
    )
    return response.choices[0].message.content

api_key = ''
client = OpenAI(base_url="https://internlm-chat.intern-ai.org.cn/puyu/api/v1/",api_key=api_key)

content = """
书生浦语InternLM2.5是上海人工智能实验室于2024年7月推出的新一代大语言模型，提供1.8B、7B和20B三种参数版本，以适应不同需求。
该模型在复杂场景下的推理能力得到全面增强，支持1M超长上下文，能自主进行互联网搜索并整合信息。
"""
prompt = f"""
请帮我从以下``内的这段模型介绍文字中提取关于该模型的信息，要求包含模型名字、开发机构、提供参数版本、上下文长度四个内容，以json格式返回。
`{content}`
"""
res = internlm_gen(prompt,client)
trimmed_res = res.strip()[7:-3]
res_json = json.loads(trimmed_res)
print(res_json)

笔记与过程

conda虚拟环境

虚拟环境是Python开发中不可或缺的一部分，它允许你在不同的项目中使用不同版本的库，避免依赖冲突。Conda是一个强大的包管理器和环境管理器。

pip只管理python包，conda

conda create --name myenv python=3.9
conda activate myenv
conda deactivate
#查看当前设备上所有的虚拟环境
conda env list
#查看当前环境中安装了的所有包
conda list
#删除环境（比如要删除myenv）
conda env remove myenv
#安装虚拟环境到指定目录 方便共享
conda create --prefix /root/envs/myenv python=3.9

pip安装

pip install -r requirements.txt

为了节省大家的存储空间，本次实战营可以直接使用share目录下的conda环境，但share目录只有读权限，所以要安装额外的包时我们不能直接使用pip将包安装到对应环境中，需要安装到我们自己的目录下。

这里我们用本次实战营最常用的环境/root/share/pre_envs/pytorch2.1.2cu12.1来举例。

# 首先激活环境
conda activate /root/share/pre_envs/pytorch2.1.2cu12.1

# 创建一个目录/root/myenvs，并将包安装到这个目录下
mkdir -p /root/myenvs
pip install <somepackage> --target /root/myenvs

# 注意这里也可以使用-r来安装requirements.txt
pip install -r requirements.txt --target /root/myenvs

要使用安装在指定目录的python包，可以在python脚本开头临时动态地将该路径加入python环境变量中去

import sys  
  
# 你要添加的目录路径  
your_directory = '/root/myenvs'  
  
# 检查该目录是否已经在 sys.path 中  
if your_directory not in sys.path:  
    # 将目录添加到 sys.path  
    sys.path.append(your_directory)  
  
# 现在你可以直接导入该目录中的模块了  
# 例如：import your_module

配debug环境

下载python插件，首次debug需要配置以下，点击“create a launch.json file”，选择python debugger后选择“Python File” config。

第三关 Git

任务1: 破冰活动：自我介绍

fork后下载有一些问题，是网络，多试几次

写自我介绍文件并提交到本地仓库
提交pr。pr链接：https://github.com/InternLM/Tutorial/pull/2517

任务2: 实践项目：构建个人项目

因为github经常出现网络问题，使用gitee平台，在其上上传了深度学习相关的个人毕设项目（因为暂无大模型项目），并将书生大模型的超链接加入readme：
https://gitee.com/sammmmy/cfg-gnn
因为个人时间和能力有限，以及主题不相关，不报名第四期实战营项目。

笔记与过程

工作区、暂存区和 Git 仓库区

• 工作区（Working Directory）： 当我们在本地创建一个 Git 项目，或者从 GitHub 上 clone 代码到本地后，项目所在的这个目录就是“工作区”。这里是我们对项目文件进行编辑和使用的地方。
• 暂存区（Staging Area）： 暂存区是 Git 中独有的一个概念，位于 .git 目录中的一个索引文件，记录了下一次提交时将要存入仓库区的文件列表信息。使用 git add 指令可以将工作区的改动放入暂存区。
• 仓库区 / 本地仓库（Repository）： 在项目目录中，.git 隐藏目录不属于工作区，而是 Git 的版本仓库。这个仓库区包含了所有历史版本的完整信息，是 Git 项目的“本体”。

常用指令

常用指令

进阶指令

第四关 玩转HF/魔搭/魔乐社区

任务：HF平台模型下载与使用过程

1. 使用GitHub CodeSpace安装依赖：

2. 下载internlm2_5-7b-chat的配置文件

3. 下载internlm2_5-chat-1_8b并打印示例输出：这里以“A beautiful flower”开头，模型对其进行“续写”，InternLM的模型拥有强大的数学方面的能力。这里输出的问题是一个数学问题。

4. Hugging Face Spaces的使用：
   Hugging Face Spaces 是一个允许我们轻松地托管、分享和发现基于机器学习模型的应用的平台。Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用，且无需担心后端基础设施或部署的复杂性。
   首先创建了static space
   
   然后回到CodeSpace，接着clone项目。照着手册修改html，添加token，就能成功push，发现再次进入Space界面变成了下图：

5. 模型上传：
   通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。一些过程：
   上传完毕的模型网页：