寒武纪MLU370部署deepseek r1

前言

DeepSeek-R1拥有卓越的性能，在数学、代码和推理任务上可与OpenAI o1媲美。其采用的大规模强化学习技术，仅需少量标注数据即可显著提升模型性能，为大模型训练提供了新思路。此外，DeepSeek-R1构建了智能训练场，通过动态生成题目和实时验证解题过程等方式，提升模型推理能力。该模型完全开源，采用MIT许可协议，并开源了多个小型模型，进一步降低了AI应用门槛，赋能开源社区发展

一、平台环境准备

镜像选择：pytorch:v24.12-torch2.5.0-torchmlu1.24.0-ubuntu22.04-py310
卡选择：任意一款MLU3系列及以上卡

二、模型下载

apt install git-lfs
git-lfs clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B.git

三、环境安装

pip install transformers accelerate

四、代码修改

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch###+
import torch_mlu###+
import torch_mlu.utils.gpu_migration###+
model_name = "/workspace/volume/guojunceshi2/DeepSeek-R1-Distill-Qwen-14B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,###+
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "我只有3000元，帮我制定一份南京3天游"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

五、运行效果

/torch/venv3/pytorch/lib/python3.10/site-packages/torch_mlu/mlu/__init__.py:379: UserWarning: Linear memory is not supported on this device. Falling back to common memory. (Triggered internally at /torch_mlu/torch_mlu/csrc/framework/core/caching_allocator.cpp:718.)
  torch_mlu._MLUC._mlu_init()
[WARNING][/torch_mlu/torch_mlu/csrc/utils/version.cpp:133][operator()][process:22535][thread:140454997248896]: Cambricon NEUWARE minimum version requirements not met! Require DRIVER minimum verion is 6.2.8-1, but current version is 5.10.29-1
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:13<00:00,  3.49s/it]
Setting `pad_token_id` to `eos_token_id`:151643 for open-end generation.
[2025-01-31 21:51:38.846151][CNNL][WARNING][22535][Card:0]: [cnnlGetReduceOpWorkspaceSize] is deprecated and will be removed in future release. Use [cnnlGetReduceOpWorkspaceSize_v2] instead.
[2025-01-31 21:51:38.846271][CNNL][WARNING][22535][Card:0]: [cnnlReduce] is deprecated and will be removed in future release. Use [cnnlReduce_v2] instead.
<think>
嗯，用户说他只有3000元，想让我帮他制定一份南京3天游的计划。首先，我得考虑他的预算情况，3000元在3天里怎么分配比较合理。通常，旅游费用包括交通、住宿、餐饮和景点门票，所以我要平衡这些部分。

他可能是一个独自旅行或者和朋友一起，不太清楚南京有哪些必去的景点，所以需要推荐一些经典的地方。南京作为六朝古都，有很多历史文化景点，比如中山陵、夫子庙、秦淮河这些，都是不能错过的。

交通方面，南京的地铁很方便，可以建议他买地铁一日票或者多日票，这样比较划算。另外，景点之间的距离可能有点远，所以交通费用需要考虑进去。

住宿的话，3000元大概可以住三星级到四星级的酒店，或者选择经济型连锁酒店，这样每天大概1000元左右。可能的话，住在新街口或者夫子庙附近，交通便利，方便游玩。

餐饮方面，南京的小吃很出名，比如盐水鸭、汤包等，预算要留出一部分来品尝当地美食。每顿饭大概控制在50-100元，这样3天下来餐饮费用大约500-800元。

景点门票方面，中山陵免费，夫子庙免费，但有些景点可能需要门票，比如明孝陵、总统府等，这些加起来可能需要300-500元。

接下来，我得安排每天的行程，尽量让行程紧凑但不过于劳累。第一天可以安排中山陵、明孝陵和紫金山天文台，这些地方都在紫金山附近，比较集中。第二天集中在老城区，夫子庙、秦淮河、南京博物馆，晚上可以去新街口和夫子庙附近逛逛。第三天安排总统府、南京大屠杀纪念馆和玄武湖公园，这样既有历史又有自然景观。

还要考虑一些小贴士，比如交通卡的购买，景点的开放时间，以及当地的美食推荐。这样用户在旅行中会更方便。

最后，检查一下总预算是否在3000元左右，可能需要做一些调整，比如住宿选择更便宜的选项，或者减少一些景点，但尽量让行程丰富又不超支。
</think>

好的！以下是一个适合预算约3000元的南京3天游行程建议。南京是一个历史悠久的城市，既有丰富的历史文化景点，也有现代化的城市风光。以下是详细的行程安排：

---

### **第一天：历史文化之旅**
**交通预算**：约100元（地铁或公交）
**住宿预算**：约1000元（经济型酒店或青年旅舍）
**餐饮预算**：约300元

#### 上午：
1. **中山陵**（免费）  
   - 南京的标志性景点，民国建筑的代表，登顶可以俯瞰南京全景。
   - 建议早晨前往，避免人流过多。

#### 下午：
2. **明孝陵**（门票：70元）  
   - 明代皇家陵寝，世界文化遗产，建筑宏伟，适合拍照。
   - 建议参观祾恩殿和石像生。

3. **紫金山天文台**（门票：20元）  
   - 如果时间充裕，可以顺便参观，感受科学与历史的结合。

#### 晚上：
4. **晚餐**：尝试南京特色美食，如盐水鸭、鸭血粉丝汤、小笼包等。推荐去新街口或夫子庙附近的餐厅。
5. **住宿**：建议住在夫子庙或新街口附近，方便第二天游玩。

---

### **第二天：古城与现代生活**
**交通预算**：约80元
**景点预算**：约100元
**餐饮预算**：约300元

#### 上午：
1. **夫子庙秦淮风光带**（免费）  
   - 漫步秦淮河畔，感受古都风情，可以租一只小船在河上漂流（约50元/小时）。
   - 推荐在夫子庙附近购买一些南京特产，如云锦、雨花石等。

2. **南京博物馆**（免费）  
   - 如果时间充裕，可以参观，了解南京的历史文化。

#### 下午：
3. **总统府**（门票：80元）  
   - 近代历史的重要遗址，建筑风格中西合璧，适合拍照。

4. **鼓楼公园**（免费）  
   - 如果时间允许，可以顺便逛逛，感受南京的慢生活。

#### 晚上：
5. **新街口/夫子庙夜景**  
   - 晚上可以在夫子庙附近散步，欣赏夜晚的秦淮河灯光秀。
6. **晚餐**：尝试南京火锅或烤肉，推荐“巷子深”或“南京大牌档”。

---

### **第三天：自然与休闲**
**交通预算**：约80元
**景点预算**：约100元
**餐饮预算**：约300元

#### 上午：
1. **玄武湖公园**（免费）  
   - 南京最大的城市公园，适合散步、骑行或划船。
   - 可以租一辆共享单车（约3元/小时）或租船游湖（约40元/小时）。

2. **南京大屠杀纪念馆**（门票：免费）  
   - 了解历史，感受和平的重要性。

#### 下午：
3. **中山植物园**（门票：50元）  
   - 如果时间充裕，可以顺便参观，感受自然与植物的美妙结合。

#### 晚上：
4. **返程准备**  
   - 根据返程时间，前往南京南站或机场，结束愉快的南京之旅。

---

### **总预算估算**：
- **交通**：约300元（包括市内交通和景点之间交通）
- **住宿**：约1000元
- **餐饮**：约900元
- **景点门票**：约500元
- **其他**：约200元（纪念品、小吃等）

**总计**：约3000元

---

### **小贴士**：
1. 南京的地铁非常方便，可以购买地铁一日票（20元/人），覆盖大部分景点。
2. 南京的景点大多集中在主城区，步行或骑行即可。
3. 南京小吃种类繁多，记得尝试地道的盐水鸭和鸭血粉丝汤！

希望这份行程能帮助你玩转南京，祝你旅途愉快！
/opt/py3.10/lib/python3.10/tempfile.py:860: ResourceWarning: Implicitly cleaning up <TemporaryDirectory '/tmp/tmp0sdoxr7m'>
  _warnings.warn(warn_message, ResourceWarning)