当前位置: 首页 > article >正文

解决 Fail to pip install mlc-llm

[Question] Fail to pip install mlc-llm · Issue #2974 · mlc-ai/mlc-llm · GitHub

❓ General Questions

Hi, I’m trying to install mlc-llm on my Jetson agx orin.
Environment: Jetson agx orin、Ubuntu 20.04、CUDA 12.2
I ran the following commands:
conda create -n mlc python=3.11
conda activate mlc
conda install -c conda-forge git-lfs
conda install -c conda-forge libgcc-ng
and then
python -m pip install --pre -U -f https://mlc.ai/wheels mlc-llm-nightly-cu122 mlc-ai-nightly-cu122
It seems that I have successfully installed them.
Installing collected packages: mlc-llm-nightly-cu122, mlc-ai-nightly-cu122 Successfully installed mlc-ai-nightly-cu122-0.1 mlc-llm-nightly-cu122-0.1
But I failed to import mlc_llm
python -c "import mlc_llm; print(mlc_llm)"
Traceback (most recent call last): File "<string>", line 1, in <module> ModuleNotFoundError: No module named 'mlc_llm'

pip list 已安装mlc-llm 

更换安装方式

安装环境

  • CMake >= 3.24

  • Git

  • Rust and Cargo, required by Hugging Face’s tokenizer

  • One of the GPU runtimes:

    • CUDA >= 11.8 (NVIDIA GPUs)

    • Metal (Apple GPUs)

    • Vulkan (NVIDIA, AMD, Intel GPUs)

安装

# clone from GitHub
git clone --recursive https://github.com/mlc-ai/mlc-llm.git && cd mlc-llm/
# create build directory
mkdir -p build && cd build
# generate build configuration
python ../cmake/gen_cmake_config.py
# build mlc_llm libraries
cmake .. && cmake --build . --parallel $(nproc) && cd ..

全局路径

export MLC_LLM_SOURCE_DIR=/path-to-mlc-llm
export PYTHONPATH=$MLC_LLM_SOURCE_DIR/python:$PYTHONPATH
alias mlc_llm="python -m mlc_llm"

http://www.kler.cn/a/383148.html

相关文章:

  • 【React】JSX规则
  • 关于npm源的切换及相关操作
  • Ansys Zemax | 手机镜头设计 - 第 4 部分:用LS-DYNA进行冲击性能分析
  • 一.Linux文件基本属性
  • 怎么样鉴定疾病相关稀有细胞群?二值化精细模型标签,这个刚发的顶刊单细胞算法值得一学!
  • 25.停车场管理系统(基于web的Java项目)
  • scala set集合
  • ubuntu中安装mysql
  • SQL注入(1)
  • 一款根据图片内的文字,把图片分类的软件
  • 驱动芯片 GC1277:电脑散热风扇驱动的卓越之选
  • 【ARM Linux 系统稳定性分析入门及渐进 2.2 -- Crash 命令 Crash Usage】
  • 什么是Es6,有什么特点
  • Ubuntu18.04服务器非root用户在虚拟环境下的python版本设定
  • 在软件开发流程中使用AI大模型有哪些优势?
  • Tokenformer:基于参数标记化的高效可扩展Transformer架构
  • C-DTL698电表 转 IEC61850 协议项目案例
  • linux dpkg 查看 安装 卸载 .deb
  • C++ --- Socket套接字的使用
  • LeetCode136只出现一次的数字I
  • Javaweb选课系统-开源计划-起源-001-完全免费开源
  • [实战-11] FlinkSql 设置时区对TIMESTAMP和TIMESTAMP_LTZ的影响
  • linux node vue3 部署手册
  • 基于YOLO11/v10/v8/v5深度学习的煤矿传送带异物检测系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
  • 信息学科平台系统设计与实现:Spring Boot框架精讲
  • 【H2O2|全栈】JS进阶知识(四)Ajax