在带有Intel NPU的Windows上安装IPEX-LLM

在带有Intel NPU的Windows上安装IPEX-LLM

本文将介绍在 Intel NPU 环境下安装 IPEX-LLM。

先决条件

要使用 Intel NPU 加速，工具安装和环境准备有几个先决条件：

第 1 步：更新 NPU 驱动程序。

第 2 步（可选）：安装 Visual Studio 2022 社区版并选择“使用 C++ 进行桌面开发”。

第 3 步：安装 Anaconda 以进行 Python 环境管理。

更新 NPU 驱动程序

从Intel® NPU Driver下载驱动程序。

这里我们选择32.0.100.3104版本（也可以选择最新版本），点击下载按钮。

点击同意下载，并等待下载完成。

将下载的驱动程序解压到任意一个路径下。

通过计算机的管理菜单，打开管理工具。

在设备管理器下，选择Intel® AI Boost，右键单击，并选择更新驱动程序。

选择浏览我的电脑以查找驱动程序。

选择刚才解压的驱动程序所在的路径，点击下一步并根据向导进行安装。

安装完成后，我们可以看到驱动程序的版本信息。

这样，NPU驱动就安装完成。

（可选）安装 Visual Studio 2022 社区版

从Visual Studio 2022下载Visual Studio 2022 社区版安装程序，并双击安装程序开始进行安装。点击继续按钮进行下一步。

等待安装向导下载必需的Visual Studio 2022安装程序包。

所有必需的安装包都下载完成后，即将进入下一步。

在工作负荷界面，选择使用 C++ 的桌面程序开发，并确认安装详细信息、选择安装位置，默认是在 C:\\Program Files 目录下，然后点击安装按钮开始进行安装。

等待安装向导下载必需的安装包、进行安装。

所有必需的安装包都下载、安装完成后，在安装完毕提示框点击确定按钮退出安装程序。

这样，Visual Studio 2022 社区版使用 C++ 进行桌面开发就安装完成，安装完成以后建议重启一下电脑。

安装 IPEX-LLM

创建虚拟环境

我们需要创建一个用来安装 IPEX-LLM 的虚拟环境，Python 版本指定为 3.11。

conda create -n ipex-llm-npu python=3.11 libuv -y
conda activate ipex-llm-npu

安装 IPEX-LLM

接下来我们就可以安装 IPEX-LLM 了。

pip install --pre --upgrade ipex-llm[npu]
pip install timm torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2

并且，我们还可以安装自己需要的其他包。

环境验证

要获得 NPU 支持，我们在运行 Python 程序之前，需要设置环境变量。

set IPEX_LLM_NPU_MTL=1

然后，可以编写代码进行验证。

import torch
from ipex_llm.transformers.npu_model import AutoModelForCausalLM
tensor_1 = torch.randn(1, 1, 40, 128).to('npu')
tensor_2 = torch.randn(1, 1, 128, 40).to('npu')
print(torch.matmul(tensor_1, tensor_2).size())

执行代码，我们将得到如下输出：

torch.Size([1, 1, 40, 40])

**注意：**如果代码中不执行from ipex_llm.transformers.npu_model import AutoModelForCausalLM则会报错。