本地部署 mini-omni
本地部署 mini-omni
- 1. 创建虚拟环境
- 2. 克隆代码
- 3. 安装依赖模块
- 4. 启动 server
- 5. 运行 streamlit demo
- 6. 运行 gradio demo
1. 创建虚拟环境
conda create -n omni python=3.10
conda activate omni
2. 克隆代码
git clone https://github.com/gpt-omni/mini-omni.git
cd mini-omni
3. 安装依赖模块
pip install -r requirements.txt
4. 启动 server
sudo apt-get install ffmpeg
conda activate omni
cd mini-omni
python3 server.py --ip '0.0.0.0' --port 60808
5. 运行 streamlit demo
sudo apt-get install libasound2-dev portaudio19-dev libportaudio2 libportaudiocpp0
export PYTHONPATH=./
pip install PyAudio==0.2.14
conda install -c conda-forge libstdcxx-ng
API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py
使用浏览器打开 http://localhost:8501/ 进行访问。
6. 运行 gradio demo
API_URL=http://0.0.0.0:60808/chat python3 webui/omni_gradio.py --port 7860
使用浏览器打开 http://localhost:7860/ 进行访问。
参考资料：
- https://github.com/gpt-omni/mini-omni
完结！