豆包大模型-语音实时通话-青青-服务器ECS踩坑过程

语音实时通话-青青

依托豆包语音系列大模型，实现与虚拟好友乔青青开启实时语音通话，畅享真实的交流体验。

场景介绍

这款实时语音通话应用，依托豆包语音系列大模型打造。在这里，用户能与虚拟好友乔青青展开模拟通话，畅享真实的交流体验。
乔青青（Doreen），一位 20 岁的射手座新闻传播专业学生，性格率真爽朗、成绩优异，对追星、旅游、唱歌、摄影充满热情。无论是分享日常琐事，还是深入探讨趣味话题，她都能成为你的理想伙伴。而且，用户还能根据喜好，自由选择青青的音色，从清脆甜美的少女音，到活力满满的灵动嗓音，为这场交流增添更多个性化色彩 。
想认识这位多才多艺、热情开朗的青青吗？快来加入她的世界，与她一同探索生活的精彩，追逐梦想的光芒。

优势

• 沉浸式真人对话体验：生活化的沟通方式，让使用者在与乔青青交流时，仿佛她就在身边，能真切感受到她的爽朗性格，全方位模拟真人互动，深度沉浸。
• 低延时：实现近乎实时的对话响应，彻底告别长时间等待，高度模拟面对面的真实通话体验。
• WebSocket 方案：易于实现和部署，通用性强跨平台兼容性好，高效利用资源，开发灵活性高，成本低。

相关模型

• Doubao-pro-32k：深入还原角色的性格、背景和知识体系，以高度拟人化的方式回应用户提问，提供沉浸式的对话体验。
• Doubao-语音合成：根据用户偏好的音色定制生成拟人化、逼真的角色语音输出。
• Doubao-流式语音识别：将用户的语音提问转写为文本，以便于大模型对用户问题的理解与回复。

模型申请

Doubao-pro-32k申请入口

账号登录-火山引擎欢迎登录火山引擎，火山引擎是字节跳动旗下的云服务平台。https://console.volcengine.com/arkDoubao语音合成申请入口

null欢迎登录火山引擎，火山引擎是字节跳动旗下的云服务平台。https://console.volcengine.com/speech/app

下载源码

前往GITHUB下载官方提供的DEMO

https://github.com/volcengine/ai-app-lab/tree/main/demohouse/live_voice_call

环境准备

• Poetry 1.6.1 版本
• Python 版本要求大于等于 3.8，小于 3.12
• Node 18.0 或以上版本
• PNPM 8.10 或以上版本
• 获取语音技术产品的 APP ID 和 Access Token，获取方式参见【附录】
• 火山方舟 API KEY 
• 火山引擎 AK SK 
• 创建 Doubao-Pro 32K 的endpoint 

火山方舟 API KEY 

1. 选择API Key

请按如下方式设置 API Key 作为环境变量，其中"YOUR_API_KEY"需要替换为您在平台创建的 API Key

选择 API Key 并复制

export ARK_API_KEY="YOUR_API_KEY"

2. 选择示例代码

火山方舟 v3 API 与 OpenAI API 协议兼容，您可以使用火山引擎官方 SDK，也可以使用 OpenAI SDK 或其他兼容 OpenAI API 协议的多语言社区 SDK 调用火山方舟推理服务。第三方 SDK 不由火山引擎团队维护，仅供参考

语音合成

PYTHON环境安装

注意注意如果你的PYTHON如果不是3.8以上的安装时可能会出现错误 ，建议先升级版本

快速开始

本文为您介绍如何在本地快速部署 live voice call 项目。

1. 下载代码库

   git clone https://github.com/volcengine/ai-app-lab.git
   cd demohouse/live_voice_call
   

2. 修改配置

• 修改backend/handler.py

  ASR_ACCESS_TOKEN = "{YOUR_ASR_ACCESS_TOKEN}"
  ASR_APP_ID = "{YOUR_ASR_APP_ID}"
  TTS_ACCESS_TOKEN = "{YOUR_TTS_ACCESS_TOKEN}"
  TTS_APP_ID = "{YOUR_TTS_APP_ID}"
  LLM_ENDPOINT_ID = "{YOUR_ARK_LLM_ENDPOINT_ID}"
  

• 修改本地环境变量注入方舟APIKEY

  export ARK_API_KEY={YOUR_API_KEY}
  

1. 启动服务端

   cd demohouse/live_voice_call/backend
   
   python -m venv .venv
   source .venv/bin/activate
   pip install poetry==1.6.1
   
   poetry install
   poetry run python -m handler
   

2. 启动web端

   cd demohouse/live_voice_call/frontend
   pnpm install
   pnpm run dev
   

3. 访问http://localhost:8080即可

服务器上的踩坑点

最主要的是服务器上的踩坑点特别要注意的哟，如果不改，会一直出现连不上的问题。

最主要的是服务器上的踩坑点特别要注意的哟，如果不改，会一直出现连不上的问题。

最主要的是服务器上的踩坑点特别要注意的哟，如果不改，会一直出现连不上的问题。

大家记得一定要改否则用不了哟

前端发布

pnpm run build.网站要求用HTTPS，用你的域名打包指定到dist目录里，要不然不支持哟。