当前位置: 首页 > article >正文

数字人模型像素流送实时渲染网页手机平板用语音交互

随着AI的出圈,数字人结合大语言模型也迎来了春天,市场上涌现了越来越多的数字人服务,深耕于不同的实际使用场景。点量小芹在和一些数字人厂家交流的过程中发现,很多厂家对于数字人如何更好地在网页、手机平板等移动端使用,还在找寻合适的方案。而作为云推流实时渲染厂家,这正是我所擅长的。 

场景1:直播数字人 

直播改变了我们获取信息、购物、娱乐的方式,也创造了很多新的岗位,比如一些直播间也是采用了数字人直播,这些数字人涵盖带货、娱乐、游戏等多个行业主播。一些专业数字人模型服务商,提供的数字人是通过UE引擎开发的,提供很多款数字人形象,用户可根据需要选择自己的形象,设计不同的外形和动作,从而做出自己的数字人形象。 

但随着模型越来越精美,可自定义的内容越来越多,对于电脑性能的要求也越来越高,很多用户本身不具备这样的电脑配置。那有没有什么办法,让用户不用安装这些数字人模型也可以直接使用这些呢?实时云渲染推流是很好的解决方案,可以实现用户在网页直接就可以自定义自己的数字人形象,只要电脑可以观看1080P视频即可。

 具体实现办法是:将数字人模型放在服务器端,通过点量云流渲染程序,获得可以在网页使用3D数字人模型的链接。注意数字人运行需要的GPU和CPU并没有被省略,只不过由原来需要用户侧提供变成了服务器端提供。除了传统的键鼠交互,还可以支持文字、语音和数字人互动。 

场景2:网页客服数字人

 网页客服随着技术的发展,从初期的QQ、微信等人工客服,到后来的机器人客服,现在一个数字人客服可能更能体现网站的科技和时代特点。但制作越是精美的数字人,在网页上直接使用越是困难,小芹之前有了解过有些数字人在4090显卡也只能同时运行2-3个,而这个显卡配置对于C端客户来说还是很难实现的。那是否就不可以在网页上实现数字人客服了呢?

 其实现在大部分是通过录制视频的方式来展示能力,但如果想要实现直接数字人客服来引导用户浏览网页的话,需要网站所以者通过推流的方式,让数字人可以在网页中使用。具体的方案和上文中基本类似,将数字人客服模型放在服务器端,通过实时渲染推流系统获得网页直接访问的网址,这样用户就可以在网站上和用户交流了。

 不过这类场景下,对一些浏览量比较大的网站,如果满足每个进入网站的用户都和数字人客服独立交互,需要的服务器成本会很高。比较好的方案是通过实时云渲染系统,设置一些用户访问逻辑,比如只允许30个或者50个用户独立访问,或许来的用户提示需等待或者引导看视频,或者随机分配在操作用户的一些画面。后续在根据实际需要增加服务器资源,已达到用户体验和服务器成本的平衡。

 场景3:大屏数字人讲解

 在文旅等场景下,使用大屏数字人形象进行讲解,因为先进的技术可能会更好的吸引用户参与。传统的方案是每个大屏配置一个高性能主机,在电脑上操作,通过HDMI线和大屏连接,但这种方式受限于时间和空间。

而实时云渲染推流的方案,可以在景区机房配置高性能的服务器,将数字人模型推流后再网页、手机平板等设备上使用,可以景区多个热门景点使用,可以更好的满足为游客讲解的需要。当然也可以开放一些,让用户在自己的手机平板上体验。给用户更好的旅游体验,提升景区的吸引力。


http://www.kler.cn/a/293803.html

相关文章:

  • react动态路由
  • 天才的懈怠 : 平衡二叉树
  • 【LeetCode】【算法】55. 跳跃游戏
  • 笔记 | image may have poor performance,or fail,if run via emulation
  • 基于matlab的CNN食物识别分类系统,matlab深度学习分类,训练+数据集+界面
  • 【时间之外】IT人求职和创业应知【34】-人和机器人,机器人更可靠
  • 363_C++_配合360_负责读取和处理录像数据RecordReader类
  • OrangePi AIpro 香橙派 昇腾 Ascend 开发系列
  • AIOT边缘计算机助力智慧储能,开启能源管理新时代
  • 【秋招笔试】9.06去哪儿秋招改编题(第一套)-三语言题解
  • 修改打包后element-ui的字体文件名;JS文件名;CSS文件名
  • 启动.cmd文件一闪而过,看不到报错信息
  • (二)十分简易快速 自己训练样本 opencv级联lbp分类器 车牌识别
  • 策略模式的小记
  • GS-SLAM论文阅读笔记--LoopSplat
  • 智能新纪元:GPT-Next引领的AI革命及其跨领域应用
  • Identifying User Goals from UI Trajectories论文学习
  • SpringBoot整合Minio及阿里云OSS(配置文件无缝切换)
  • MySQL · 性能优化 · 提高查询效率的实用指南(下)
  • 用Python导入CSV和Excel表格数据到Word表格
  • 启动 Spring Boot 项目时指定特定的 application.yml 文件位置
  • 无人机种类详解!!!
  • DPDK基础入门(四):从源码角度解析同步互斥机制
  • 乐凡三防|国产化浪潮下的三防平板
  • 在VMware虚拟机中编译文件的时候报错:找不到头文件ft2build.h
  • 【2024高教社杯全国大学生数学建模竞赛】ABCDEF题 问题分析、模型建立、参考文献及实现代码