数字人模型像素流送实时渲染网页手机平板用语音交互
随着AI的出圈,数字人结合大语言模型也迎来了春天,市场上涌现了越来越多的数字人服务,深耕于不同的实际使用场景。点量小芹在和一些数字人厂家交流的过程中发现,很多厂家对于数字人如何更好地在网页、手机平板等移动端使用,还在找寻合适的方案。而作为云推流实时渲染厂家,这正是我所擅长的。
场景1:直播数字人
直播改变了我们获取信息、购物、娱乐的方式,也创造了很多新的岗位,比如一些直播间也是采用了数字人直播,这些数字人涵盖带货、娱乐、游戏等多个行业主播。一些专业数字人模型服务商,提供的数字人是通过UE引擎开发的,提供很多款数字人形象,用户可根据需要选择自己的形象,设计不同的外形和动作,从而做出自己的数字人形象。
但随着模型越来越精美,可自定义的内容越来越多,对于电脑性能的要求也越来越高,很多用户本身不具备这样的电脑配置。那有没有什么办法,让用户不用安装这些数字人模型也可以直接使用这些呢?实时云渲染推流是很好的解决方案,可以实现用户在网页直接就可以自定义自己的数字人形象,只要电脑可以观看1080P视频即可。
具体实现办法是:将数字人模型放在服务器端,通过点量云流渲染程序,获得可以在网页使用3D数字人模型的链接。注意数字人运行需要的GPU和CPU并没有被省略,只不过由原来需要用户侧提供变成了服务器端提供。除了传统的键鼠交互,还可以支持文字、语音和数字人互动。
场景2:网页客服数字人
网页客服随着技术的发展,从初期的QQ、微信等人工客服,到后来的机器人客服,现在一个数字人客服可能更能体现网站的科技和时代特点。但制作越是精美的数字人,在网页上直接使用越是困难,小芹之前有了解过有些数字人在4090显卡也只能同时运行2-3个,而这个显卡配置对于C端客户来说还是很难实现的。那是否就不可以在网页上实现数字人客服了呢?
其实现在大部分是通过录制视频的方式来展示能力,但如果想要实现直接数字人客服来引导用户浏览网页的话,需要网站所以者通过推流的方式,让数字人可以在网页中使用。具体的方案和上文中基本类似,将数字人客服模型放在服务器端,通过实时渲染推流系统获得网页直接访问的网址,这样用户就可以在网站上和用户交流了。
不过这类场景下,对一些浏览量比较大的网站,如果满足每个进入网站的用户都和数字人客服独立交互,需要的服务器成本会很高。比较好的方案是通过实时云渲染系统,设置一些用户访问逻辑,比如只允许30个或者50个用户独立访问,或许来的用户提示需等待或者引导看视频,或者随机分配在操作用户的一些画面。后续在根据实际需要增加服务器资源,已达到用户体验和服务器成本的平衡。
场景3:大屏数字人讲解
在文旅等场景下,使用大屏数字人形象进行讲解,因为先进的技术可能会更好的吸引用户参与。传统的方案是每个大屏配置一个高性能主机,在电脑上操作,通过HDMI线和大屏连接,但这种方式受限于时间和空间。
而实时云渲染推流的方案,可以在景区机房配置高性能的服务器,将数字人模型推流后再网页、手机平板等设备上使用,可以景区多个热门景点使用,可以更好的满足为游客讲解的需要。当然也可以开放一些,让用户在自己的手机平板上体验。给用户更好的旅游体验,提升景区的吸引力。