最近有很多数字人开发者看了B站频道”小智同学来了”,找我们要了源码和教程,开发者反馈了一些问题,希望我们提供详细的教程,我们也将一些反馈整理如下:
1、NLP文字OnNLPDrive()函数的调用传参,需要注意只能传文本语音(语音文件链接(.wav, .mp3)或者内容为语音base64的文件链接(.json));不能是音乐、纯电音等音频。
解决方案:
文本文字免费转URL语音音频链接:https://www.text-to-speech.cn
测试音频:ds-model-tts.tos-cn-beijing.volces.com/temp/168956149023317142.wav
2、整个Demo项目跑下来,蛮有意思的、对于想用Unity开发数字人还是很方便。调用Motionverse 3种API接口,直接驱动数字人进行语音播报及对应的面部表情和肢体动作。
3、希望能够提供导入自己数字人使用教程,本版本使用平台提供的数字人,下个版本会做Ready Player Me导入教程
以下是文字教程:
一、Unity3D安装
Unity3D(我的Unity3D是2022.3.0f1c1最新版本)
引用原作者:Dugege007的Unity3D保姆级安装教程:
https://blog.csdn.net/Dugege007/article/details/128472571
二、进入Motionverse官网
1、注册Motionverse账号:http://motionverse.deepscience.cn/#/
Motionverse是一款面向开发者的业务中台,利用AI技术,提供多模态实时驱动虚拟数字人的解决方案。它通过SDK和管理后台,解决产品和终端的虚拟数字人驱动问题。在元宇宙世界中,Motionverse能满足大量虚拟数字人的动作表情需求,通过各种输入情况,智能实时生成所需的动作表情和口型。作为中台产品,Motionverse以API/SDK的形式,向行业开放性提供解决方案,使数字人驱动变得更简单,更实时,更低成本。
2、创建应用: 请按下图5步骤实现。
3、点击“配置" 获取应用的AppID和Secret号,同时设置数字人的声音、问答库。
恭喜你、到这里你就已经完成了前期的Unity3D环境搭建、数字人驱动应用API接口的设置。
4、下一步就是创建Unity3D项目、下载Motionverse插件且导入数字人资源包到Unity3D项目内、数字人驱动数据配置。
5.补充“对接说明”中如何快速导入Unity3D插件资源。
注意:对于Unity2022版本,需要在Player设置中允许Http下载,否则会报错。
三:Motionverse模型三大接口测试
1、打开Sample脚本文件、分别简单使用声音文件OnAudioUrlDrive()函数、文字OnTextDrive()函数、NLP文字OnNLPDrive()函数,等3种函数驱动数字人。
整个Demo项目跑下来,蛮有意思的、对于想用Unity开发数字人还是很方便,调用Motionverse 3种API接口,直接驱动数字人进行语音播报及对应的面部表情和肢体动作。