丽贝卡·莫恩
10月 02， 2024 06：20
NVIDIA 为 AI 驱动的 MetaHuman 角色推出了新的虚幻引擎 5 插件，从而简化了 ACE 技术的部署。
在 Unreal Fest 2024 上，NVIDIA 推出了适用于 NVIDIA ACE 的新虚幻引擎 5 设备端插件，旨在简化 AI 驱动的 MetaHuman 角色在 Windows PC 上的创建和部署。根据 NVIDIA 技术博客，ACE 是一套数字人类技术，提供由生成式 AI 提供支持的语音、智能和动画。
新插件和功能
最新版本包括 Audio2Face-3D 插件，用于 Autodesk Maya 中 AI 驱动的面部动画。此插件提供了一个简化的界面，可加快 Maya 中的头像开发，并配有源代码，以便在其他数字内容创建工具中进一步自定义。
NVIDIA 还利用 Epic 的 Unreal Pixel Streaming 技术开发了 Unreal Engine 5 渲染器微服务。此微服务在早期访问中支持 NVIDIA ACE Animation Graph 微服务和 Linux 操作系统。动画图形微服务支持逼真的角色移动，借助 Unreal 像素流送，开发人员可以将 MetaHuman 创作流式传输到任何设备。
增强的开发人员资源
NVIDIA ACE Unreal Engine 5 示例项目指导开发人员将 ACE 集成到他们的应用程序中。该项目扩展了设备上 ACE 插件的数量，包括：
- Audio2Face-3D 用于口型同步和面部动画
- 用于生成响应的 Nemotron Mini 4B Instruct 模型
- 用于上下文信息的检索增强生成 （RAG）
这些微服务针对 Windows PC 上的低延迟和最低内存使用量进行了优化，使开发人员能够高效地创建响应式 MetaHuman 角色。
使用 Maya ACE 插件简化 3D 动画
Autodesk Maya 以其高性能动画功能而闻名，现在支持 Audio2Face-3D 插件，有助于实现高质量、音频驱动的面部动画。该插件的用户界面允许无缝过渡到虚幻引擎 5，并且可以为其他数字内容工具定制源代码。
首先，开发人员应生成 API 密钥或下载 Audio2Face-3D 微服务。该插件是 NVIDIA NIM 的一部分，NVIDIA NIM 是一套微服务，旨在加速跨云和数据中心部署基础模型。开发人员可以访问 NVIDIA/Maya-ACE GitHub 存储库以获取所有必要的资源。
使用 UE5 像素流送扩展数字人类技术部署
通过云部署数字人类技术旨在覆盖广泛的受众。NVIDIA ACE 中新的虚幻引擎 5 渲染器微服务支持 Animation Graph 微服务和 Linux 操作系统，从而促进高保真角色流。此设置允许MetaHuman角色在云服务器上运行，并使用Web实时通信（WebRTC）流式传输到浏览器和边缘设备。
Animation Graph 微服务与 AI 模型集成，为角色创建对话管道，维护上下文和历史记录。UE5 像素流送兼容性确保在各种应用程序中高效部署高质量的 MetaHuman 角色。
开始
对 Unreal Engine 5 渲染器微服务感兴趣的开发人员可以申请抢先体验。有关 NVIDIA ACE 和 NIM 微服务的更多信息，请访问 NVIDIA 技术博客。
图片来源： Shutterstock
