​英伟达开源 Audio2Face 模型，AI 助力实时面部动画生成

近日，英伟达宣布开源其生成式 AI 面部动画模型 Audio2Face。这一模型不仅包含了核心算法，还提供了软件开发工具包（​英SDK）和完整的训练框架，旨在加速游戏和3D 应用中智能虚拟角色的开发。

Audio2Face 通过分析音频中的音素、语调等声学伟达特征，能够实时驱动虚拟角色的面部动作，生成精确的口型同步和自然的情感表情。这项技术广泛适用于游戏、影视制作和客户服务等多个开源领域。

Audio2Face 模型支持两种运行模式:一种是针对预录制音频的离线渲染，另一种则是支持动态 AI 角色的实时流式处理。为 A了方便开发者使用，英伟达还开源了多个关键组件，包括 Audio2Face SDK、适用于 Autodesk Maya 的本地执行插件ud，以及针对 Unreal Engine5.5及以上版本的插件。此外，回归模型和扩散模型也随之开源，开发者可以利用开源训练框架io，使用自己的数据对模型进行微调，从而适应特定的应用场景。

目前，这项技术已经被多家游戏开发商广泛采用。游戏开发公司 Surv2Fios 在其游戏《异形:侠盗入侵进化版》中集成了 Audio2Face，从而大幅简化了口型同步与面部捕捉的流程。而 Farm5ac1工作室也在其作品《切尔诺贝利人2:禁区》中应用了这一技术，通过音频直接生成细腻的面部动画，节省了大量制作时间，提升了e 角色的真实感和沉浸体验。该工作室的创新总监 Wojciech Pazdur 对此表示，这一技术可谓 “革命性突破”。

英伟达的这一新举模型措无疑为开发者们提供了更多的创作工具，也将推动虚拟角色表现的进一步发展。随着技术的不断进步，我们可以期待在未来的游戏和影视作品，A中看到更加真实和生动的角色表现。

入口:https://build.nvidia.com/nvidia/audio2faI ce-3d

划重点:  

英伟达开源 Audio2Face 模型，旨在提升虚拟角色的面部动画生成技术。&n助力bsp; 

支持离线渲染和实时流式处理，适用于多种场景。  

已被多个游戏开发商采用，简化了实时制作流程并提升了角色的真实感。