Omniverse Audio2Face — анимация лица 3D-персонажа по аудиозаписи

Это эталонное приложение упрощает анимацию 3D-персонажа в соответствии с любой голосовой дорожкой. В приложение предварительно загружена 3D-модель персонажа, которую можно анимировать по голосовой дорожке. Аудиосигнал поступает в предварительно обученную глубокую нейронную сеть, а её выход в реальном времени управляет вершинами сетки персонажа, создавая анимацию лица.

Персонажи и экспорт данных

Функция переноса персонажа позволяет перенастраивать анимацию для любого человеческого или человекоподобного 3D-лица. Можно масштабировать результат для нескольких персонажей в сцене и управлять эмоциями персонажа с помощью сети ИИ.

Функции преобразования данных включают преобразование blendshape и экспорт blendweight. Поддерживается экспорт и импорт Blendshapes для Blender и Epic Games Unreal Engine, чтобы создавать анимацию персонажей.