NVIDIA Broadcast теперь может имитировать ваши глаза

Создатели контента теперь смогут читать сценарии, а технологии NVIDIA гарантируют, что они смотрят в камеру. Эффект зрительного контакта был реализован в программном стеке Broadcast, специальном наборе инструментов для людей, которые записывают свои видео.

Эта технология будет не только контролировать, куда смотрит говорящий, но и копировать цвет глаз и следить за тем, чтобы он моргал. Он будет делать это автоматически во время записи и будет делать это достаточно плавно, чтобы зрители не заметили.

Eye Control должен найти свое применение среди ораторов и создателей контента, которые записывают себя во время чтения сценария. Собеседование с заметками, расклеенными на стене, или обучение студентов во время игры на другом экране также не должно быть проблемой.

Технологию продемонстрировал Херардо Дельгадо (менеджер линейки продуктов в NVIDIA Studio), но есть еще лучшая демонстрация редактора The Verge Митчела Кларка, в которой задействовано гораздо больше движений:

Такая технология — всего лишь проблеск того, что должно произойти в развивающейся области глубокой подделки видео. Исследователи и энтузиасты уже нашли способ полностью изменить свою внешность и голос, часто притворяясь знаменитостями. В таком случае необходимо обучение модели ИИ. Здесь NVIDIA обучила свою модель искусственного интеллекта имитировать «миллионы цветов глаз и комбинаций освещения».

Что нового в NVIDIA Broadcast 1.4.0

Новый эффект — зрительный контакт (бета-версия): изменяет форму глаз говорящего, чтобы имитировать зрительный контакт, оценивая и выравнивая взгляд с камерой.
Новый эффект — виньетка: имитирует эффект линзы, затемняя углы кадра для косметического эффекта.
Обновлены эффекты виртуального фона (Размытие, Замена, Удаление). Обновленный эффект использует временную информацию для улучшения качества и стабильности сегментации.
Улучшения приложения:
Новые параметры зеркального предварительного просмотра камеры и создания снимков селфи.
Добавлены всплывающие подсказки для лучшей доступности.
Если камера, выбранная в качестве входных данных, используется в другом приложении, и пользователь пытается отобразить виртуальное устройство NVIDIA Camera, приложение отобразит значок используемой камеры вместо серой рамки.