Находка: новая нейросеть переозвучивает видео на другой язык вашим голосом

Давно не было новостей про нейросети! В сети обратили внимание на разработку компании HeyGen, которая умеет обрабатывать видео таким образом, чтобы спикер говорил на другом языке. Нейросеть сохраняет голос, интонации и темп оригинальной речь, но целиком «переводит» её на другой язык. Более того, нейросеть накладывает синхронизацию губ.

Одним из первых на технологию обратил внимание журналист Дамир Камалетдинов. При помощи сервиса он перевёл на английский свой видеообзор на iPhone 12/Pro Max.

Оригинал

Перевод

Попробовать технологию можно на сайте нейросети. Сервис работает на основе токенов, которые можно приобретать или получать за приглашения. Один токен = одна минута записи. Скорость зависит от загруженности сервиса, и на момент написания новости обрабатываются более 2300 видео — день назад загруженность не превышала сотни.

При этом система официально не поддерживает перевод с русского языка.

• Заявленные языки на «вход»: английский, испанский, французский, китайский, немецкий, итальянский, португальский, нидерландский, японский, хинди.
• На «выход»: английский. испанский, французский, хинди, итальянский, немецкий, польский, португальский.

Один из недостатков программы можно увидеть на примере выше — программа отслеживает и обрабатывает все лица на изображении, поэтому портрет Марка Цукерберга на заднем фоне тоже «говорит».

Ещё один пример с несколькими языками от одного спикера:

В социальных сетях пользователи решили продемонстрировать всю силу сервиса на старых мемах. Теперь их можно показывать англоязычным друзьям. Вот что получилось:

Впрочем, другой пример показывает, что нейросеть плохо справляется, если в видео задействованы несколько спикеров:

И не забудьте показать свои англоговорящим друзьям этот отрывок: