Находка: новая нейросеть переозвучивает видео на другой язык вашим голосом

74241
2 минуты на чтение
Давно не было новостей про нейросети! В сети обратили внимание на разработку компании HeyGen, которая умеет обрабатывать видео таким образом, чтобы спикер говорил на другом языке. Нейросеть сохраняет голос, интонации и темп оригинальной речь, но целиком «переводит» её на другой язык. Более того, нейросеть накладывает синхронизацию губ.

Одним из первых на технологию обратил внимание журналист Дамир Камалетдинов. При помощи сервиса он перевёл на английский свой видеообзор на iPhone 12/Pro Max.

Оригинал
Кликни,
чтобы посмотреть видео
you-video
Почему-то с IP адресов других стран ничего не тормозит
Перевод
Попробовать технологию можно на сайте нейросети. Сервис работает на основе токенов, которые можно приобретать или получать за приглашения. Один токен = одна минута записи. Скорость зависит от загруженности сервиса, и на момент написания новости обрабатываются более 2300 видео — день назад загруженность не превышала сотни.

При этом система официально не поддерживает перевод с русского языка.

  • Заявленные языки на «вход»: английский, испанский, французский, китайский, немецкий, итальянский, португальский, нидерландский, японский, хинди.
  • На «выход»: английский. испанский, французский, хинди, итальянский, немецкий, польский, португальский.

Один из недостатков программы можно увидеть на примере выше — программа отслеживает и обрабатывает все лица на изображении, поэтому портрет Марка Цукерберга на заднем фоне тоже «говорит».

Ещё один пример с несколькими языками от одного спикера:
 

В социальных сетях пользователи решили продемонстрировать всю силу сервиса на старых мемах. Теперь их можно показывать англоязычным друзьям. Вот что получилось:
 

Впрочем, другой пример показывает, что нейросеть плохо справляется, если в видео задействованы несколько спикеров:
И не забудьте показать свои англоговорящим друзьям этот отрывок:

Если вы нашли опечатку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Статьи

Новости

Эмма Маки из «Сексуального просвещения» сыграет Белую Колдунью в новых «Хрониках Нарнии»

Новости

Червь, фримены и пустыня Арракиса в сюжетном трейлере Dune: Awakening
Релиз игры ожидается 10 июня.

Новости

Демоны и лавкрафтианские ужасы в трейлере DOOM: The Dark Ages

Новости

Новый трейлер приключенческого боевика «Источник вечной молодости» Гая Ричи
Премьера ожидается 23 мая.

Новости

Гавр Гура — всё. Мемная акула и легенда витуба выпустила свою последнюю песню

Новости

Второй сезон «Ходячих мертвецов: Мертвый город» покажут на «Амедиатеке» одновременно со всем миром
Премьера 5 мая.

Новости

Эль Фаннинг в первом тизере фильма «Хищник: Пустоши»
Премьера «Пустошей» должна состояться 7 ноября.

Новости

Ghost of Yotei выйдет 2 октября
Вместе с этим разработчики показали эпичный трейлер.

Новости

«Я уже знаю, где зарыты трупы» — первый трейлер второго сезона «Уэнсдэй»

Новости

СМИ: Кэтлин Кеннеди покинет Lucasfilm летом
Кто займет ее место, пока неясно.
Показать ещё