Находка: новая нейросеть переозвучивает видео на другой язык вашим голосом

74197
2 минуты на чтение
Давно не было новостей про нейросети! В сети обратили внимание на разработку компании HeyGen, которая умеет обрабатывать видео таким образом, чтобы спикер говорил на другом языке. Нейросеть сохраняет голос, интонации и темп оригинальной речь, но целиком «переводит» её на другой язык. Более того, нейросеть накладывает синхронизацию губ.

Одним из первых на технологию обратил внимание журналист Дамир Камалетдинов. При помощи сервиса он перевёл на английский свой видеообзор на iPhone 12/Pro Max.

Оригинал
Кликни,
чтобы посмотреть видео
you-video
Почему-то с IP адресов других стран ничего не тормозит
Перевод
Попробовать технологию можно на сайте нейросети. Сервис работает на основе токенов, которые можно приобретать или получать за приглашения. Один токен = одна минута записи. Скорость зависит от загруженности сервиса, и на момент написания новости обрабатываются более 2300 видео — день назад загруженность не превышала сотни.

При этом система официально не поддерживает перевод с русского языка.

  • Заявленные языки на «вход»: английский, испанский, французский, китайский, немецкий, итальянский, португальский, нидерландский, японский, хинди.
  • На «выход»: английский. испанский, французский, хинди, итальянский, немецкий, польский, португальский.

Один из недостатков программы можно увидеть на примере выше — программа отслеживает и обрабатывает все лица на изображении, поэтому портрет Марка Цукерберга на заднем фоне тоже «говорит».

Ещё один пример с несколькими языками от одного спикера:
 

В социальных сетях пользователи решили продемонстрировать всю силу сервиса на старых мемах. Теперь их можно показывать англоязычным друзьям. Вот что получилось:
 

Впрочем, другой пример показывает, что нейросеть плохо справляется, если в видео задействованы несколько спикеров:
И не забудьте показать свои англоговорящим друзьям этот отрывок:

Если вы нашли опечатку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Статьи

Новости

«Я разочарован» — шоураннер «Дома дракона» отреагировал на критику сериала от Джорджа Мартина

Новости

Авторы Rue Valley и художник комиксов The Awkward Yeti выпустили симулятор продуктивности

Новости

Жуткие оккультные ритуалы в трейлере хоррора «Верни ее из мертвых»

Новости

В новой экранизации «Хроник Нарнии» Аслан станет львицей

Новости

Вышел тизер восьмого сезона «Рика и Морти» с датой релиза
Шоу вернется в мае.

Новости

Новый трейлер седьмого сезона «Черного зеркала»

Новости

«Дайте мне чертов шанс» — Финн Джонс готов вернуться к роли Железного кулака
Быть может он вернется во втором сезоне «Сорвиголовы»?

Новости

Фэнтези-фильм «Хаген. В дoлине Нибелунгов» покажут в России
Премьера ожидается в апреле.

Новости

СМИ: корейские студии могут получить права на разработку новых игр по StarCraft
В планах уже значатся мобильные игры, RPG и шутер.

Новости

Riot готовится к съемкам сериала по League of Legends в Вьетнаме
Показать ещё