Puppets.World объявляет о запуске приложения для анимации портретов с помощью искусственного интеллекта

Компания Puppets.World разработала одноименное приложение для анимации фотографий, картин и рисунков с помощью алгоритмов искусственного интеллекта (AI/ML). Портрет, загруженный пользователем в приложение, повторяет слова и мимику человека в видео.

Приложение Puppets.World позволяет анимировать «марионетку»— фотографию человека, картину с портретом, рисунок от руки, изображение мультипликационного персонажа, благодаря применению алгоритмов искусственного интеллекта. Для этого нужно записать видео, которое будет использоваться для «оживления», выбрать «марионетку»и нажать кнопку “Puppet”. Система генерирует ролик, на котором «цифровая марионетка»повторяет слова и мимику пользователя на исходном видео.

Puppets.World можно скачать в App Store и использовать совершенно бесплатно. Для создания роликов длиной больше 30 секунд, рекомендуется приобрести PRO-минуты (PRO minutes). Это ускорит процесс генерации нового видео, улучшит качество, позволит удалить маркировку Puppets.World и рекламу.

Технология, разработанная компанией, уникальна и принципиально отличается от процесса «морфинга», который используется в так называемых deepfake-приложениях ReFace и FaceApp, применяющих нейронные сети для модификации лица на исходном видео знаменитости так, чтобы оно приобрело черты пользователя. В итоговом ролике модифицированное лицо повторяет мимику знаменитости. Puppets.World применяет тот же класс нейронных сетей — Generative Adversarial Network (GAN), но подход к созданию видео отличается.

Существующие технологии, которые используются для создания и анимации персонажей в видеоиграх и фильмах, основаны на методе “body tracking”. Они подразумевают применение датчиков отслеживания движений и многочисленных сенсоров, закрепленных на теле актера. Технология Puppets.World делает возможным воспроизведение мимики без сложных компьютерных систем и дорогостоящего студийного оборудования.

«Puppets.World создает карту черт лица и отслеживает, как они меняются и двигаются на исходном видео, затем транслирует эти данные марионетке, заставляя её повторять слова и мимику. Мы не генерируем новое лицо, не используем морфинг. По сути, мы оживляем портрет». — Объясняет Александр Гунин, со-основатель и технический директор Puppets.World.

«Полученная анимированная марионетка — это Digital Human (цифровой человек) с начальной степенью автономности. Вскоре цифровых марионеток можно будет анимировать по записи голоса, а затем и просто с помощью текста. Цифровые клоны (Digital Clone) — следующая ступень эволюции цифровых людей. Они будут изучать привычки, поведение и предпочтения пользователя, и действовать от его/её лица. Digital Human с высокой степенью автономности через 15-20 лет начнут обретать когнитивные способности и динамически меняющуюся самостоятельную личность, основанную на собственном “жизненном” опыте”».  — Говорит Светлана Рагимова, директор по маркетингу Puppets.World.

«Наше приложение создано для индустрии развлечений и медиа. Его могут использовать профессиональные блогеры и обычные пользователи. Но потенциал технологии намного больше. Она может применяться в различных сценариях и отраслях: в маркетинге и рекламе, образовательных сервисах, контактных центрах банков и ритейлеров. Наша система пригодится для локализации кинофильмов. Например, при переводе с английского на русский, движения губ актёра и выражения лица в идеале тоже должны меняться. Это можно делать автоматически с помощью наших алгоритмов», — говорит Леонид Шейба, основатель и генеральный директор Puppets.World.