Мы представляем 4 новых приложения, специально разработанных для обработки 4D-секвенций сканов.
Технология захвата данных 4D используется многими студиями высокого класса, поскольку она фиксирует движения каждого миллиметра лица актера. Долгое время эта технология была доступна в основном как услуга, предоставляемая несколькими поставщиками.
R3DS Wrap4D, R3DS Track, R3DS Rush, and R3DS Node обеспечивают простой, эффективный и контролируемый способ обработки 4D-секвенций в вашей компании.
R3DS Wrap4D это расширенная версия Wrap, разработанная специально для обработки 4D. Она принимает на вход последовательность текстурированных 3D-сканов и создает на выходе последовательность объектов с согласованной топологией.
Решение включает 12 новых нод. Сердцем конвейера является нода FacialWrapping, которая объединяет возможности ноды BlendWrapping с результатами детектора губ и век. Идея ноды заключается в том, чтобы обеспечить надежный результат, не требующий очистки.


R3DS Track это программа для отслеживания маркеров и детектирования черт лица. Оно переносит всю трудоемкую работу в 2D-пространство, чтобы вам не пришлось очищать модели в 3D.
Внешний вид кожи может резко меняться во время игры. Использование маркеров для отслеживания позволяет передать даже очень экстремальные выражения. R3DS Track предоставляет общие и персонализированные детекторы для отслеживания контуров губ и век. Вы можете обучить персонализированный детектор, предоставив ему набор аннотированных вручную кадров, чтобы добиться исключительного уровня точности.
Каждый кадр может занять несколько минут вычислений. При обработке 4D-последовательностей у вас будут тысячи кадров, что может занять недели.
R3DS Rush позволяет запускать вычисления на десятках машин всего несколькими щелчками мыши. Вы можете запускать, останавливать, ставить на паузу, отслеживать прогресс и назначать разные проекты разным машинам из одного простого в использовании интерфейса.
Программа работает в комбинации с R3DS Node, версией Wrap без графического интрефейса, так что вам не нужно покупать лицензию R3DS Wrap4D для каждого компьютера.

С помощью R3DS Wrap4D вы можете независимо вычислять любой кадр последовательности, то есть всю последовательность можно вычислять параллельно на нескольких машинах.
Процесс враппинга разбит на чёткие контролируемые этапы. Вы можете легко проверить и исправить результат каждого шага, прежде чем переходить к следующему.
Благодаря R3DS Track вся трудоемкая работа, такая как отслеживание маркеров и определение контуров, выполняется в 2D, поэтому вам не придется очищать модели в 3D.
Разные проекты имеют разные требования и разные возможности сканирования. Вы можете использовать топологию, соответствующую вашим потребностям, адаптировать данные для работы с отсутствующими данными и «зашумленными» сканированиями, добавлять кадры аннотаций, чтобы обеспечить более точное отслеживание губ и век, а также расширять набор обучающих форм перехода для улучшения качества наложения.
Поскольку R3DS Wrap4D работает непосредственно с 3D-сканами, он может обрабатывать большие повороты головы, обеспечивая актерам большую свободу действий. С помощью этапа престабилизации остальная часть конвейера работает так, как будто положение головы актера статично.
С помощью R3DS Rush и R3DS Node вы можете легко масштабировать вычисления на десятки машин, чтобы уложиться в сроки.

Наше решение было впервые использовано в короткометражном фильме «Еретик» компании Unity®. 5 сцен Джейком были сняты компанией Infinite Realities с помощью их системы AEONX Motion Scanning System и обработаны R3DS Wrap4D.
Нашей команде потребовался один день, чтобы обработать анимацию для финальных кадров фильма. Глаза, детализация кожи, тени и стрижка были позже добавлены командой Unity®. Такие вещи, как направление взгляда и форма шеи, также были проработаны художниками.
Начать работу с данными для обработки 4D очень просто. Мы подготовили 7 видеоуроков, подробно объясняющих каждый шаг.
В галерее R3DS Wrap4D вы можете найти несколько примеров проектов и демонстрационную 4D-последовательность. Последовательность была любезно предоставлена компанией Infinite Realities и снята с помощью их AEONX Motion Scanning System.
| Wrap | Wrap4D | |
|---|---|---|
| Нода LoadScreenPoints | ||
| Нода BlendStabilization | ||
| Нода ProjectScreenPoints | ||
| Нода FacialDetection | ||
| Нода FacialAnnotation | ||
| Нода FacialWrapping | ||
| Нода EditFacialDetection | ||
| Нода SaveFacialDetection | ||
| Нода LoadFacialDetection | ||
| Нода LoadFacialAnnotation | ||
| Нода PointsToScreenPoints | ||
| Нода SaveScreenPoints | ||
| Инструмент темпорального сглаживания 4D-секвенций | ||
| Совместимость с R3DS Rush для распределённых вычислений |
Any questions about Wrap4D?