Инструментарий получает на входе двумерное изображение и синтезирует изменённый результат на основе выбранной модели. Поддерживается три варианта трансформаций: Создание движущегося объекта, повторяющего движения, на которых была обучена модель. Передача элементов внешнего вида из модели в объект (например, смена одежды). Генерация нового ракурса (например, синтез изображения в профиль на основе фотографии в анфас). Все три метода могут комбинироваться, например, можно по фотографии генерировать видео, имитирующее исполнение сложного акробатического трюка в другой одежде.
В процессе синтеза попутно выполняются операции выделения объекта на фотографии и формирования недостающих элементов фона при перемещении. Модель для нейронной сети может быть натренирована один раз и использована для различных преобразований. Для загрузки доступны готовые модели, позволяющие сразу использовать инструментарий без проведения предварительной тренировки. Для работы требуется GPU с размером памяти не менее 8GB.
В отличие от методов трансформации, основанных на трансформации по ключевым точкам, описывающим расположение тела в двумерном пространстве, в Impersonator предпринята попытка синтеза трехмерной сетки (mesh) с описанием тела, используя методы машинного обучения. Предложенный метод позволяет проводить манипуляции с учётом персонализированной формы тела и текущей позы, моделируя естественные движения конечностей.
Для сохранения исходной информации, такой как текстуры, стиль, цвета и узнаваемость лица, в процессе трансформации применяется генеративно-состязательная нейронная сеть (Liquid Warping GAN). Информация об исходном объекте и параметры для его точной идентификации извлекается путём применения свёрточной нейронной сети.
Источник: http://www.opennet.ru/opennews/art.shtml?num=51608