Нейросеть научили создавать 3D модели лиц по одной фотографии

Команда ученых из Университета южной Калифорнии разработала программу, которая позволяет создавать реалистичные трехмерные изображения лица по одной фотографии. Статья исследователей доступна на сайте ArXiv.

Нейросеть научили создавать 3D модели лиц по одной фотографии

Обычно при создании «виртуальных масок» дизайнеры используют качественные фотографии, сделанные в нескольких ракурсах при идеальном освещении. Это необходимо для того, чтобы передать все особенности лица человека, включая его асимметрию, изгибы и мелкие детали, например родинки.

Американские ученые предложили метод, который позволяет использовать для этих целей всего один непрофессиональный снимок, сделанный в повседневной обстановке. Для этого они задействовали нейросеть.

Сначала исследователи разработали модель, которая умеет «считывать» форму лица по фото и создавать для него карту альбедо (albedo map), определяющую диффузный цвет (он виден при освещении предмета белым светом). После этого они использовали предварительно подготовленную сверточную нейросеть VGG-19, которая анализировала заготовки лиц и подбирала к ним реалистичные текстуры.

Как сообщают авторы статьи, при выполнении этой задачи она опиралась на существующую базу данных лиц, в которой собраны фотографии мужчин и женщин разного возраста и разной национальности. Разработчики протестировали работу системы, взяв фотографии нескольких знаменитостей и создав для них трехмерных аватаров. Виртуальные двойники появились у Дональда Трампа, Джека Ма, Мохаммеда Али, Иэна Кертиса, а также других известных людей.

Кроме того, исследователи попросили 150 добровольцев оценить реалистичность 11 трехмерных моделей.

Испытуемым показывали фотографию «поделенного» пополам лица человека: левая половина всегда была настоящей (ее брали из ранее использованной базы данных для подбора текстур), а правая могла быть как реальной, так и сгенерированной нейросетью. Участникам надо было определить, является ли правая половина лица маской, созданной компьютером.

Тесты показали, что цифровая модель была очень похожа на лица живых людей. Примечательно то, что для получения такого результата хватило одной фотографии. Технология может быть использована в будущем для создания VR-аватаров или для усовершенствования онлайн-игр.

Источник