Вверх

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Дата публикации: 30.03.2017

Разработчики из Корнеллского Университета и компании Adobe объединились для создания алгоритма «Глубокого преобразования стиля фотографии» (Deep Photo Style Transfer), который автоматически применяет стиль (цвет, освещение, причем на детальном уровне) одного снимка к другому. Пока обнародованы первые результаты, и они выглядят многообещающе.

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Используемые программные алгоритмы по сути являются развитием технологий приложения стилей живописи (Моне, Ван-Гога и так далее) к фотоснимкам – примерно как это сделано в известном приложении Prisma. Только здесь в качестве референсного изображения используется не живописное полотно, а просто вторая фотография.

В качестве входных данных вы передаете программе два фотоснимка, и алгоритм на основе нейронных сетей анализирует особенности референсного снимка – цвет, условия и качество освещения – а затем прикладывает выявленные закономерности к обрабатываемому снимку. Алгоритм учитывает такие вещи, как время года, время суток и текущую погоду. Теоретически, сделанный в пасмурный зимний день снимок можно преобразовать в красочный солнечный закат.

Разработчики приводят следующие примеры работы программы. Вот исходный снимок:

К нему прикладывается референсный снимок:

И в итоге получается такой потрясающий результат:

Важно (и здорово!), что алгоритм никоим образом не изменяет структуру исходного снимка, то есть детали не исказятся, линии не искривятся, перспектива не изменится. Всё преобразование сфокусировано на изменении цвета и освещения.

Программа учитывает различия в общей композиции исходного и референсного снимков. Например, если на референсной картинке небо занимает большую площадь кадра, чем на исходном, то программа поймет, где должна проходить граница соответствующего преобразования, так что «новое небо» не будет захватывать «городскую» часть преобразуемого снимка.

Алгоритм даже пытается «достичь сильного локального эффекта» – вроде «включения света» в отдельных окнах небоскребов, по-прежнему не изменяя геометрию исходного снимка.

Результаты работы программы пока не всегда блестящи. Например, вот исходный зимний пейзаж:

Если «скормить» его программе со следующим летним пейзажем в качестве референсного…

… то получим довольно странную, не особо реалистичную картинку:

Разработчики сообщают, что на данном этапе программа выдает достоверный и качественный результат примерно в 80% случаев. В будущем, доработанная версия алгоритма может быть добавлена в Фотошоп в качестве инструмента или плагина, либо реализована в виде отдельного приложения.

Более глубокие сведения о новой технологии можно почерпнуть в этой статье.

Дата публикации: 30.03.2017
Комментировать
16be6662 e115 40f9 afdf fc10ae635b2c square 100
Дмитрий Крупский

Занимается тестированием фототехники с 2004 года. Сотрудничал с различными печатными и интернет-изданиями, за эти годы сделал около 400 обзоров фототехники.

instagram.com/dimitri_kroupski

Другие статьи рубрики

Показать больше статей

Вопросы эксперту

13423c7d 526c 4b19 bc5e 37fc25a6d2bd