Разработчики из Корнеллского Университета и компании Adobe объединились для создания алгоритма «Глубокого преобразования стиля фотографии» (Deep Photo Style Transfer), который автоматически применяет стиль (цвет, освещение, причем на детальном уровне) одного снимка к другому. Пока обнародованы первые результаты, и они выглядят многообещающе.
Используемые программные алгоритмы по сути являются развитием технологий приложения стилей живописи (Моне, Ван-Гога и так далее) к фотоснимкам – примерно как это сделано в известном приложении Prisma. Только здесь в качестве референсного изображения используется не живописное полотно, а просто вторая фотография.
В качестве входных данных вы передаете программе два фотоснимка, и алгоритм на основе нейронных сетей анализирует особенности референсного снимка – цвет, условия и качество освещения – а затем прикладывает выявленные закономерности к обрабатываемому снимку. Алгоритм учитывает такие вещи, как время года, время суток и текущую погоду. Теоретически, сделанный в пасмурный зимний день снимок можно преобразовать в красочный солнечный закат.
Разработчики приводят следующие примеры работы программы. Вот исходный снимок:
К нему прикладывается референсный снимок:
И в итоге получается такой потрясающий результат:
Важно (и здорово!), что алгоритм никоим образом не изменяет структуру исходного снимка, то есть детали не исказятся, линии не искривятся, перспектива не изменится. Всё преобразование сфокусировано на изменении цвета и освещения.
Программа учитывает различия в общей композиции исходного и референсного снимков. Например, если на референсной картинке небо занимает большую площадь кадра, чем на исходном, то программа поймет, где должна проходить граница соответствующего преобразования, так что «новое небо» не будет захватывать «городскую» часть преобразуемого снимка.
Алгоритм даже пытается «достичь сильного локального эффекта» – вроде «включения света» в отдельных окнах небоскребов, по-прежнему не изменяя геометрию исходного снимка.
Результаты работы программы пока не всегда блестящи. Например, вот исходный зимний пейзаж:
Если «скормить» его программе со следующим летним пейзажем в качестве референсного…
… то получим довольно странную, не особо реалистичную картинку:
Разработчики сообщают, что на данном этапе программа выдает достоверный и качественный результат примерно в 80% случаев. В будущем, доработанная версия алгоритма может быть добавлена в Фотошоп в качестве инструмента или плагина, либо реализована в виде отдельного приложения.
Более глубокие сведения о новой технологии можно почерпнуть в этой статье.
