Вверх

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Дата публикации: 30.03.2017

Разработчики из Корнеллского Университета и компании Adobe объединились для создания алгоритма «Глубокого преобразования стиля фотографии» (Deep Photo Style Transfer), который автоматически применяет стиль (цвет, освещение, причем на детальном уровне) одного снимка к другому. Пока обнародованы первые результаты, и они выглядят многообещающе.

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Используемые программные алгоритмы по сути являются развитием технологий приложения стилей живописи (Моне, Ван-Гога и так далее) к фотоснимкам – примерно как это сделано в известном приложении Prisma. Только здесь в качестве референсного изображения используется не живописное полотно, а просто вторая фотография.

В качестве входных данных вы передаете программе два фотоснимка, и алгоритм на основе нейронных сетей анализирует особенности референсного снимка – цвет, условия и качество освещения – а затем прикладывает выявленные закономерности к обрабатываемому снимку. Алгоритм учитывает такие вещи, как время года, время суток и текущую погоду. Теоретически, сделанный в пасмурный зимний день снимок можно преобразовать в красочный солнечный закат.

Разработчики приводят следующие примеры работы программы. Вот исходный снимок:

К нему прикладывается референсный снимок:

И в итоге получается такой потрясающий результат:

Важно (и здорово!), что алгоритм никоим образом не изменяет структуру исходного снимка, то есть детали не исказятся, линии не искривятся, перспектива не изменится. Всё преобразование сфокусировано на изменении цвета и освещения.

Программа учитывает различия в общей композиции исходного и референсного снимков. Например, если на референсной картинке небо занимает большую площадь кадра, чем на исходном, то программа поймет, где должна проходить граница соответствующего преобразования, так что «новое небо» не будет захватывать «городскую» часть преобразуемого снимка.

Алгоритм даже пытается «достичь сильного локального эффекта» – вроде «включения света» в отдельных окнах небоскребов, по-прежнему не изменяя геометрию исходного снимка.

Результаты работы программы пока не всегда блестящи. Например, вот исходный зимний пейзаж:

Если «скормить» его программе со следующим летним пейзажем в качестве референсного…

… то получим довольно странную, не особо реалистичную картинку:

Разработчики сообщают, что на данном этапе программа выдает достоверный и качественный результат примерно в 80% случаев. В будущем, доработанная версия алгоритма может быть добавлена в Фотошоп в качестве инструмента или плагина, либо реализована в виде отдельного приложения.

Более глубокие сведения о новой технологии можно почерпнуть в этой статье.

Дата публикации: 30.03.2017
Комментировать
16be6662 e115 40f9 afdf fc10ae635b2c square 100
Дмитрий Крупский

Занимается тестированием фототехники с 2004 года. Сотрудничал с различными печатными и интернет-изданиями, за эти годы сделал около 400 обзоров фототехники.

instagram.com/dimitri_kroupski

Другие статьи рубрики

Показать больше статей

Вопросы эксперту

Жорж, 2017-04-13T12:12:41

Понятно, что для коммерции сейчас врядли кто-то будет пробовать это, однако, сам факт, что начались разработки в эту сторону, уже радует.

Александр Савочкин, 2017-04-06T17:57:54

Встроенные инструменты не вполне эквивалентны лутам даже в плане механизмов воздействия на картинку. Но да, конкретный выбор всё равно упирается во время, внутренние установки и наличие инструментов.

Жорж, 2017-04-04T09:51:45

3D Lut'ы-это же тоже автоматизация. Как и нейронный анализ.Просто нейронные сети обладают потенциально бОльшими возможностями, нежели простая таблица сдвигов цветов.

А вообще, перекрашивать каждый цвет вручную с помощью встроенных инструментов фотошопа, или же использовать автоматизацию. Вопрос, внутренних установок и наличия свободного времени.
Тут уж каждый решает сам для себя что эффективней в текущей ситуации.

Александр Савочкин, 2017-04-03T10:04:28

Жорж! Для колорматчинга не нужен нейронный анализ. Луты вообще довольно тупая штука, хоть и гибкая. Я как ретушёр считаю целесообразным отметить, что нейронный анализ не панацея — не нужно бояться работать руками, это полезно, эффективно и надёжно.

Георгий Полицарнов, 2017-04-03T08:47:48

Ну как минимум интересная игрушка для мобильного фото. В нормальную проработку мелких деталей я пока не верю. С первого и даже второго подхода эту задачу не решить. Лет через десять посмотрим, как фотошоп будет зажигать свет в окнах. А пока более смахивает на детскую раскраску.

Жорж, 2017-04-03T08:33:25

Можно чутоку подробней?
в 3D Lut Creator появился нейронный анализ?

Александр Савочкин, 2017-04-01T23:39:57

Программа 3D Lut Creator уже умеет нечто подобное, правда, исключительно на уровне перекраски. Тут явно сложнее, но вряд ли совсем уж невозможно.

Rus lan, 2017-04-01T22:52:21

Как то слабо верится...

468def7a 5904 46bc aa67 c923450b0dca