Вверх
  • Project Valerie компании Razer – первый в мире лэптоп с тремя дисплеями
  • Алгоритмы Google «повышают разрешение» портрета из исходной картинки 8х8 пикселей
  • Google запатентовал кепку со встроенной в козырек камерой
  • Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок
  • Разрабатываемый алгоритм может преобразовывать картины в фотографии – и многое другое
  • В 2018 году Sony планирует выпустить среднеформатную матрицу 150 Мп
  • Banner 80x80 02 779bbaa679dc6b7f4c049292657342c566f6285974b656e2652cf5dfbf093090

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Обсудить

Разработчики из Корнеллского Университета и компании Adobe объединились для создания алгоритма «Глубокого преобразования стиля фотографии» (Deep Photo Style Transfer), который автоматически применяет стиль (цвет, освещение, причем на детальном уровне) одного снимка к другому. Пока обнародованы первые результаты, и они выглядят многообещающе.

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Используемые программные алгоритмы по сути являются развитием технологий приложения стилей живописи (Моне, Ван-Гога и так далее) к фотоснимкам – примерно как это сделано в известном приложении Prisma. Только здесь в качестве референсного изображения используется не живописное полотно, а просто вторая фотография.

В качестве входных данных вы передаете программе два фотоснимка, и алгоритм на основе нейронных сетей анализирует особенности референсного снимка – цвет, условия и качество освещения – а затем прикладывает выявленные закономерности к обрабатываемому снимку. Алгоритм учитывает такие вещи, как время года, время суток и текущую погоду. Теоретически, сделанный в пасмурный зимний день снимок можно преобразовать в красочный солнечный закат.

Разработчики приводят следующие примеры работы программы. Вот исходный снимок:

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

К нему прикладывается референсный снимок:

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

И в итоге получается такой потрясающий результат:

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Важно (и здорово!), что алгоритм никоим образом не изменяет структуру исходного снимка, то есть детали не исказятся, линии не искривятся, перспектива не изменится. Всё преобразование сфокусировано на изменении цвета и освещения.

Программа учитывает различия в общей композиции исходного и референсного снимков. Например, если на референсной картинке небо занимает большую площадь кадра, чем на исходном, то программа поймет, где должна проходить граница соответствующего преобразования, так что «новое небо» не будет захватывать «городскую» часть преобразуемого снимка.

Алгоритм даже пытается «достичь сильного локального эффекта» – вроде «включения света» в отдельных окнах небоскребов, по-прежнему не изменяя геометрию исходного снимка.

Результаты работы программы пока не всегда блестящи. Например, вот исходный зимний пейзаж:

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Если «скормить» его программе со следующим летним пейзажем в качестве референсного…

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

… то получим довольно странную, не особо реалистичную картинку:

Новый алгоритм Adobe изменяет стиль изображения, используя референсный снимок

Разработчики сообщают, что на данном этапе программа выдает достоверный и качественный результат примерно в 80% случаев. В будущем, доработанная версия алгоритма может быть добавлена в Фотошоп в качестве инструмента или плагина, либо реализована в виде отдельного приложения.

Более глубокие сведения о новой технологии можно почерпнуть в этой статье.

Опубликовано: 30.03.2017

Обсудить
8edb58c4 2610 41db a2d8 48a12969ff3a
Дмитрий Крупский
Опубликовано 30.03.2017

Занимается тестированием фототехники с 2004 года. Сотрудничал с различными печатными и интернет-изданиями, за эти годы сделал около 400 обзоров фототехники.

Жорж, 2017-04-13T12:12:41

Понятно, что для коммерции сейчас врядли кто-то будет пробовать это, однако, сам факт, что начались разработки в эту сторону, уже радует.

Александр Савочкин, 2017-04-06T17:57:54

Встроенные инструменты не вполне эквивалентны лутам даже в плане механизмов воздействия на картинку. Но да, конкретный выбор всё равно упирается во время, внутренние установки и наличие инструментов.

Жорж, 2017-04-04T09:51:45

3D Lut'ы-это же тоже автоматизация. Как и нейронный анализ.Просто нейронные сети обладают потенциально бОльшими возможностями, нежели простая таблица сдвигов цветов.

А вообще, перекрашивать каждый цвет вручную с помощью встроенных инструментов фотошопа, или же использовать автоматизацию. Вопрос, внутренних установок и наличия свободного времени.
Тут уж каждый решает сам для себя что эффективней в текущей ситуации.

Александр Савочкин, 2017-04-03T10:04:28

Жорж! Для колорматчинга не нужен нейронный анализ. Луты вообще довольно тупая штука, хоть и гибкая. Я как ретушёр считаю целесообразным отметить, что нейронный анализ не панацея — не нужно бояться работать руками, это полезно, эффективно и надёжно.

Георгий Полицарнов, 2017-04-03T08:47:48

Ну как минимум интересная игрушка для мобильного фото. В нормальную проработку мелких деталей я пока не верю. С первого и даже второго подхода эту задачу не решить. Лет через десять посмотрим, как фотошоп будет зажигать свет в окнах. А пока более смахивает на детскую раскраску.

Жорж, 2017-04-03T08:33:25

Можно чутоку подробней?
в 3D Lut Creator появился нейронный анализ?

Александр Савочкин, 2017-04-01T23:39:57

Программа 3D Lut Creator уже умеет нечто подобное, правда, исключительно на уровне перекраски. Тут явно сложнее, но вряд ли совсем уж невозможно.

Rus lan, 2017-04-01T22:52:21

Как то слабо верится...

1f635624 906c 4ba8 8713 972105083de2