Разработчики из Корнеллского Университета и компании Adobe объединились для создания алгоритма «Глубокого преобразования стиля фотографии» (Deep Photo Style Transfer), который автоматически применяет стиль (цвет, освещение, причем на детальном уровне) одного снимка к другому. Пока обнародованы первые результаты, и они выглядят многообещающе.
Используемые программные алгоритмы по сути являются развитием технологий приложения стилей живописи (Моне, Ван-Гога и так далее) к фотоснимкам – примерно как это сделано в известном приложении Prisma. Только здесь в качестве референсного изображения используется не живописное полотно, а просто вторая фотография.
В качестве входных данных вы передаете программе два фотоснимка, и алгоритм на основе нейронных сетей анализирует особенности референсного снимка – цвет, условия и качество освещения – а затем прикладывает выявленные закономерности к обрабатываемому снимку. Алгоритм учитывает такие вещи, как время года, время суток и текущую погоду. Теоретически, сделанный в пасмурный зимний день снимок можно преобразовать в красочный солнечный закат.
Разработчики приводят следующие примеры работы программы. Вот исходный снимок:
К нему прикладывается референсный снимок:
И в итоге получается такой потрясающий результат:
Важно (и здорово!), что алгоритм никоим образом не изменяет структуру исходного снимка, то есть детали не исказятся, линии не искривятся, перспектива не изменится. Всё преобразование сфокусировано на изменении цвета и освещения.
Программа учитывает различия в общей композиции исходного и референсного снимков. Например, если на референсной картинке небо занимает большую площадь кадра, чем на исходном, то программа поймет, где должна проходить граница соответствующего преобразования, так что «новое небо» не будет захватывать «городскую» часть преобразуемого снимка.
Алгоритм даже пытается «достичь сильного локального эффекта» – вроде «включения света» в отдельных окнах небоскребов, по-прежнему не изменяя геометрию исходного снимка.
Результаты работы программы пока не всегда блестящи. Например, вот исходный зимний пейзаж:
Если «скормить» его программе со следующим летним пейзажем в качестве референсного…
… то получим довольно странную, не особо реалистичную картинку:
Разработчики сообщают, что на данном этапе программа выдает достоверный и качественный результат примерно в 80% случаев. В будущем, доработанная версия алгоритма может быть добавлена в Фотошоп в качестве инструмента или плагина, либо реализована в виде отдельного приложения.
Более глубокие сведения о новой технологии можно почерпнуть в этой статье.
Понятно, что для коммерции сейчас врядли кто-то будет пробовать это, однако, сам факт, что начались разработки в эту сторону, уже радует.
Встроенные инструменты не вполне эквивалентны лутам даже в плане механизмов воздействия на картинку. Но да, конкретный выбор всё равно упирается во время, внутренние установки и наличие инструментов.
3D Lut'ы-это же тоже автоматизация. Как и нейронный анализ.Просто нейронные сети обладают потенциально бОльшими возможностями, нежели простая таблица сдвигов цветов.
А вообще, перекрашивать каждый цвет вручную с помощью встроенных инструментов фотошопа, или же использовать автоматизацию. Вопрос, внутренних установок и наличия свободного времени.
Тут уж каждый решает сам для себя что эффективней в текущей ситуации.
Жорж! Для колорматчинга не нужен нейронный анализ. Луты вообще довольно тупая штука, хоть и гибкая. Я как ретушёр считаю целесообразным отметить, что нейронный анализ не панацея — не нужно бояться работать руками, это полезно, эффективно и надёжно.
Ну как минимум интересная игрушка для мобильного фото. В нормальную проработку мелких деталей я пока не верю. С первого и даже второго подхода эту задачу не решить. Лет через десять посмотрим, как фотошоп будет зажигать свет в окнах. А пока более смахивает на детскую раскраску.
Можно чутоку подробней?
в 3D Lut Creator появился нейронный анализ?
Программа 3D Lut Creator уже умеет нечто подобное, правда, исключительно на уровне перекраски. Тут явно сложнее, но вряд ли совсем уж невозможно.
Как то слабо верится...