Вверх
  • CEA-Leti представил полнофункциональную изогнутую полнокадровую матрицу 20 Мп
  • «Вычислительный зум» от NVIDIA позволяет изменять перспективу при пост-обработке
  • Panasonic представил прозрачный телевизор и смарт-колонку с Hi-Fi-звуком
  • Нейронная сеть улучшает повреждённые снимки без предварительного обучения
  • Металинзы научились фокусировать видимый спектр в одну точку
  • Samsung Electronics и Эрмитаж открыли «магазин искусств» для телевизоров The Frame
  • Banner 80x80 02 779bbaa679dc6b7f4c049292657342c566f6285974b656e2652cf5dfbf093090

Нейронная сеть улучшает повреждённые снимки без предварительного обучения

Обсудить

Нейронные сети становятся всё более многообещающим инструментом для восстановления повреждённых, а также имеющих низкое разрешение, изображений. Некоторые из этих систем открыты для публики, например, Let’s Enhance, другие – пока только осторожно демонстрируются в научных кругах. Технология Deep Image Prior, о которой мы хотим рассказать, отличается от большинства других. Здесь не нужно предварительно «обучать» систему, скармливая ей тысячи типовых снимков, чтобы она могла натренироваться и «набрать форму». Алгоритм Deep Image Prior воссоздаёт первоначальный вид повреждённого изображения, исходя лишь из той информации, которая содержится в нём.

Нейронная сеть улучшает повреждённые снимки без предварительного обучения

1. Устранение артефактов JPEG.
2. Восстановление утраченного участка.

В статье, посвящённой алгоритму Deep Image Prior, разработчики поясняют:

«В этой работе мы показываем, что, вопреки ожиданиям, большая часть статистических данных об изображении собирается структурой свёрточного генератора изображения, а не с помощью некоей способности к обучению. Это особенно справедливо в отношении статистики, необходимой для решения различных проблем восстановления изображений, где предыдущее изображение необходимо для интеграции информации, потерянной в процессе деградации».

Чтобы продемонстрировать это, команда разработчиков с помощью нетренированной глубокой свёрточной нейронной сети обрабатывала одиночное деградированное изображение. Статья описывает ситуацию как «очень простое формулирование», когда можно восстанавливать потерянные участки, уменьшать шум и увеличивать разрешение деградированного изображения без необходимости заранее «тренировать» сеть на тысячах типовых изображений. По существу, так работает более сложная, использующая элементы искусственного интеллекта, версия инструмента Content Aware Fill, названная «Deep Fill», которую недавно демонстрировал Adobe.

Разработчики предоставили образцы изображений, обработанных алгоритмами Deep Image Prior, в том числе такие, где были устранены артефакты компрессии JPEG, снижен шум, повышено разрешение, восстановлены потерянные участки изображения путём «закрашивания». Система способна также убирать наложенный на изображение текст (что вызывает озабоченность по поводу копирайтов).

Испорченное изображение

Испорченное изображение

Восстановление с помощью Deep Image Prior

Восстановление с помощью Deep Image Prior

Хотя Deep Image Prior работает пока не идеально, показанные примеры производят впечатление. Вероятно, в ближайшем будущем будет появляться всё больше подобных инструментов для широкого круга пользователей.

Испорченное изображение

Испорченное изображение

Восстановление с помощью Deep Image Prior

Восстановление с помощью Deep Image Prior

Философский вопрос – хорошо ли это? – остаётся открытым. Одни считают, что автоматические инструменты облегчат работу ретушёра; другие опасаются, что в результате такой автоматизации и вовсе потеряют работу, как это уже случается во многих отраслях.

Испорченное изображение

Испорченное изображение

Восстановление с помощью Deep Image Prior

Восстановление с помощью Deep Image Prior


Опубликовано: 07.12.2017

Обсудить
Alexander Savochkin, 2017-12-11T20:08:53

Я хочу на это посмотреть. :)

umidoff, 2017-12-11T11:59:43

Согласен, с оговоркой, что вторых нейросеть заменит легко. При достаточном количестве материала она будет делать это даже лучше, чем человек.
О том и речь, что нейросети не заменят творческих людей, к коим можно отнести третью и четвертую категории из вашей классификации, а вот ремесленников - запросто.

Alexander Savochkin, 2017-12-10T20:14:29

Ретушёры разные бывают. Одни не брезгуют и портретурой (Imagenomic Portraiture), другие умеют в частотное разложение и доджнбёрн, третьи из хорошего исходника соберут классную картинку, четвёртые — которые ближе к художникам — сделают чудо из ничего. Первых можно заменить и нейросетью, и чем подешевле. Собственно, любой, кто может запустить портретуру, справится с простейшей ретушью. Вторых, наверное, тоже можно, особенно неопытных или равных им — хотя лично я сомневаюсь, что автоматика вычистит среднечастотные пятна так, чтобы было похоже на человеческий труд. Третьих и четвёртых автоматикой заменить нельзя.

umidoff, 2017-12-10T18:56:40

Смею не согласиться. В массе ретушеры выполняют достаточно узкий круг задач, если речь идет о технической ретуши. И если натаскать нейросеть на достаточном числе картинок, то бьюти-ретушь в портретной съемке или уборку пыли и царапин в предметке она сделает запросто. Даже без нейросетей, "бьюти-фильтры" в телефоне работают все аккуратнее.

Alexander Savochkin, 2017-12-08T19:17:01

Ну, эта автоматизация пока никого не похоронила. :) Более того, если говорить о ретушёрах, то им восстанавливать изображения приходится сравнительно редко, а самые частые задачи с трудом поддаются не то что автоматизации, а даже и формализации.

Жорж, 2017-12-08T06:56:19

Автоматизация хоронит все больше профессий.

5cb9e8e0 8775 476b 944e 710f703e49ff