Компания NVIDIA разработала потрясающую функцию восстановления утраченных элементов изображения – в стиле инструмента Фотошопа «Заливка с учётом содержимого» (Content-Aware Fill). Разработчики использовали новые технологии с элементами искусственного интеллекта для реалистичной реконструкции снимков. Двухминутный ролик представляет результаты и показывает примеры, от которых голова идёт кругом:
Самое удивительное в новой технологии NVIDIA состоит в том, что информация для заполнения утраченных участков не извлекается из окружающих пикселей, как это происходит в случае фотошоповской «Заливки с учётом содержимого». Система NVIDIA понимает, как должен выглядеть объект.
Например, если вы примените инструмент Content-Aware Fill к белым «дыркам» в местах, где на лице должны быть глаза – в результате промежутки заполнятся фрагментами окружающего изображения, взятыми из кожи, бровей, носа и причёски. Алгоритмы же NVIDIA понимают, что в этом участке на лице должны быть глаза, так что он и добавляет глаза – самостоятельно генерируя их.
На этом портрете утеряны огромные участки изображения:
Вот результат работы инструмента Content-Aware Fill:
А эту картинку создал алгоритм NVIDIA:
Портрет не идеален, но ведь и утеряно было нереально много! Результат NVIDIA несравненно ближе к исходной фотографии, чем реконструкция, полученная с помощью окружающих пикселей.
Исходный портрет
Как и инструмент «Заливки с учётом содержимого», система NVIDIA может применяться как для восстановления утраченного содержимого, так и для устранения дефектов и коррекции неудачных участков изображения.
Разработчики NVIDIA опубликовали статью, озаглавленную «Ретуширование дефектов изображения неправильной формы с помощью частичной свёртки».
«Наша модель может эффективно справляться с дырами любой формы, размера, расположения и расстояния до границ изображения», пишут учёные. «Предыдущие подходы глубинного обучения фокусировались на прямоугольных областях, расположенных вокруг центра изображения, и часто требовали обширной пост-обработки. Наша же модель корректно обрабатывает дыры даже большого размера».
Исследователи обучали свою интеллектуальную систему с помощью 55 тысяч случайных конфигураций дыр и трещин, применённых к огромной коллекции фотографий. Сравнивая снимки с дефектами и исходные изображения, нейронная сеть обучалась реконструированию утерянных пикселей. Дополнительные 25 тысяч масок были использованы на стадии тестирования.
Ещё несколько невероятных примеров – «до и после» работы алгоритма NVIDIA:
«Насколько нам известно, мы первыми продемонстрировали эффективность моделей глубинного обучения заполнению на изображениях дыр неправильной формы», поясняют разработчики.
В статье, конечно, ничего не говорится о том, когда и каким образом технология может быть внедрена в программные продукты массового применения.
