Вверх
085a336b f917 493e aad6 e4737c8a6cc7

Интеллектуальная Заливка от NVIDIA даёт потрясающие результаты

Дата публикации: 24.04.2018

Компания NVIDIA разработала потрясающую функцию восстановления утраченных элементов изображения – в стиле инструмента Фотошопа «Заливка с учётом содержимого» (Content-Aware Fill). Разработчики использовали новые технологии с элементами искусственного интеллекта для реалистичной реконструкции снимков. Двухминутный ролик представляет результаты и показывает примеры, от которых голова идёт кругом:

Самое удивительное в новой технологии NVIDIA состоит в том, что информация для заполнения утраченных участков не извлекается из окружающих пикселей, как это происходит в случае фотошоповской «Заливки с учётом содержимого». Система NVIDIA понимает, как должен выглядеть объект.

Например, если вы примените инструмент Content-Aware Fill к белым «дыркам» в местах, где на лице должны быть глаза – в результате промежутки заполнятся фрагментами окружающего изображения, взятыми из кожи, бровей, носа и причёски. Алгоритмы же NVIDIA понимают, что в этом участке на лице должны быть глаза, так что он и добавляет глаза – самостоятельно генерируя их.

На этом портрете утеряны огромные участки изображения:

Интеллектуальная Заливка от NVIDIA даёт потрясающие результаты

Вот результат работы инструмента Content-Aware Fill:

А эту картинку создал алгоритм NVIDIA:

Портрет не идеален, но ведь и утеряно было нереально много! Результат NVIDIA несравненно ближе к исходной фотографии, чем реконструкция, полученная с помощью окружающих пикселей.

Исходный портрет

Исходный портрет

Как и инструмент «Заливки с учётом содержимого», система NVIDIA может применяться как для восстановления утраченного содержимого, так и для устранения дефектов и коррекции неудачных участков изображения.

Разработчики NVIDIA опубликовали статью, озаглавленную «Ретуширование дефектов изображения неправильной формы с помощью частичной свёртки».

«Наша модель может эффективно справляться с дырами любой формы, размера, расположения и расстояния до границ изображения», пишут учёные. «Предыдущие подходы глубинного обучения фокусировались на прямоугольных областях, расположенных вокруг центра изображения, и часто требовали обширной пост-обработки. Наша же модель корректно обрабатывает дыры даже большого размера».

Исследователи обучали свою интеллектуальную систему с помощью 55 тысяч случайных конфигураций дыр и трещин, применённых к огромной коллекции фотографий. Сравнивая снимки с дефектами и исходные изображения, нейронная сеть обучалась реконструированию утерянных пикселей. Дополнительные 25 тысяч масок были использованы на стадии тестирования.

Ещё несколько невероятных примеров – «до и после» работы алгоритма NVIDIA:

«Насколько нам известно, мы первыми продемонстрировали эффективность моделей глубинного обучения заполнению на изображениях дыр неправильной формы», поясняют разработчики.

В статье, конечно, ничего не говорится о том, когда и каким образом технология может быть внедрена в программные продукты массового применения.

Дата публикации: 24.04.2018
Комментировать

Другие статьи рубрики

Показать больше статей

Вопросы эксперту