Вверх

Интеллектуальная Заливка от NVIDIA даёт потрясающие результаты

Дата публикации: 24.04.2018

Компания NVIDIA разработала потрясающую функцию восстановления утраченных элементов изображения – в стиле инструмента Фотошопа «Заливка с учётом содержимого» (Content-Aware Fill). Разработчики использовали новые технологии с элементами искусственного интеллекта для реалистичной реконструкции снимков. Двухминутный ролик представляет результаты и показывает примеры, от которых голова идёт кругом:

Самое удивительное в новой технологии NVIDIA состоит в том, что информация для заполнения утраченных участков не извлекается из окружающих пикселей, как это происходит в случае фотошоповской «Заливки с учётом содержимого». Система NVIDIA понимает, как должен выглядеть объект.

Например, если вы примените инструмент Content-Aware Fill к белым «дыркам» в местах, где на лице должны быть глаза – в результате промежутки заполнятся фрагментами окружающего изображения, взятыми из кожи, бровей, носа и причёски. Алгоритмы же NVIDIA понимают, что в этом участке на лице должны быть глаза, так что он и добавляет глаза – самостоятельно генерируя их.

На этом портрете утеряны огромные участки изображения:

Интеллектуальная Заливка от NVIDIA даёт потрясающие результаты

Вот результат работы инструмента Content-Aware Fill:

А эту картинку создал алгоритм NVIDIA:

Портрет не идеален, но ведь и утеряно было нереально много! Результат NVIDIA несравненно ближе к исходной фотографии, чем реконструкция, полученная с помощью окружающих пикселей.

Исходный портрет

Исходный портрет

Как и инструмент «Заливки с учётом содержимого», система NVIDIA может применяться как для восстановления утраченного содержимого, так и для устранения дефектов и коррекции неудачных участков изображения.

Разработчики NVIDIA опубликовали статью, озаглавленную «Ретуширование дефектов изображения неправильной формы с помощью частичной свёртки».

«Наша модель может эффективно справляться с дырами любой формы, размера, расположения и расстояния до границ изображения», пишут учёные. «Предыдущие подходы глубинного обучения фокусировались на прямоугольных областях, расположенных вокруг центра изображения, и часто требовали обширной пост-обработки. Наша же модель корректно обрабатывает дыры даже большого размера».

Исследователи обучали свою интеллектуальную систему с помощью 55 тысяч случайных конфигураций дыр и трещин, применённых к огромной коллекции фотографий. Сравнивая снимки с дефектами и исходные изображения, нейронная сеть обучалась реконструированию утерянных пикселей. Дополнительные 25 тысяч масок были использованы на стадии тестирования.

Ещё несколько невероятных примеров – «до и после» работы алгоритма NVIDIA:

«Насколько нам известно, мы первыми продемонстрировали эффективность моделей глубинного обучения заполнению на изображениях дыр неправильной формы», поясняют разработчики.

В статье, конечно, ничего не говорится о том, когда и каким образом технология может быть внедрена в программные продукты массового применения.

Дата публикации: 24.04.2018
Комментировать

Другие статьи рубрики

Показать больше статей

Вопросы эксперту

GriBelMix, 2018-05-20T12:18:33

ТОЧНО!

Gosha Qcenko, 2018-05-14T20:35:09

только никто не выкладывает натренированную нейронную сеть. Только сервисы, позволяющие воспользоваться ею онлайн.

Max Dicker, 2018-05-07T02:08:22

Теперь можно будет снять цензуру с хентая?

Павел, 2018-05-04T04:53:35

бред..подобное военные разрабатывают 60 годов..результаты печальные..A.I..подрисовывает то, что читает нужным..самый яркий пример - пирамиды и лицо на Марсе..на самом деле там просто скалы..и второе это проблема восстановление утраченного изображения..программы умею делать блур для фото, но до сих пор размытость не может быть восстановлена..для математики это расчет в один конец

Алексей Новопашин, 2018-05-02T04:11:11

произведите поиск в Гугле или Яндексе по фото любого жука, сомнения развеются, увидев количество похожих кадров

Алексей Новопашин, 2018-05-02T04:09:05

Изучите понятие нейронные сети, а также их возможности.
Про плёнку повеселили, в память воды и гомеопатию, наверное, верите, раз реальная наука вызывает у вас скептицизм.

Алексей Новопашин, 2018-05-02T04:07:08

Ей достаточно свой базы данных, нейронные сети не нуждаются в постоянном подключении к интернету.

Сергей Разумов, 2018-05-01T11:28:48

А может он просто ищет все фотографии в интернете? Помоему тут 100% точность.

Michael Stepanov, 2018-04-30T07:03:28

Почему невозможно? Эта технология берет элементы не из фотографии, а из окружающего мира. Это нейронная сеть, как я понимаю, ей скормили кучу фоток и она научилась определять, где какие элементы, это давно уже есть, а разработчики Nvidia просто прикрутили замену отсутствующих элементов за счет базы программы. Вряд ли она будет работать без интернета.

Dmitry Anisimov, 2018-04-27T18:14:42

Бред это ваш комментарий. Всех не знает. Какие-то насекомые в обучающей выборке имелись, по таким и будет реконструировать.

Сергей Разумов, 2018-04-25T18:28:28

Бред. Как такое возможно? Откуда комп знает всех насекомых мира?)))

Илья, 2018-04-24T20:46:25

Вроде не первое апреля. Из ничего сделать то, что должно быть. Это вряд ли. Ладно если была бы плёнка, там каждая часть кадра имеет в себе память о всем кадре, но здесь, это не возможно.

2682da2e 9442 43d1 9957 81cc29fb77c7