Сколько раз мы с вами видели в кино, как некие суперспецагенты разглядывают на экране картинку низкого разрешения, снятую с камер наблюдения, а то и со спутника, и командуют оператору: «Увеличить! Улучшить! Еще крупнее! Я сказал, улучшить!..». В результате из пары пикселей вырастает качественный портрет – и… – «это он!».
Мы с вами всегда лишь посмеивались над такой фантастикой, однако… специалисты Google делают серьезные попытки превратить эти сказки в реальность. Используя нейронные сети, они «улучшают» снимки и получают вполне читаемые портреты из исходных изображений разрешения всего лишь 8х8 пикселей.
Официально разработанный командой Google Brain алгоритм называется «Рекурсивное попиксельное сверхразрешение» (Pixel Recursive Super Resolution). Искусственный интеллект синтезирует реалистичные детали и дополняет ими исходное низкокачественное изображение. Переводя на язык Голливуда, алгоритм выполняет ту самую невозможную команду «Улучшить!»
Процесс протекает в два этапа. Сначала программа получает изображение разрешения 8х8 и «привязывает» его к похожему шаблону более высокого разрешения, получая грубый набросок портрета или сцены. Далее, вторая нейронная сеть добавляет к полученному наброску мелкие детали, прогнозируя возможные пикселя на основе других снимков высокого разрешения, которые она ищет в интернете.
Алгоритм пока далек от совершенства и не дотягивает до уровня «улучшения», показанного в фильмах «Бегущий по лезвию» или «Особое мнение», и тем не менее, результаты весьма впечатляющие. На приведенной выше иллюстрации в левом столбике показаны картинки разрешения 8х8 пикселей, которые «скармливали» алгоритму, средний столбик – «улучшение» в исполнении компьютера, а правый столбик – это, для справки, настоящие исходные снимки высокого разрешения, из которых и были сделаны низкокачественные картинки 8х8.
Желающие почитать подробнее об этих исследованиях, а также посмотреть больше примеров, могут скачать статью в PDF отсюда.
