Вверх
95fad1f8 cf8a 4db0 b786 dcec99390a6a

Как Google создаёт "Портретное освещение" на смартфонах Pixel

Дата публикации: 15.12.2020

Google известен в мире мобильной фотографии прежде всего своим вкладом в направление так называемой вычислительной фотографии.

Как Google создаёт "Портретное освещение" на смартфонах Pixel

На днях в своём AI Blog компания поделилась, каким образом была реализована функция эмуляции портретного освещения в смартфонах Pixel. Компания в рамках создания этой функции использовала два алгоритма машинного обучения.

Первый - это Automatic Light Placement (автоматическое размещение света). Модель машинного обучения старается сделать работу фотографа или осветителя, который расставляет световые приборы или использует источники света в кадре, а также компенсирует внешнее освещения, чтобы создать портрет наивысшего качества.

Для этого используется широкий динамический диапазон, профиль всенаправленного освещения, который базируется на исследованиях Google. В результате получается своеобразная сфера, на которой можно увидеть направление, интенсивность и цвет всех источников цвета. Также Google изучается позицию головы модели используя нейросеть MediaPipe FaceMesh. Этот инструмент использет 468 3D-точек на лице модели, чтобы определить точную позицию в кадре.

Используя эту информацию, Google эмулирует свет, который используют при съёмках портретов в студии. Компания стремится воссоздать классическое портретное освещение.

Второй алгоритм называется Data-Driven Portrait Relighting, то есть портретное освещение с учетом полученных данных. Благодаря этому инструменту можно добавить направленный источник света к оригинальной фотографии. Для создания этого алгоритма Google тренировал свою модель машинного обучения используя “миллионы парт портретов с дополнительным светом и без него”. Для создания этой базы данный Google использовал Light Stage - специальную систему иллюминации, которая включает в себя 64 камеры и 331 LED-прибор, которые объединены в сферу.

Google сфотографировал несколько моделей с разными выражениями лица, прической, мужчин и женщин, представителей всех рас, чтобы создать максимально разнообразную базу данных и обучить свою нейросеть для создания максимально реалистичного эффекта.

Далее внутри смартфон происходит объединение этих двух алгоритмов, причем сначала это делает в низком разрешении, чтобы изначально тратить меньше ресурсов. Далее изображение обрабатывается в высоком качестве.

Дата публикации: 15.12.2020
Комментировать
B00ff3ea f0a6 4dbe 90ff d0e7a44e123c square 100
Митя Иванов

Люблю фотографировать и на фотоаппараты, и на смартфоны. Ведь лучшая камера - это та, которая всегда с собой.

Автор курсов и эксперт Fotoshkola.net

Другие статьи рубрики

Показать больше статей

Вопросы эксперту