Google известен в мире мобильной фотографии прежде всего своим вкладом в направление так называемой вычислительной фотографии.
На днях в своём AI Blog компания поделилась, каким образом была реализована функция эмуляции портретного освещения в смартфонах Pixel. Компания в рамках создания этой функции использовала два алгоритма машинного обучения.
Первый - это Automatic Light Placement (автоматическое размещение света). Модель машинного обучения старается сделать работу фотографа или осветителя, который расставляет световые приборы или использует источники света в кадре, а также компенсирует внешнее освещения, чтобы создать портрет наивысшего качества.
Для этого используется широкий динамический диапазон, профиль всенаправленного освещения, который базируется на исследованиях Google. В результате получается своеобразная сфера, на которой можно увидеть направление, интенсивность и цвет всех источников цвета. Также Google изучается позицию головы модели используя нейросеть MediaPipe FaceMesh. Этот инструмент использет 468 3D-точек на лице модели, чтобы определить точную позицию в кадре.
Используя эту информацию, Google эмулирует свет, который используют при съёмках портретов в студии. Компания стремится воссоздать классическое портретное освещение.
Второй алгоритм называется Data-Driven Portrait Relighting, то есть портретное освещение с учетом полученных данных. Благодаря этому инструменту можно добавить направленный источник света к оригинальной фотографии. Для создания этого алгоритма Google тренировал свою модель машинного обучения используя “миллионы парт портретов с дополнительным светом и без него”. Для создания этой базы данный Google использовал Light Stage - специальную систему иллюминации, которая включает в себя 64 камеры и 331 LED-прибор, которые объединены в сферу.
Google сфотографировал несколько моделей с разными выражениями лица, прической, мужчин и женщин, представителей всех рас, чтобы создать максимально разнообразную базу данных и обучить свою нейросеть для создания максимально реалистичного эффекта.
Далее внутри смартфон происходит объединение этих двух алгоритмов, причем сначала это делает в низком разрешении, чтобы изначально тратить меньше ресурсов. Далее изображение обрабатывается в высоком качестве.
