Вычислительная фотография: что это такое и почему это важно?

Вычислительная фотография — революционно новый подход к созданию изображения, который появился в смартфонах, но сейчас проникает и в современные фотокамеры.

Мы уже рассказывали вам о форматах мобильных сенсоров в отдельном материале. На этот раз поговорим об искусственном интеллекте, машинном обучении, нейросетях и алгоритмах постобработки. Именно они за счёт мощных мобильных чипов помогают компенсировать физические ограничения, связанные с малым размером матриц и сверхкомпактными объективами.

В этой статье мы расскажем о вычислительной фотографии и о том, как она используется в современных камерах.

Что такое «вычислительная фотография»?

Если вы никогда раньше не слышали термин «вычислительная фотография», вы не одиноки. Речь о цифровых методах захвата и обработки изображений, которые используют цифровые вычисления вместо оптических процессов. То есть там, где классическая камера полагается на оптику и возможности матрицы, смартфон опирается ещё и на цифровые приёмы, которые позволяют расширить динамический диапазон или сделать ночной кадр с помощью мультиэкспозиции.

Ещё в 2017 году, из интервью ведущего инженера по камерам Sony Xperia Кенсуке Машиты, мы узнали, что «ограничений в зеркальных и беззеркальных камерах гораздо меньше, чем в смартфонах, но вычислительные мощности на стороне смартфонов; у камер свой путь развития, у смартфонов — свой». И за прошедшие годы роль вычислительной фотографии только усилилась.

Съёмка на смартфон с использованием ИИ происходит в сочетании с классическим захватом изображения: при этом многие функции со сложнейшей обработкой смартфоны задействуют по умолчанию, чаще всего — без ведома фотографа.

Портретный режим

В большинстве профессиональных камер эффект портретной съёмки достигается за счёт использования объектива с высокой светосилой. Это создаёт малую глубину резкости и размывает фон.

Камеры смартфонов в большинстве случаев имеют фиксированные диафрагмы с достаточно высоким значением светосилы, которая сравнима с портретной оптикой. Но из-за малого формата матрицы размыть задний план, как в случае с фотокамерой, не получается. Поэтому производители смартфонов используют вычислительную фотографию для создания имитации боке.

Портретный режим распознает объекты съёмки и их контуры, накладывая на фон фильтр размытия: используются вычислительные процессы для распознавания, выделения и фокусировки на объекте съёмки в режиме реального времени. Любопытно, что в большинстве случаев вы можете увидеть эффект размытия уже во время съёмки на экране смартфона. При этом устройство будет проводить постобработку, чтобы ещё тщательнее обработать края объектов и сделать размытие максимально похожим на настоящее. Одними из первых портретный режим, как и режим широкой диафрагмы, начали использовать в HUAWEI.

Вспомним хотя бы HUAWEI P30 Pro — легендарный смартфон, который не только умел красиво и точно размывать задний план, но и снимать почти в полной темноте, а также делать фото Луны.

Также среди лидеров рынка именно в портретах — смартфоны Pixel от Google и актуальные модели iPhone. В последних есть портретный режим для видео — «Кинорежим».

В актуальных iPhone 14 Pro и 14 Pro Max можно записывать видео с размытием заднего или переднего плана в качестве вплоть до 4K со скоростью 60 FPS. И объектами в фокусе могут быть не только люди: вы вручную задаёте точку фокусировки. Более того, после съёмки, уже в галерее, можно менять фокус!

Режимы панорамы на смартфонах и фотоаппаратах

Большинство смартфонов и камер имеют режим панорамной съёмки. Нажатием одной кнопки устройство буквально направляет фотографа на перемещение и удержание камеры вдоль прямой линии, чтобы оно могло сделать несколько снимков и сшить их в режиме почти реального времени. Это позволяет создать панораму в камере, а не сшивать изображения вручную.

В смартфонах используется исключительно электронный затвор, время считывания с матрицы минимальное. Они способны снимать огромное количество кадров в секунду, давая достаточно материала процессору для качественной склейки результата. Фотокамеры тоже так умеют, но в большинстве случаев на смартфон удаётся получить не менее качественный результат.

Режимы расширенного динамического диапазона (HDR) на смартфонах и камерах

Эта функция использует алгоритмы и даже машинное обучение для распознавания самых ярких и самых тёмных участков сцены. В момент съёмки камера смартфона делает фотографии с разной экспозицией и объединяет их, в результате чего получается изображение с максимальной детализацией и в светлых, и в тёмных частях. Всё в режиме реального времени!

HDR часто включён по умолчанию в автоматическом режиме, а большинство мобильных сенсоров изначально создаются с расчётом на работу в режиме HDR (в отличие от фотоаппаратов).

При этом смартфон использует буфер для так называемой предсъёмки: то есть устройство может начать захват изображения ещё до того, как вы нажали на кнопку спуска затвора. Именно так работает режим Live Photo в iPhone, и именно поэтому в любом изображении, созданном в Live Photo, вы можете увидеть движение, которое предшествовало нажатию на кнопку.

Можно сказать, что в смартфонах спуск затвора очень похож на кнопку «пауза и сохранение» в непрерывном потоке изображений. Интересно, что подобная функция появилась в современных фотокамерах. Например, Canon EOS R6 Mark II сохраняет на карту памяти RAW-поток до нажатия кнопки спуска.

Съёмка с «длинной выдержкой» на смартфоне

Из-за высокой светосилы объектива и фиксированной диафрагмы смартфоны не могут обеспечивать длинную выдержку при съёмке днём, а крепления ND-фильтров у них не предусмотрено.

Поэтому, подобно функции Live Photo от Apple, многие смартфоны предлагают опцию, позволяющую объединять несколько изображений из буфера для создания эффекта длинной выдержки. Это похоже на концепцию тайм-стекинга, которую используют многие фотографы-пейзажисты при съёмке воды, когда ещё слишком светло для съёмки с длинной экспозицией. Такая техника предполагает съёмку множества более коротких экспозиций и объединение всех полученных изображений на этапе постобработки. Смартфоны используют вычислительную фотографию для выравнивания и объединения снимков из буфера и создания эффекта длинной выдержки.

Как это работает на iPhone: сначала сделайте Live Photo в приложении «Камера», затем найдите это изображение в приложении «Фото» и нажмите на значок с надписью Live в левом верхнем углу. Кнопка «Длинная экспозиция» объединит все изображения из буфера, составляющие Live Photo, в одно изображение.

Ночной режим в смартфоне

Съёмка ночью и в условиях недостаточной освещённости — задача не из простых. Света для создания правильно экспонированного изображения с хорошим контрастом может быть недостаточно. В профессиональных камерах помогают длинные выдержки, широкие диафрагмы, высокие значения ISO и использование штатива.

Производители реализовали в смартфонах съёмку с мультиэкспозицией. Тут используются более короткие выдержки, за счёт чего минимизируется смаз от движения рук. Далее смартфон комбинирует снимки для создания более качественного и яркого изображения, поскольку увеличивается общее количество «захваченных» данных.

В итоге вы получаете снимок без пересветов и с деталями в тенях, при этом он не выглядит так, будто снят днём. И подобное фото можно сделать с рук, без использования штатива. Конечно, важно держать смартфон неподвижно в течение нескольких секунд: всё это время он будет снимать кадры, из которых потом создаст итоговое изображение.

Нейронные сети и машинное обучение

Производители смартфонов активно используют в вычислительной фотографии нейросети. Они показывают искусственному интеллекту разные изображения, чтобы обучить его. Это могут быть изображения кошек или собак, а могут быть слишком яркие, слишком тёмные или вовсе обесцвеченные изображения. Идея в том, чтобы научить систему распознавать качественные и некачественные изображения. В последнем случае устройство поймёт, что изображение нужно доработать: шумоподавление, увеличение динамического диапазона, изменение баланса белого или тона и другие возможности… Именно поэтому многие производители утверждают, что в их смартфонах стоят AI-камеры (с искусственным интеллектом).

Смещение пикселей

В вычислительной фотографии создание изображений часто является аддитивным процессом. Итоговое изображение представляет собой комбинацию множества различных снимков, сделанных с разными параметрами. Ещё одним примером этого является съёмка со сдвигом пикселей. Такое часто встречается в беззеркальных камерах с высоким разрешением. В процессе съёмки сенсор физически смещается на один пиксель от кадра к кадру. Чаще всего за это отвечает встроенный стабилизатор изображения, а шаг сдвига измеряется микронами. Благодаря объединению нескольких изображений с разницей всего в один пиксель, удаётся буквально просканировать пространство, запечатлев каждую его точку всеми пикселями байеровской матрицы. А значит, можно обойтись без демозаика, получив более высокую детализацию.

В мобильной фотографии, как ни странно, это тоже применяется. Подобная технология, например, использовалась в смартфонах из линейки vivo X60 благодаря системе стабилизации Gimbal 2.0.

Биннинг пикселей

Чем больше размер пикселя, тем больше он улавливает света. Однако камеры смартфонов ограничены в размерах, их пиксели также небольшие. Технология пиксельного биннинга позволяет объединить данные 4, 9 или 16 пикселей в один (в зависимости от сенсора), что повышает общее качество изображения без ущерба для возможностей съёмки в условиях низкой освещённости. Для многомегапиксельных матриц с разрешением от 50 до 200 Мп это особенно актуально!

Фокус-стекинг

Сегодня это довольно простой процесс, который раньше был очень трудоёмким и часто применялся только макрофотографами, поскольку они работали с очень малой глубиной резкости. Он заключается в съёмке нескольких изображений с разной точкой фокусировки и их последующем объединении для создания единого снимка с большей глубиной резкости.

Современные камеры делают это автоматически, нажатием одной кнопки за несколько секунд. Можно вспомнить Olympus или недавний тест Canon EOS R6 Mark II. В смартфонах вспоминаются устройства HUAWEI и их режим широкой диафрагмы, в котором вы можете сделать изображение как с эмуляцией полностью открытой диафрагмы, так и закрытой до значения f/22. При этом можно менять точку фокуса в галерее даже после съёмки.

Почему важна вычислительная фотография?

Благодаря алгоритмам постобработки, машинному обучению и другим компьютерным процессам, которые максимально расширяют возможности получения изображений, качество фотографий на смартфон в последние годы заметно выросло.

Компьютерные процессы быстро и эффективно совершенствуются, нейросети всё быстрее обучаются. Это даже немного пугает. Фотографы с дорогостоящим и качественным оборудованием, а также их знаниями и опытом до сих пор выигрывают. Но если вычислительная фотография позволяет делать больше с меньшим количеством оборудования, возможно, скоро фотографам придётся конкурировать с каждым, у кого есть смартфон.

При этом всегда будет существовать художественная сторона фотографии, которая принадлежит именно фотографам… по крайней мере, пока. Появление искусственного интеллекта поставило важные вопросы перед миром искусства, и фотография не является исключением.

Но вычислительная фотография есть и в мире профессионального фото. В цифровых зеркальных и системных камерах происходят изменения в системах автофокусировки, в которых задействован ИИ для идентификации объекта, HDR, съёмки панорам и других процессов, описанных выше. Это не совсем то, что есть в смартфоне. Скорее всего, сами разработчики сдерживают внедрение умных алгоритмов в фотоаппаратах, чтобы не перейти грань документальности фотографии как таковой. Но, кажется, мы уже вплотную подошли к ней…