Вычислительная фотография — революционно новый подход к созданию изображения, который появился в смартфонах, но сейчас проникает и в современные фотокамеры.
Мы уже рассказывали вам о форматах мобильных сенсоров в отдельном материале. На этот раз поговорим об искусственном интеллекте, машинном обучении, нейросетях и алгоритмах постобработки. Именно они за счёт мощных мобильных чипов помогают компенсировать физические ограничения, связанные с малым размером матриц и сверхкомпактными объективами.
В этой статье мы расскажем о вычислительной фотографии и о том, как она используется в современных камерах.
Что такое «вычислительная фотография»?
Если вы никогда раньше не слышали термин «вычислительная фотография», вы не одиноки. Речь о цифровых методах захвата и обработки изображений, которые используют цифровые вычисления вместо оптических процессов. То есть там, где классическая камера полагается на оптику и возможности матрицы, смартфон опирается ещё и на цифровые приёмы, которые позволяют расширить динамический диапазон или сделать ночной кадр с помощью мультиэкспозиции.
Ещё в 2017 году, из интервью ведущего инженера по камерам Sony Xperia Кенсуке Машиты, мы узнали, что «ограничений в зеркальных и беззеркальных камерах гораздо меньше, чем в смартфонах, но вычислительные мощности на стороне смартфонов; у камер свой путь развития, у смартфонов — свой». И за прошедшие годы роль вычислительной фотографии только усилилась.
Съёмка на смартфон с использованием ИИ происходит в сочетании с классическим захватом изображения: при этом многие функции со сложнейшей обработкой смартфоны задействуют по умолчанию, чаще всего — без ведома фотографа.
Портретный режим
В большинстве профессиональных камер эффект портретной съёмки достигается за счёт использования объектива с высокой светосилой. Это создаёт малую глубину резкости и размывает фон.
(/reviews/21150-huawei-p30-pro-test){:target=”_blank”}
Камеры смартфонов в большинстве случаев имеют фиксированные диафрагмы с достаточно высоким значением светосилы, которая сравнима с портретной оптикой. Но из-за малого формата матрицы размыть задний план, как в случае с фотокамерой, не получается. Поэтому производители смартфонов используют вычислительную фотографию для создания имитации боке.
Портретный режим распознает объекты съёмки и их контуры, накладывая на фон фильтр размытия: используются вычислительные процессы для распознавания, выделения и фокусировки на объекте съёмки в режиме реального времени. Любопытно, что в большинстве случаев вы можете увидеть эффект размытия уже во время съёмки на экране смартфона. При этом устройство будет проводить постобработку, чтобы ещё тщательнее обработать края объектов и сделать размытие максимально похожим на настоящее. Одними из первых портретный режим, как и режим широкой диафрагмы, начали использовать в HUAWEI.
Вспомним хотя бы HUAWEI P30 Pro — легендарный смартфон, который не только умел красиво и точно размывать задний план, но и снимать почти в полной темноте, а также делать фото Луны.
Также среди лидеров рынка именно в портретах — смартфоны Pixel от Google и актуальные модели iPhone. В последних есть портретный режим для видео — «Кинорежим».
В актуальных iPhone 14 Pro и 14 Pro Max можно записывать видео с размытием заднего или переднего плана в качестве вплоть до 4K со скоростью 60 FPS. И объектами в фокусе могут быть не только люди: вы вручную задаёте точку фокусировки. Более того, после съёмки, уже в галерее, можно менять фокус!
Режимы панорамы на смартфонах и фотоаппаратах
Большинство смартфонов и камер имеют режим панорамной съёмки. Нажатием одной кнопки устройство буквально направляет фотографа на перемещение и удержание камеры вдоль прямой линии, чтобы оно могло сделать несколько снимков и сшить их в режиме почти реального времени. Это позволяет создать панораму в камере, а не сшивать изображения вручную.
В смартфонах используется исключительно электронный затвор, время считывания с матрицы минимальное. Они способны снимать огромное количество кадров в секунду, давая достаточно материала процессору для качественной склейки результата. Фотокамеры тоже так умеют, но в большинстве случаев на смартфон удаётся получить не менее качественный результат.
Режимы расширенного динамического диапазона (HDR) на смартфонах и камерах
Фото из теста Samsung Galaxy S22 Ultra
Эта функция использует алгоритмы и даже машинное обучение для распознавания самых ярких и самых тёмных участков сцены. В момент съёмки камера смартфона делает фотографии с разной экспозицией и объединяет их, в результате чего получается изображение с максимальной детализацией и в светлых, и в тёмных частях. Всё в режиме реального времени!
HDR часто включён по умолчанию в автоматическом режиме, а большинство мобильных сенсоров изначально создаются с расчётом на работу в режиме HDR (в отличие от фотоаппаратов).
При этом смартфон использует буфер для так называемой предсъёмки: то есть устройство может начать захват изображения ещё до того, как вы нажали на кнопку спуска затвора. Именно так работает режим Live Photo в iPhone, и именно поэтому в любом изображении, созданном в Live Photo, вы можете увидеть движение, которое предшествовало нажатию на кнопку.
Можно сказать, что в смартфонах спуск затвора очень похож на кнопку «пауза и сохранение» в непрерывном потоке изображений. Интересно, что подобная функция появилась в современных фотокамерах. Например, Canon EOS R6 Mark II сохраняет на карту памяти RAW-поток до нажатия кнопки спуска.
Съёмка с «длинной выдержкой» на смартфоне
Из-за высокой светосилы объектива и фиксированной диафрагмы смартфоны не могут обеспечивать длинную выдержку при съёмке днём, а крепления ND-фильтров у них не предусмотрено.
Поэтому, подобно функции Live Photo от Apple, многие смартфоны предлагают опцию, позволяющую объединять несколько изображений из буфера для создания эффекта длинной выдержки. Это похоже на концепцию тайм-стекинга, которую используют многие фотографы-пейзажисты при съёмке воды, когда ещё слишком светло для съёмки с длинной экспозицией. Такая техника предполагает съёмку множества более коротких экспозиций и объединение всех полученных изображений на этапе постобработки. Смартфоны используют вычислительную фотографию для выравнивания и объединения снимков из буфера и создания эффекта длинной выдержки.
Как это работает на iPhone: сначала сделайте Live Photo в приложении «Камера», затем найдите это изображение в приложении «Фото» и нажмите на значок с надписью Live в левом верхнем углу. Кнопка «Длинная экспозиция» объединит все изображения из буфера, составляющие Live Photo, в одно изображение.
Ночной режим в смартфоне
Съёмка ночью и в условиях недостаточной освещённости — задача не из простых. Света для создания правильно экспонированного изображения с хорошим контрастом может быть недостаточно. В профессиональных камерах помогают длинные выдержки, широкие диафрагмы, высокие значения ISO и использование штатива.
Производители реализовали в смартфонах съёмку с мультиэкспозицией. Тут используются более короткие выдержки, за счёт чего минимизируется смаз от движения рук. Далее смартфон комбинирует снимки для создания более качественного и яркого изображения, поскольку увеличивается общее количество «захваченных» данных.
Фото из теста iPhone 14 Pro Max
В итоге вы получаете снимок без пересветов и с деталями в тенях, при этом он не выглядит так, будто снят днём. И подобное фото можно сделать с рук, без использования штатива. Конечно, важно держать смартфон неподвижно в течение нескольких секунд: всё это время он будет снимать кадры, из которых потом создаст итоговое изображение.
Нейронные сети и машинное обучение
Слайд из презентации Apple, который демонстрирует, как сигнальный процессор изображения и нейронный движок iPhone автоматически улучшают каждую сделанную фотографию. Источник: Apple
Производители смартфонов активно используют в вычислительной фотографии нейросети. Они показывают искусственному интеллекту разные изображения, чтобы обучить его. Это могут быть изображения кошек или собак, а могут быть слишком яркие, слишком тёмные или вовсе обесцвеченные изображения. Идея в том, чтобы научить систему распознавать качественные и некачественные изображения. В последнем случае устройство поймёт, что изображение нужно доработать: шумоподавление, увеличение динамического диапазона, изменение баланса белого или тона и другие возможности… Именно поэтому многие производители утверждают, что в их смартфонах стоят AI-камеры (с искусственным интеллектом).
Смещение пикселей
В вычислительной фотографии создание изображений часто является аддитивным процессом. Итоговое изображение представляет собой комбинацию множества различных снимков, сделанных с разными параметрами. Ещё одним примером этого является съёмка со сдвигом пикселей. Такое часто встречается в беззеркальных камерах с высоким разрешением. В процессе съёмки сенсор физически смещается на один пиксель от кадра к кадру. Чаще всего за это отвечает встроенный стабилизатор изображения, а шаг сдвига измеряется микронами. Благодаря объединению нескольких изображений с разницей всего в один пиксель, удаётся буквально просканировать пространство, запечатлев каждую его точку всеми пикселями байеровской матрицы. А значит, можно обойтись без демозаика, получив более высокую детализацию.
В мобильной фотографии, как ни странно, это тоже применяется. Подобная технология, например, использовалась в смартфонах из линейки vivo X60 благодаря системе стабилизации Gimbal 2.0.
Биннинг пикселей
Фото из теста Samsung Galaxy S22 Ultra
Чем больше размер пикселя, тем больше он улавливает света. Однако камеры смартфонов ограничены в размерах, их пиксели также небольшие. Технология пиксельного биннинга позволяет объединить данные 4, 9 или 16 пикселей в один (в зависимости от сенсора), что повышает общее качество изображения без ущерба для возможностей съёмки в условиях низкой освещённости. Для многомегапиксельных матриц с разрешением от 50 до 200 Мп это особенно актуально!
Фокус-стекинг
Сегодня это довольно простой процесс, который раньше был очень трудоёмким и часто применялся только макрофотографами, поскольку они работали с очень малой глубиной резкости. Он заключается в съёмке нескольких изображений с разной точкой фокусировки и их последующем объединении для создания единого снимка с большей глубиной резкости.
Современные камеры делают это автоматически, нажатием одной кнопки за несколько секунд. Можно вспомнить Olympus или недавний тест Canon EOS R6 Mark II. В смартфонах вспоминаются устройства HUAWEI и их режим широкой диафрагмы, в котором вы можете сделать изображение как с эмуляцией полностью открытой диафрагмы, так и закрытой до значения f/22. При этом можно менять точку фокуса в галерее даже после съёмки.
Почему важна вычислительная фотография?
Благодаря алгоритмам постобработки, машинному обучению и другим компьютерным процессам, которые максимально расширяют возможности получения изображений, качество фотографий на смартфон в последние годы заметно выросло.
Компьютерные процессы быстро и эффективно совершенствуются, нейросети всё быстрее обучаются. Это даже немного пугает. Фотографы с дорогостоящим и качественным оборудованием, а также их знаниями и опытом до сих пор выигрывают. Но если вычислительная фотография позволяет делать больше с меньшим количеством оборудования, возможно, скоро фотографам придётся конкурировать с каждым, у кого есть смартфон.
При этом всегда будет существовать художественная сторона фотографии, которая принадлежит именно фотографам… по крайней мере, пока. Появление искусственного интеллекта поставило важные вопросы перед миром искусства, и фотография не является исключением.
Но вычислительная фотография есть и в мире профессионального фото. В цифровых зеркальных и системных камерах происходят изменения в системах автофокусировки, в которых задействован ИИ для идентификации объекта, HDR, съёмки панорам и других процессов, описанных выше. Это не совсем то, что есть в смартфоне. Скорее всего, сами разработчики сдерживают внедрение умных алгоритмов в фотоаппаратах, чтобы не перейти грань документальности фотографии как таковой. Но, кажется, мы уже вплотную подошли к ней…
