Sony представила первый в мире сенсор изображения с искусственным интеллектом. Разбираемся, зачем это нужно и как работает.
Речь идёт о паре матриц IMX500 и IMX501. Они имеют формат 1/1,23” и разрешение 12,3 мегапикселя, а также способны снимать видео с разрешением 4К и частотой до 60p. Матрицы изготовлены по технологии с обратной засветкой.
Их секрет кроется во втором слое. Сенсор состоит из двух чипов — чипа пикелей и логической микросхемы, где и «живёт» искусственный интеллект. Нечто подобное мы ранее видели, например, в Sony A9 и последующих моделях. Там на нижнем чипе располагалась скоростная память.
От обычных сенсоров изображения новые отличаются тем, что кроме изображений способны выдавать метаданные, созданные искусственным интеллектом. Возможен и другой вариант: выводить только метаданные без изображений. Такой подход резко снижает объём передаваемой информации и гарантирует неприкосновенность частной жизни, ведь сама «картинка» не покидает пределов матрицы. И съёмка, и её анализ проходят даже не в одном устройстве, а в одной многослойной микросхеме. Яркий пример — точный подсчет числа посетителей магазина без сохранения их изображений.
Применение таких матриц для решения прикладных задач кажется очень перспективным. Но давайте пофантазируем и предположим, что подобные сенсоры завтра появятся и в фотоаппаратах. Совершенно точно они упростят работу по каталогизации кадров и даже их описанию, ведь камера будет досконально знать ещё на этапе съёмки, что именно фотографирует. Высокая скорость получения и обработки информации помогут задействовать искусственный интеллект и в установке съёмочных параметров: автофокус, экспозиция, баланс белого и т.п.. Но мы уверены, что это лишь вершина айсберга, а Sony скоро удивит нас чем-то действительно новым. Ведь не просто так компания полгода назад выделила работы по искусственному интеллекту в отдельное подразделение. Кстати, будущее уже здесь: IMX500 поступил в продажу по цене ¥10 000.
