Представьте себе светочувствительную матрицу, которая может проэкспонировать разные части изображения различным образом, причем не делая несколько снимков и далее совмещая их программно, а за один раз, на попиксельном уровне. Звучит необычно, верно? Однако именно эту идею запатентовала недавно компания Sony.
Патент, который был заявлен в июле и опубликован 30 октября, описывает матрицу, которая может экспонировать отдельные пиксели различным образом, в зависимости от того, где в кадре расположены темные и светлые участки снимаемой сцены.
Таким образом, густые тени становятся «Пикселями длинной экспозиции», в то время как яркие участки обрабатываются как «Пиксели короткой экспозиции». В результате динамический диапазон снимка расширяется радикальным образом – без необходимости выполнять мультиэкспозицию и совмещать несколько снимков.
Очевидная проблема возникает при съемке быстро движущихся объектов – их светлые участки могут получиться на снимке смазанными сильнее, чем темные. Получится довольно странное полуабстрактное изображение. Однако патент Sony, конечно же, предусматривает пути решения этой проблемы. Сначала производится «Интерполяция с учетом чувствительности» (sensitivity-specific interpolation), а далее два изображения, полученные от пикселей с длинной и короткой экспозицией, складываются (HDR Blending, примерно как при обычной HDR-технологии), причем при этом также производится корректировка смаза (Blur Correction) – как раз для уменьшения проблемы, о которой мы говорили.
Заметим, что технология описывается довольно подробно (что бывает далеко не всегда, часто патенты ограничиваются общей идеей), так что, если с английским языком у вас порядок – можете ознакомиться с патентом более детально.
И ещё немного.
Кроме прочего, нужно стремиться к наносекундным выдержкам, для чего нужно пересматривать подход к сверхвысокочувствительным малодиапазонным приёмникам. Тогда действительно можно будет "аморозить" любое быстрое движение.
Но есть ещё одна проблема - фокус. При съемке как правило значительное время расходуется на подбор фокусировки. Это связано с тем, что оптическая система представляет собой корреляционный фильтр, в котором "резкими" являются только границы объектов, лежащих в фокальной плоскости. Чем шире диафрагма, тем выше уровень фона, по сравнению с "надставленным" полезным сигналом изображения. Этот паразитный фон является также источником квантовых шумов (флуктуаций), сказывающися на конечном качестве получаемого изображения. С ним до сих пор мерились как с неизбежным злом (низкоконтрастное изображение). Если фотоэлементы сделать самофокусирующимися на бесконечность (наносельфоки) с нулевой собственной апертурой, принимающими световой поток по нормали исключительно от соответствующего "точечного вторичного источника", то можно довести соотношение полезного сигнала к паразитному к максимальному (а темновой ток можно учесть/скомпенсировать). Для повышения чувствительности можно попытаться использовать гетеропереходные лавинные диоды (подобно лазерным, но на приём, к тому же они будут спектро избирательными) с тонким термостатированием.
Если поле зрения группы сельфоков сделать подобными человеческому глазу (но зона резкости будет по всей плоскости изображения), а для различения глубины объектов и возможности последующей постобработки (программного БОКЕ), следует использовать стереопару таких матриц, разносимых в пространстве на желаемое расстояние. Сельфоки могут быть выполнены (выращены как нанотрубки) непосредственно на матрице (один фотоэлемент-она трубка), при этом такая система будет делать резкими объекты вне зависимости от их удаленности (т.е. все резкое), для чего и нужна пара. За то отсутствует необходимость в выполнении процедуры поиска фокуса. Мы все ближе к реализации принципа: "нажми на кнопку, поучишь результат". Такие системы наилучшим образом подходят в качестве систем машинного зрения.
Есть также идеи по развитию идей Денисюка (толстоплёночная голография от некокерентного источника) в области бытовых голографических траспарантов (по типу диапозитивов): бытовые переносная камера и проектор. Сложность представляет цифровое сканирование-сжатие трехмерных позитивов (транспарантов) с интерференционными слоями, хотя применение послойного сканирования (копланарная 2Д голография) уже давно использовалась в недорогих картридерах Info-MICA японской компании NTT.
Позволю себе немного ликбеза.
Говоря о чувствительности, мы имеем ввиду скорость перехода из состояния отсутствия накопленного заряда к состоянию насыщения. Если считывать заряд не по току считывания, а по напряжению (плотности заряда), то (вопреки сложившемуся заблуждению), чем меньше фоточувствительный компонент, тем выше его чувствительность. Эта характеристика обратно пропорциональна динамическому диапазону компонента, его ёмкости (наперсток наберётся быстрее таза, т.к. телесный угол один). Однако, при традиционной схеме фотоматриц, использование узкодиапазонных (контрастных высокочувствительных) фотоэлементов не имеет практического смысла. Высокую чувствительность можно достичь также увеличением концентрации примесных носителей рабочей области. Расширенный динамический диапазон крупнопиксельных матриц раскрывается (вверх) лишь в условиях студийного света, а в условиях, приближенных "к боевым" они пасуют перед контрастными мыльницами. Пусть значения ISO/ANSI/DIN не вводят в заблуждение, т.к. они оцениваются при калиброванном гомогенном нефокусированном освещении матрицы, но на условия съемки оказывает влияние кропфактор и установленная апертура (оптика).
К чему все эти слова. Чтобы обосновать, что малые размеры фоточувствительных компонентов не помеха для сверхкоротких выдержек (экспозиций), т.к. они чувствительны (быстронаполняемы).
Нынешние матрицы, экспонирующие изображение одинаково, создают проблемы с получением качественного изображения по причине различного соотношения сигнал-шум для различных участков изображения. Конечно, проще нарисовать, чем объяснить, но я попытаюсь.
Путем избыточных пикселей, группируемых по принципу "налагаемых" матриц различной эспозиции, можно получить, без предварительного замера "средней температуры по больнице", важную информацию об интенсивности каждого пикселя с целью получения максимального (оптимального) отношения сигнал-шум для каждого компонента. Для этого, при считывании данных с элементов матрицы нужно отбраковывать те значения, которые находятся вблизи уровня всех видов шумов и насыщения (т.е. выше середины участка х-ки). По положению считываемого фоточувствительного компонента (из соответствующих теневых буферов, электронных "затворов") можно определить местоположение компонента на матрице, его цвет и ступень экспозиции. Если таких ступеней будет несколько (например 6 с интервалами в 2EV), то можно охватить практически весь существующий диапазон), не прибегая к предварительному экспозамеру. Все ступени располагаются периодически (например, столбцами, которые соответствуют чередующимся цветовым фильтрам RGB). Каждый узел матрицы может соответствовать математическому пикселю, значениями которого будут браться из прилегающей квадратной группы чередующихся компонент цвета и ступени, что обеспечит плавные тональные переходы и сохранит высокое разрешение (подобно схеме Байера совместное использование компонент). Есть и другие нестандартные конфигурации, например, шестиугольные, подобно пчелиным сотам, каждый узел и центр которых образует пиксель, а ступени располагаются внутри сот с гранями по середине сторон (как определять значимые компоненты пикселя не представляет труда). Приведение значений компонент к "единому знаменателю" также не представляет труда, путем применения множителей степени 2, т.е. сдвигом в сторону старших разрядов.
Теперь о реализации. Т.к. требования к динамическому диапазону каждого фотоэлемента падают (работают в поддиапазонах), то они могут быть сколь угодно малы. Это позволит использовать типовые техпроцессы, подобные изготовлению схем памяти. А также избавит от дорогих схем стабилизации (если максимальная экспозция будет не длиннее 1/25). Для снижения объема снимаемых с ПЗС матрицы за раз и обрабатываемых данных, целесообразно узлы предобработки разместитьна едином кристалле : схемы управления тактирования и "затворения" компонентов, считывание и отбраковка на компараторе и АЦП годных значений, сохранение в буферном динамическом ОЗУ нормированых АЛУ данных изображения, а также периферийные элементы термостатирования (Пельтье контур, схема управления с термодатчиком). Это решение будет бюджетным.
Патентный поиск в течение последних 5 лет не дал схожих решений. Есть также другие нестандартные решения в области фиксации фотоизбражений. В частности, срабатывание по общему счетчику (задаёт "дельта" значения освещенности компонента при достижении порога ИОП по схеме сравнения с затворв МДП-фототранзисторов, дающих данные о координатах фиксируемог о компонента матрицы. Для снижения конфликтов наложения моментов "фиксации и снижения издержек обработки, целесообразно разбить матрицу на множество (10×10, обрабатываются параллельно) подматриц, чтобы соседние компоненты физической матрицы относились к разным подматрицам. Данные о положении (адрес и номер матрицы соотв.цвета, а также значение с счетчика) дают исчерпывающую информацию об изображении.
За дополнительной информацией можно обращаться : dendobrenkok@mail.ru