Компания OPPO объявила о разработке собственного нейромодуля (NPU) для установки в будущие мобильные устройства. Новый 6-нм чипсет, который OPPO назвали MariSilicon X, включает в себя NPU, сигнальный процессор (ISP) и индивидуальную архитектуру памяти, которые работают вместе, чтобы улучшить возможности мобильной фотографии. Отметим, что таким образом компания поддерживает тренд, который задали другие игроки рынка. Следует напомнить, что ранее на собственные процессоры перешли Apple (A-серия в смартфонах, а также линейка процессоров Apple M1), Google со своим чипом Tensor, а также vivo, который также представил отдельный чипсет V1 для обработки изображения.
В OPPO утверждают, что NPU MariSilicon X, который является лишь небольшой частью всего чипсета, необходимого для питания смартфона, может обрабатывать до 18 триллионов операций в секунду (TOPS) int8 со скоростью 11,6 TOPS на ватт. Для сравнения, нейронный процессор A15 Bionic, используемый в устройствах iPhone 13 Pro и 13 Pro Max, достигает отметки в 15,8 TOPS.
В реальности это означает, что алгоритм шумоподавления с использованием искусственного интеллекта работает в 20 раз быстрее и при этом использует менее половины мощности смартфона, который работает на чипе Snapdragon 888.
MariSilicon X может обрабатывать до 8,5 ГБ в секунду при использовании общей памяти DDR и использует стандарт 20 bit HDR, то есть может запускать алгоритмы обработки прямо в RAW-формате. Компания утверждает, что применение алгоритмов на исходных данных изображения обеспечивает соотношение сигнал/шум (SNR) на уровне 8 дБ. NPU также использует то, что Oppo называет Dual Image Pipeline с “двойным суперсэмплированием исходных данных”. Это означает, что MariSilicon X работает с датчиками RGBW для захвата сигналов RGB и W отдельно, а затем объединяет данные вместе для получения “улучшения соотношения сигнал/шум на 8,6 дБ и улучшения качества текстур в 1,7 раза”.
Интересно, что сама OPPO также объявила о разработке датчика RGBW “следующего поколения” еще в августе на своем мероприятии “Future Imaging Technology Launch Event”. Компания заявляет, что такой сенсор может захватывать на 60% больше света, чем датчики предыдущего поколения, при этом обеспечивая снижение шума на 35% и говорит, что “разработала новый “алгоритм Quadra pixel binning”, предназначенный для уменьшения муара, который был проблемой в ранних поколениях ее датчиков RGBW.
Вместе MariSilicon X и датчик “Next Generation RGBW” могут стать мощной комбинацией в грядущих смартфонах Oppo с их 20-битными возможностями Raw, 4K Ultra HDR видео, 4K Night Video и другими.
Также в рамках мероприятия Inno World 2021 компания представила новую технологию портретной камеры, обеспечивающей двукратный оптический зум и эквивалентное фокусное расстояние 50 мм. Главной фишкой новой камеры является выдвижная конструкция за счет чего удалось установить сюда большой сенсор Sony Exmor IMX766 размером 1/1,56 дюйма с разрешением 50 Мп. При этом в сложенном состоянии камера работать не будет, хотя ранее многие считали, что производитель попытается сделать камеру, которая сможет работать в широкоугольном и зум-положении.
