Специалисты компании Adobe разработали нейронную сеть, которая определяет, подвергалась ли редактированию фотография, точнее, отдельные её участки. Технология описана в недавно опубликованной статье [PDF].
Сверху – исходный снимок, отредактированный, результирующая маска.
Слева – техники редактирования (сращивание, перемещение, удаление).
В статье отмечается, что человеку зачастую сложно заметить изменённые фрагменты изображения. Тем не менее, различия между оригинальным изображениям и отредактированными элементами обычно присутствует, несмотря на все попытки ретушёра завуалировать их. Искусственный интеллект можно натренировать на распознавание таких различий.
Разница между исходной фотографией и изменёнными участками может заключаться в различном рисунке шума, уровнях контраста и так далее. Ручное редактирование может замаскировать эти нюансы и сделать их практически неразличимыми на глаз. Однако нейронная сеть, разработанная Adobe, не только находит чужеродные участки, но и определяет применявшуюся технику редактирования.
В системе задействована двухпотоковая сеть Faster R-CNN со сквозным обучением распознаванию отредактированных изображений. Первый поток, называемый RGB-поток, ищет различные артефакты, в том числе разницу в контрасте и изменённые границы объектов. Второй, шумовой поток, ищет нарушения целостности картины цифровых шумов на изображении и распознаёт таким образом отредактированные участки.
В статье ученые, в частности, пишут:
«Далее мы объединяем результаты работы двух потоков с помощью билинейного слоя, совмещаем пространственные совпадения двух подходов в единое целое. Эксперименты на базах данных с четырьмя стандартными техниками манипуляции изображением показали, что наш двухпотоковый алгоритм превосходит каждый из составляющих потоков, а также достигает выдающихся результатов по сравнению с альтернативными методами в части невосприимчивости к изменению размеров и компрессии изображения».
Разработанная технология может оказаться весьма полезной для проверки подлинности изображений – в криминалистике, фотожурналистике, на фотоконкурсах и для иных подобных применений.
