Специалисты компании NVIDIA разработали алгоритм, позволяющий превращать видео, записанное со стандартной частотой кадров (30, 25 или 24), в высококачественное замедленное видео, которые выглядит не покадрово-дёрганым, а именно так, как будто было снято в режиме скоростной съёмки с большим количеством кадров в секунду. Посмотрите полутораминутный видеоролик, демонстрирующий возможности нового алгоритма и сравнивающий его с простым замедлением «обычного видео».
«В вашей жизни бывает немало важных моментов, которые вы и хотели бы записать высокоскоростной камерой, чтобы посмотреть замедленно и рассмотреть нюансы – первые шаги вашего ребёнка, сложный трюк на скейте, хватающую мяч собаку», рассказывают разработчики о своём изобретении. «Хотя многие камеры и даже смартфоны могут вести скоростную съёмку, снимать в таком режиме всё подряд – непрактично, поскольку расходуется много памяти и энергии, что критично для большинства устройств».
Отсюда и возникла идея, чтобы люди, снимая обычное видео, при желании могли «замедлить» отснятые моменты, хотя технических предпосылок для этого, казалось бы, не было.
Разработчики натренировали свою систему искусственного интеллекта, «скормив» ей 11 тысяч видеороликов о спорте и повседневной жизни, снятых при 240 кадрах в секунду (в 8-10 раз быстрее обычной съёмки). Огромное количество переработанной информации позволяет теперь системе предсказывать развитие событий и просчитывать промежуточные кадры между «настоящими».
Чтобы превратить обычное видео в замедленное, алгоритм сначала определяет, сколько «пропущенных кадров» нужно синтезировать, чтобы получить требуемую частоту кадров.
«Наш метод может генерировать множественные промежуточные кадры с пространственной и временной когерентностью», заявляют разработчики. «Результаты нашего многокадрового подхода стабильно превосходят даже лучшие однокадровые методы».
«С помощью нашего метода можно повседневные видеоролики, на которых запечатлены ценные моменты, замедлить и получить качество, как в ваших любимых кинематографических сценах, добавив интригу, акценты и предвкушение», пишет NVIDIA.
Конечно, алгоритм не всесилен – если произошло какое-то очень короткое событие, попавшее между кадрами исходного видео, то алгоритм его не восстановит из ничего. С другой стороны, любопытно, что, по-видимому, ничто не мешает применить к полученному замедленному видео алгоритмы повторно, а то и не один раз – получая всё более сильное замедление.
