Новая система компании NVidia, основанная на искусственном интеллекте, превращает любое видео в сверхвысококачественную замедленную съемку

Работа системы


Исследователи компании NVidia, занимающиеся искусственным интеллектом, продемонстрировали новую систему на базе нейронной сети, которая может превратить любое видео в сверхвысококачественную замедленную съемку путем глубокой перестройки его кадровой структуры. Отметим, что на свете уже существуют подобные системы, вставляющие между кадрами оригинального видео дополнительные искусственно синтезированные кадры, но такие системы обеспечивают более-менее приемлемое качество лишь при не очень большом "замедлении" видео, к примеру с 30 до 60 кадров в секунду.

Однако, когда требуется преобразовать видео с 30 кадрами в секунду в видео с 240 кадрами в секунду, между оригинальными кадрами необходимо вставить семь промежуточных кадров, и традиционные методы начинают "буксовать", что приводит к резкому увеличению времени обработки и снижению качества работы.

Для решения этой проблемы специалисты компании NVidia создали специализированную нейронную сеть и обучили ее при помощи 11 тысяч видеороликов, снятых со скоростью 240 кадров в секунду. После такого обучения нейронная сеть смогла самостоятельно анализировать произвольный входной видеопоток, рассчитывать и вставлять в него необходимее количество дополнительных кадров.

"Наш метод позволяет вставить в видео многократные промежуточные кадры, которые соблюдают пространственную и временную последовательность оригинального видео" - пишут исследователи, - "Такой подход существенно выигрывает по скорости и качеству и традиционных методов, которые способны вставить только один дополнительный кадр за один проход".

На приведенном ниже видеоролике продемонстрированы результаты работы новой системы, на вход которой подавались видеоролики, снятые со скоростью от 30 до 60 кадров в секунду, а на выходе появлялся видеопоток со скоростью 480 кадров в секунду. Более того, если на вход системы подается уже замедленное видео, снятое, к примеру, высокоскоростной видеокамерой, то система позволит замедлить его еще в несколько раз практически без потери исходного качества.

"Сейчас уже появились мобильные телефоны, способные снимать короткие видео со скоростью 240 кадров в секунду" - пишут представители компании NVidia, - "Такой подход еще нельзя назвать практичным, ведь он требует больших объемов памяти и вычислительных ресурсов при съемке и воспроизведении. Наша же система позволит получить превосходный по качеству результат при гораздо меньших затратах ресурсов и дефицитной энергии, черпаемой из аккумуляторных батарей, загрузив снятое видео и обработав его при помощи специализированного облачного сервиса".





Ключевые слова:
NVidia, Система, Искусственный, Интеллект, Нейронная, Сеть, Видео, Обработка, Скорость, Кадр, Замедленная, Съемка

Первоисточник

Другие новости по теме:
  • Видео из 100 тысяч кадров, являющееся результатом работы прогнозирующего ал ...
  • Компания Sony создала датчик для камер смартфонов, способный снимать со ско ...
  • Разработан видео-сенсор нового типа, способный обеспечить скорость съемки д ...
  • Разработана новая технология, позволяющая смартфонам воспроизводить видео с ...
  • Компания Sharp начинает выпуск смартфонов, способных проигрывать замедленно ...




  • 20 июня 2018 07:41
    #1 Написал: FomaNeverujuwij

    Публикаций: 0
    Комментариев: 4236
    Весьма и весьма неплохо, особенно хорошо видно качество работы на кадрах с машиной


    --------------------
        
    20 июня 2018 08:21
    #2 Написал: Казвертеночка

    Публикаций: 0
    Комментариев: 4
    Почему, когда движения на экране замедляются, это называют замедленной съёмкой?
    Я думаю, что замедленной является не съёмка, а показ.
    А съёмка - как раз наоборот, убыстрённая.
    Если я снимаю со скоростью 48 кадров в секунду, а показываю 24 кадра в секунду, то движения на экране будут восприниматься зрителем как вдвое более медленные, чем в реальности.
    Разве не так?
        
    20 июня 2018 10:41
    #3 Написал: FomaNeverujuwij

    Публикаций: 0
    Комментариев: 4236
    Цитата: Казвертеночка
    Почему, когда движения на экране замедляются, это называют замедленной съёмкой?

    Исторически сложилось такое название


    --------------------
        

    Информация

    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.