Как найти моменты для видео

Предыстория

Когда то я поспорил с моим приятелем по поводу одного фильма. Он утверждал, что главный герой говорит одно, я же считал, что он говорит совершенно обратное. В результате мы поспорили на N-ое количество алкогольно-прохладительных напитков и направились к общему другу, который являлся счастливым обладателем VHS-видеоплеера и у которого должен был быть этот самый фильм. Спор этот я проиграл, но, хорошо помню, что мы потратили много времени на поиск именно этой сцены.Годы спустя, уже в наши дни, другой мой приятель переписал мне видео с регистратора на флэшку со словами, что там мол, после какого то поворота налево в объектив устройства должен был попасть наш общий знакомый (неприятный тип), который находился в чуднОм состоянии и, предлагал мне, приколоться по этому поводу.Искать чью-то физиономию на видео длиной в пару часов, это, конечно, не то чтобы искать иголку в стогу сена, но, тоже, удовольствие на любителя. Похоже, что именно тогда в моей голове начала зреть идея и я задался вопросом: как просмотреть несколько часов видеозаписей, чтобы найти там что тебе надо и при этом не сильно ограничить себя во сне?

Основная идея

В результате размышлений я пришёл к выводу, что проще всего для поиска использовать табличное представление видео: в каждой ячейке свой временной интервал.

Табличное представление видео: что это за зверь и с чем его едят?

Примеры видео в табличном формате

Candies
Parking
Road

Примеры изображений в табличном формате

Candies
Parking
Road

Собственно, сам инструмент

После некоторых мучений мной была написана программа Table View Video Player.

Основные возможности программы

• Воспроизведение видео в табличном виде
• Возможность сохранять видео в табличном виде (для просмотра на планшете или просто на другом компьютере)
• Настраиваемое количество строк и столбцов в таблице, а также размеры результирующего кадра в пикселях
• Список файлов (для быстрого переключения между видео, а также если событие состоит из нескольких файлов, например VOB-файлы на DVD или записи с видео регистратора)
• Сохранение индексного изображения
• Пакетное создание видео и индексных изображений для всех файлов в списке
• Некоторые преобразования исходного видео при воспроизведении (вращение на 90, 180, 270 градусов, отражение по вертикали и по горизонтали)
• Возможность выбора конкретной области исходного видео
• Возможность воспроизведения исходного видео в обычном режиме с заданной позиции во встроенном проигрывателе или в другой программе

А что там под капотом?

Программа написана на C++, использовался MS Visual Studio 2015. В качестве видео библиотек можно было ограничиться FFMPEG, но я юзал OpenCV (планирую использовать другие возможности этой библиотеки).

Область применения данного инструмента

Попробую показать всё на примере. Я поставил видео камеру на кухне, а конфеты спрятал на кухонный навесной шкаф. Продолжительность видео 2 часа. А теперь посмотрите на картинку и скажите кто их съел: папа, мама или кто-то из детей? Даже если бы не было выделения нужных областей, всем всё стало бы ясно через 2 минуты просмотра, а может и раньше. Если кто-то хочет провести эксперимент, то вот ссылка на исходное видео, а вот ссылка на видео в табличном виде. Итак, основное предназначение программы —

узнать кто стырил конфеты

визуальный анализ видео.

Ещё немного практики

По праздникам я снимаю видео в детском саду, а также семейные юбилеи, свадьбы друзей и родственников. Pinnacle Studio — отличная программа для видеомонтажа! Говорят даже, что в ней с лёгкостью разбираются домохозяйки! Не понимаю правда, откуда у домохозяек столько упорства и свободного времени, чтобы тратить часы на многократные попытки проэкспортировать смонтированное видео в файл или на DVD-диск? Сам я пользуюсь этой программой начиная с 8-ой версии (сейчас использую лицензионную 17, а последняя выпущенная это 19 версия), но, несмотря на мой опыт, редко получается, чтобы в процессе редактирования или экспорта приложение не повисло. Но даже если экспорт завершился удачно (по мнению Pinnacle Studio), то при просмотре видео в VLC-плеере или проигрывателе Windows-Media иногда встречаются артефакты, вид которых смущает пользователей моей продукции.Что ж! Table View Video Player можно использовать и здесь! Запускаем программу, открываем наш файл и не концентрируясь на каком-либо фрагменте конкретно просто пытаемся почувствовать, где вдруг появляется фриз или какая то бяка.Типа этого.Пять минут на поиск артефактов видео — это не так уж и много!В таком случае заново открываем проект и пытаемся исправить проблему. И немного радуемся тому, что обнаружили это сами, а не «счастливые родители» во время семейного просмотра.

Шаг назад

Некоторое время назад я похвастался своей программой перед знакомым, на что получил замечание, что программа слишком сложна и лично он бы в ней никогда не разобрался. Мдя, а я то думал… Учтя конструктивную критику, я осознал, что, возможно, он прав. Так возникла необходимость создания более простой (Lite) версии.

Основные возможности программы

• Воспроизведение видео в табличном виде
• Изменяемые размеры таблицы
• Список файлов (для быстрого переключения между видео, а также если событие состоит из нескольких файлов, например VOB-файлы на DVD или записи с видео регистратора)
• Возможность воспроизведения исходного видео в обычном режиме с заданной позиции во встроенном проигрывателе.

По сравнению со стандартной версией убраны многие фичи, но зато программа стала простая как 2 копейки!

Теория поиска сцен и объектов

Существующие автоматические решения для поиска по видео архиву ресурсоёмки, кроме того не всегда можно чётко сформулировать что же Вы ищете. В этом случае использование ручного поиска (я имею в виду с помощью оператора), если ускорить его с помощью табличного воспроизведения, может оказаться весьма эффективным.

Сильные стороны

• Поиск некоторых событий в относительно статичной картинке. Например, запись посетителей в холле. Если их не так много, то найти нужного человека довольно легко. Здесь поиск можно ускорить в десятки раз!
• Поиск сцен, имеющих контрастную цветовую гамму или освещенность в динамичном видео. Например, есть фильм, снятый преимущественно в помещении, но имеется одна или несколько сцен снятых на улице в ясный солнечный день. Требуется их найти. В этом случае они очень быстро и очно находятся.

Слабые стороны

• Поиск конкретных людей в толпе. Например, в метро в час пик. Здесь табличное представление не поможет, лучше просматривать видео в обычном режиме (меньше вероятность пропустить искомое) или использовать специально заточенные автоматические средства.

Конкуренты или программы для поиска сцен и объектов

Прямых конкурентов я назвать не могу, но есть несколько программ, которые делают нечто похожее.

• Fast Video Indexer
• Vindex
• Video Cataloger

Список далеко не полон, часть ссылок никак не могу найти. Но был бы благодарен, за дополнение…

Планы на будущее

• Ускорение воспроизведения видео. Уже сейчас видео в разрешении VGA на современном компьютере можно смотреть в таблице 10×10 с частотой 20-30 FPS. Однако видео c современных фото и видео камер, экшен-камер и видео регистраторов имеет разрешение Full HD или даже выше и не за горами 4K. Поэтому без использования GPU не обойтись.
• Возможность сохранения найденной информации в виде изображений (стоп-кадр), аудио или видео фрагментов интересующих моментов для последующего использования. Например, для монтажа видеофильма (собираем смешные сюжеты с вечеринки) или для представления доказательств в суде (если камера видео наблюдения засняла момент кражи).

Выводы

• Инструментов для поиска сцен и объектов в видео на сегодняшний день для рядового пользователя практически не существует.
• Приложения Table View Video Player и Table View Video Player Lite пытаются хоть как восполнить эту нишу.
• Для определённых видов поиска сцен в видео метод табличного представления является очень эффективным.
• Несмотря на то, что для одновременного воспроизведения нескольких десятков видео потоков требуется высокая производительность компьютера, при невысоком разрешении (SD качество) исходного видео задача успешно решается современными ПК.

Все знают, как искать нужную информацию в Google, конкретные сообщения в мессенджерах и специфические публикации в Инстаграме. А как искать информацию в видео на YouTube? Логично, что единственный способ найти что-то, что вам нужно, — это отсмотреть весь ролик целиком. В принципе, некоторые авторы снабжают свои видео содержанием с тайм-кодами, которое немного упрощает задачу, но кардинальным образом не решает. А что, если я скажу вам, что в YouTube есть функция, позволяющая найти вполне конкретный фрагмент по упоминанию одного-двух слов или фраз?

Как подписаться на YouTube Premium со скидкой за 130 рублей

Функция, о которой я говорю, — это транскрипция. Алгоритмы YouTube самостоятельно распознают, о чём идёт речь в видео, и формируют из этого своё содержание. Правда, оно больше техническое, чем пользовательское. Потому что, во-первых, не включает в себя обобщённых названий разделов ролика, а, во-вторых, строка перемотки при этом не делится на подразделы для удобного переключения. Однако переключение по темам, обсуждение которых ведётся в видео, транскрипция всё равно предусматривает, хоть и несколько иначе, чем мы привыкли.

Как найти нужный момент в видео

Допустим, я смотрю ролик журналиста AndroidInsider.ru Артёма Сутягина про фиолетовый iPhone 12, и мне нужно понять, что говорит Тим Кук про этот смартфон. Вот как выглядит список моих действий в этом случае:

• Откройте YouTube и запустите нужное видео;
• Под роликом нажмите на кнопку из трёх точек;

• Выберите «Посмотреть расшифровку видео»;
• Нажмите CMD+F (Ctrl+F), чтобы открыть поиск;

• Введите ключевое слово (у меня это «Тим Кук»);
• Найдите в блоке с транскрипцией нужный раздел.

Заблокируют ли YouTube в России? Что говорят в Google

Вообще, на практике всё устроено намного проще, чем кажется из инструкции. По факту вам нужно совершить всего два действия: открыть блок с транскрипцией и найти фрагмент по тексту, который произносит ведущий. Никаких проблем с этим нет. Несмотря на то что распознавание производится машинным образом, в большинстве своём YouTube не допускает ошибок. Поэтому вы без проблем сможете отыскать тот фрагмент ролика, где говорят о том, что вам интересно.

Транскрипция в видео на YouTube

Особенно удобна транскрипция в длинных роликах. Даже если он будет иметь содержание, нет никакой гарантии, что вы найдёте в нём то, что нужно. Ведь авторы имеют обыкновение называть разделы видео максимально коротко и неинформативно. Так что транскрипция может быть единственным способом найти то, о чём реально говорится в ролике. Главное, не пытаться склонять слова, по которым вы ищете. Лучше вообще использовать один корень или не дописывать их до конца для более эффективного поиска.

YouTube тестирует функцию автоматического перевода на разные языки

К сожалению, единственный способ воспользоваться функцией транскрипции – задействовать веб-версию YouTube, а в приложении её нет. Неважно, с какого устройства вы откроете сайт видеохостинга и каким браузером для этого воспользуетесь. Это может быть и компьютер с Google Chrome, и iPhone с Safari. Просто открывайте youtube.com и следуйте положениям инструкции, представленной выше. Результат – я больше чем уверен в этом – вас не разочарует.