Как проверить качество видеоаналитики на пилоте
Качество видеоаналитики проверяют на реальных записях с заранее размеченными событиями. Для предприятия важны обнаружение нужных эпизодов, частота лишних уведомлений, ошибка времени и задержка выдачи результата. Набор показателей зависит от того, какое решение поддерживает система.
Задайте единицу проверки
Для контроля взвешивания единицей может быть операция. Для простоя — временной интервал. Для очереди — состояние зоны и его длительность. Сначала договоритесь, когда событие начинается, заканчивается и считается найденным.
Без такого определения две стороны могут по-разному оценить один фрагмент. Например, уведомление через несколько секунд после начала простоя может подходить одной задаче и опаздывать для другой.
Разделяйте ошибки
Пропуск означает, что нужное событие произошло, а система его не показала. Лишний сигнал появляется, когда уведомление не соответствует согласованному правилу. У каждой ошибки разная цена для бизнеса.
Службе качества может быть важнее увидеть редкий значимый эпизод, а управляющему зала — получать небольшое число понятных уведомлений. Приёмку обсуждают с теми, кто будет разбирать события, и подбирают допустимый баланс.
Проверяйте длительности и повторные события
Если система измеряет время, сравнивайте начало и конец интервала с ручной разметкой. Ошибка может накапливаться при кратких перекрытиях и повторном появлении объекта. Один длинный простой также не должен создавать поток одинаковых карточек без полезной причины.
В набор проверки включают обычную работу, смену освещения, взаимодействие нескольких людей и временную потерю потока. Он должен отличаться от записей, на которых настраивали сценарий.
Оцените работу пользователя
Технически найденное событие ещё нужно открыть и понять. Замерьте время проверки карточки, достаточность видеофрагмента и понятность формулировки. Если ответственному приходится искать контекст в нескольких системах, процесс требует доработки.
В «Попался» согласуем критерии до начала пилота и сверяем результат с ними. По итогам предприятие получает основание для решения о внедрении, а команда разработки — конкретный перечень того, что нужно улучшить.
