Как оценивать ложные тревоги видеоаналитики: точность, полнота и настройка сценариев

Камера присылает десятки тревог каждую ночь: дождь, тени, кошки, ветви деревьев. Служба охраны перестаёт реагировать на уведомления — и в итоге система, формально работающая, не помогает предотвращать инциденты.

Но снижать количество уведомлений любой ценой опасно. Можно так повысить порог чувствительности, что ложные тревоги почти исчезнут, а вместе с ними исчезнут и сообщения о реальных проникновениях.

Чтобы оценить качество видеоаналитики, недостаточно посчитать ложные срабатывания. Нужно учитывать точность тревог (precision), полноту обнаружения (recall), число пропущенных событий и условия, при которых система проходила испытания.

Короткий ответ

Качество видеоаналитики оценивают по подтверждённым событиям: сколько настоящих тревог обнаружено, сколько событий пропущено и сколько уведомлений оказались ложными. Precision показывает долю правильных среди выданных тревог; recall — долю обнаруженных среди всех реальных событий. Настройку зон, классов объектов и порогов проверяют повторными испытаниями днём и ночью.

В статье разберём

1. Чем ложное срабатывание отличается от пропущенного события.
2. Как считать precision и recall.
3. Почему общая accuracy может вводить в заблуждение.
4. Как подготовить эталонный набор событий.
5. Почему ветер, свет и животные создают помехи.
6. Как сравнивать правила IVS, tripwire, intrusion и SMD.
7. Как оформить акт приёмочных испытаний и повторную проверку.

Для кого эта статья

Для служб охраны, инженеров эксплуатации, монтажников и проектировщиков видеонаблюдения, собственников складов, парковок, территорий предприятий и частных объектов. Особенно полезна при жалобах на ночные уведомления или на случаи, когда камера «никого не увидела».

Четыре исхода каждого тестового события

Для ясной оценки заранее задают, что считается «целевым» событием. Например: человек пересёк виртуальную линию со стороны улицы внутрь охраняемой территории. Машина на дороге за забором, кошка и человек, проходящий в разрешённом направлении, не являются целями этого конкретного правила.

Затем классифицируют результаты:

Важно определить единицу учёта. Для пересечения линии ею может быть один проход. Для тревоги о присутствии — заранее согласованный эпизод. Нельзя одну и ту же последовательность из десяти уведомлений произвольно считать то одним, то десятью событиями.

Precision: какую долю тревог действительно нужно было показывать

Формула:

Precision = TP / (TP + FP).

Например, за испытание система прислала 100 тревог. Из них 70 соответствовали целевым событиям, 30 были ложными. Precision = 70 / 100 = 70%.

Это означает: 70% выданных тревог имели подтверждённую цель по заранее утверждённым правилам проверки.

Если охрана получает 1000 уведомлений в сутки, низкая точность может создавать огромную нагрузку. Но одно высокое значение precision не доказывает надёжность охраны.

Recall: какую долю реальных событий обнаружила система

Формула:

Recall = TP / (TP + FN).

Предположим, испытатели выполнили 80 целевых проходов. Камера обнаружила 70, а 10 пропустила. Recall = 70 / 80 = 87,5%.

То есть система обнаружила 87,5% подтверждённых целевых событий в данном испытании. Нельзя выдавать эти числа за характеристики конкретной модели: это исключительно иллюстративный расчёт.

Для охраны периметра пропуски могут иметь более серьёзные последствия, чем лишние уведомления, поэтому оценивают оба показателя одновременно.

Почему accuracy может обмануть

Общая accuracy = (TP + TN)/(TP + FP + FN + TN).

На спокойной площадке могут проходить тысячи промежутков времени без целевого события. Система, не выдающая никаких тревог, покажет высокую «правильность» на таких промежутках, даже если постоянно пропускает проникновения.

Поэтому при редких событиях лучше отдельно сообщать precision, recall, FP в расчёте на время/камеру, FN по тестовым проходам и условия испытаний. TN можно считать только при чётко заданном способе разбиения времени или событий.

F1-score и почему он не заменяет протокол

F1 = 2 × Precision × Recall / (Precision + Recall), если знаменатель положителен.

Метрика позволяет кратко свести точность и полноту, но одна цифра скрывает различие последствий FP и FN. Например, на объекте с постоянным постом охраны ложная тревога создаёт нагрузку, а пропущенное проникновение может оказаться критичным.

Поэтому целевые уровни precision/recall и допустимых тревог назначают исходя из сценария и риска, а не берут универсальную цифру из рекламного буклета.

Как правильно выбрать сценарий анализа

Правило «обнаружить движение» и правило «человек пересёк линию в запрещённом направлении» имеют разную логику.

Обычный motion detection фиксирует изменения изображения и может реагировать на движение листвы, тени и свет.

SMD использует интеллектуальную классификацию цели, например человек/автомобиль. Dahua описывает SMD 4.0 как механизм фильтрации нерелевантных целей, включая мелких и крупных животных. Но конкретное поведение зависит от модели, условий и конфигурации. Источник: Dahua SMD 4.0.

Tripwire задаёт линию и при поддержке модели — направление пересечения и целевые классы.

Intrusion анализирует появление или нахождение цели в заданной области; параметры могут включать время задержки или минимальный размер цели в зависимости от модели.

Управление ложными тревогами начинается с выбора правильного типа правила. Нельзя исправить неверно выбранный сценарий одной настройкой «чувствительность».

Почему SMD 4.0 не означает «ноль ложных тревог»

Dahua действительно заявляет снижение ложных событий от животных благодаря алгоритмам классификации. Но это описание продуктовой технологии, а не подтверждение точности конкретной камеры, установленной на конкретном складе.

Результаты производителя зависят от методики испытаний. Даже если в каталоге есть процент обнаружения или false alarm rate, нельзя принимать эти проценты без определения знаменателя: от числа тестовых животных, событий движения, часов наблюдения или всех тревог?

В акте приёмки должны фигурировать собственные условия испытаний и фактические результаты, а рекламные показатели остаются справочной информацией. Источник: Dahua WizSense / SMD 4.0.

Семь этапов проверки аналитики на объекте

1. Описать целевое событие

Фраза «камера должна видеть людей» недостаточна. Нужны конкретные условия: кто, откуда, куда, в какое время и какая реакция требуется. Пример: проход человека через служебную калитку после закрытия объекта.

2. Зафиксировать геометрию сцены

Сохраните высоту установки, угол обзора, расстояния, линию/полигон, зоны исключения и ожидаемые маршруты. Камера может хорошо обнаруживать крупного человека рядом с объективом и пропускать маленькую цель на дальнем краю.

3. Задокументировать конфигурацию

Запишите модель, прошивку, режим аналитики, чувствительность, целевые классы, фильтры размера, время удержания/длительности, направление, расписание и реакцию NVR. Без исходных настроек повторная проверка не воспроизводима.

4. Подготовить набор положительных и отрицательных испытаний

Положительные: реальный человек проходит нужную границу, автомобиль заезжает в запрещённую зону, цель движется по краю сцены. Отрицательные: разрешённый проход, животное, движение деревьев, тени, фары, дождь и другие реальные помехи.

Приоритет — безопасность. Не нужно имитировать опасные проникновения или выходить на проезжую часть ради проверки камеры.

5. Проверить день, ночь и сложные условия

Отдельно записывайте солнечный день, сумерки, ночь с ИК-подсветкой, свет фонарей, встречные фары, дождь/снег, ветер и смену освещения — по мере наличия этих условий. Не заявляйте, что система прошла зимние испытания, если её проверили только в ясную осеннюю ночь.

6. Разметить события и посчитать показатели

Для каждой строки — исходная запись, отметка «целевое/нецелевое», наличие тревоги, корректность классификации, время и примечание. Затем рассчитываются TP, FP, FN и precision/recall. Желательно фиксировать также задержку между событием и уведомлением.

7. Изменить один параметр и повторить тест

Сначала меняют геометрию зоны или выбранный сценарий, затем фильтры и пороги. После каждой значимой настройки проводят те же тесты, иначе улучшение нельзя доказать.

Таблица протокола: пример, не результаты RS-CAM

• TN в такой таблице — заранее заданное отрицательное испытание, а не все минуты без тревог.

FP в сутки — полезная эксплуатационная метрика

При регулярной работе полезно считать ложные тревоги на камеру за сутки или за 100 часов наблюдения. Например, сравните количество FP на одном и том же участке до и после корректировки зоны.

Но показатель нельзя интерпретировать без контекста. В тихую ночь не было ветра — ложных тревог мало. На следующий день гроза, движущиеся тени и высокая активность людей — нагрузка другая. Поэтому отчёт должен сохранять погодные и эксплуатационные условия.

Типовые причины ложных тревог

Почему «снизьте чувствительность» — неполная рекомендация

Снижение чувствительности может сократить FP, но увеличить FN. Например, система перестанет реагировать на дождь и одновременно пропустит человека на дальней границе.

Поэтому порядок настройки лучше такой: проверить геометрию и ракурс; выбрать правильную задачу и класс объекта; исключить явно нерелевантные зоны; проверить размер цели и качество ночного изображения; только затем изменять порог и повторять тест.

При этом настройки из одной камеры нельзя автоматически переносить на другую: реализация чувствительности и фильтров зависит от устройства и прошивки.

Точность аналитики зависит от детализации

Даже хороший алгоритм не может одинаково надёжно классифицировать объект размером в несколько пикселей и крупную цель в центре кадра. На результат влияют разрешение, объектив, фокус, дистанция, свет, шум, выдержка и перекрытия.

Поэтому при большом числе FN сначала проверьте, достаточно ли пикселей занимает человек в наиболее дальней критичной точке. Если нет — изменение программных порогов может не решить физический недостаток изображения.

Как обнаруживать пропущенные события

Главная сложность FN: система не присылает уведомление о том, что что-то пропустила. Поэтому одних журналов тревог недостаточно.

Нужны контрольные проходы с независимой разметкой по видео либо иной эталонной регистрации. При эксплуатации можно выборочно пересматривать архив известных событий (например, входы/выходы), но метод проверки должен быть согласован заранее.

Нельзя рассчитывать recall только по журналу самой камеры: он содержит обнаруженные события, а пропущенные в нём отсутствуют.

Как задавать целевые KPI

Универсального KPI для любых камер нет. Приоритет зависит от задачи и риска.

Для информирования владельца дома может быть приемлем иной баланс FP/FN, чем для контроля проникновения на опасный промышленный объект.

В техническом задании полезно определить:

• какое событие обязательно обнаруживать;
• допустимые FN на согласованном наборе проверок;
• допустимое число FP за выбранный период;
• время доставки тревоги;
• обязательные дневные, ночные и погодные тесты;
• порядок повторной приёмки после изменений.

Как связать аналитику с работой охраны

Нужно разделять обнаружение цели, формирование события и реакцию человека. Камера может правильно обнаружить человека, но уведомление не дойти до оператора из-за отключённого расписания, правил NVR или отсутствия сети.

Поэтому тест должен проходить весь маршрут: действие → камера → NVR/VMS → уведомление → подтверждение оператора. Для охранных сценариев имеет смысл фиксировать время каждого этапа.

Связанные категории товаров

• Камеры видеонаблюдения Dahua — модели с ИИ-аналитикой, WizColor и ИК-подсветкой.
• IP-видеокамеры — уличные и внутренние сетевые камеры.
• IP-видеорегистраторы — сетевые регистраторы Dahua и Hikvision на 4–64 канала.
• Установка видеонаблюдения — проектирование, монтаж и пусконаладка.

Главный вывод

Ложные тревоги видеоаналитики оцениваются только вместе с пропущенными событиями. Высокий precision означает, что большинство выданных тревог уместны; высокий recall — что система находит большинство реальных целей. Приёмку строят на заранее определённых событиях, сохранённых видеозаписях, разметке TP/FP/FN и повторяемых тестах.

Вопросы и ответы (FAQ)