Какие риски есть у OpenCV: data leakage, неверная оценка качества, memory usage, latency, cost, drift или observability?

Обзор рисков

OpenCV — низкоуровневая библиотека без встроенных механизмов управления экспериментами, мониторинга и контроля качества данных. Каждый из перечисленных рисков требует явного архитектурного решения.

Data Leakage

Утечка данных в CV-пайплайне возникает при аугментации до разбивки на train/val или при нормализации по всему датасету:

import cv2
import numpy as np
from sklearn.model_selection import train_test_split

# НЕПРАВИЛЬНО — считаем mean/std по всему датасету, включая val
all_images = [cv2.imread(p) for p in all_paths]
mean = np.mean(all_images, axis=(0, 1, 2))  # leakage!

# ПРАВИЛЬНО — считаем только по train split
train_paths, val_paths = train_test_split(all_paths, test_size=0.2, random_state=42)
train_images = [cv2.imread(p) for p in train_paths]
train_mean = np.mean([img.mean(axis=(0,1)) for img in train_images], axis=0)
train_std  = np.std([img.mean(axis=(0,1))  for img in train_images], axis=0)

Неверная оценка качества

• Использование одной метрики (accuracy) при сильном дисбалансе классов — используйте F1, mAP, ROC-AUC.
• Оценка детектора по IoU=0.5 скрывает плохую локализацию; COCO mAP@[0.5:0.95] честнее.
• Тест на данных из того же распределения, что и train: всегда держите hold-out set с данными с новых камер/условий.

Memory Usage

OpenCV читает изображение в память целиком; при обработке видео кадры накапливаются:

import cv2

cap = cv2.VideoCapture("big_video.mp4")

while True:
    ret, frame = cap.read()  # HxWx3 uint8 — ~6 MB для 1080p
    if not ret:
        break
    # Обрабатываем и явно освобождаем
    processed = process(frame)
    del frame  # явный del помогает GC при большом pipeline

cap.release()

Для длинных видео используйте генераторы и избегайте накопления списка кадров в памяти. При параллельной обработке через multiprocessing установите лимит через ulimit -v или cgroups в Docker (mem_limit: 4g).

Latency

• Декодирование JPEG на CPU занимает 5–15 мс на кадр; использование turbojpeg (pip install PyTurboJPEG) ускоряет в 2–3×.
• Цветовое преобразование BGR→RGB добавляет ~1 мс; если модель принимает BGR — пропускайте шаг.
• Resize через cv2.INTER_LINEAR быстрее cv2.INTER_CUBIC при незначительной потере качества.

Cost

Неоптимальная обработка видео на GPU-инстансах (EC2 g4dn) стоит дорого. Профилируйте через cProfile или py-spy и убедитесь, что узкое место — GPU inference, а не CPU-препроцессинг OpenCV.

Drift

Drift в CV-системах происходит при смене камеры, сезонном изменении освещения, обновлении прошивки камеры. Для обнаружения:

import cv2
import numpy as np

def compute_histogram_distance(img1: np.ndarray, img2: np.ndarray) -> float:
    """Сравнивает гистограммы двух кадров для обнаружения drift."""
    h1 = cv2.calcHist([img1], [0, 1, 2], None, [8, 8, 8], [0,256,0,256,0,256])
    h2 = cv2.calcHist([img2], [0, 1, 2], None, [8, 8, 8], [0,256,0,256,0,256])
    cv2.normalize(h1, h1)
    cv2.normalize(h2, h2)
    return cv2.compareHist(h1, h2, cv2.HISTCMP_BHATTACHARYYA)

# Порог 0.3 — эмпирически подбирается под конкретную сцену
drift_score = compute_histogram_distance(reference_frame, current_frame)
if drift_score > 0.3:
    alert("Visual drift detected")

Observability

OpenCV не логирует метрики обработки. Добавляйте instrumentation явно через Prometheus + Grafana:

from prometheus_client import Counter, Histogram
import time

frames_processed = Counter("cv_frames_processed_total", "Total frames processed")
processing_time  = Histogram("cv_frame_processing_seconds", "Time per frame")

with processing_time.time():
    result = cv2.Canny(frame, 100, 200)
frames_processed.inc()

Подводные камни

• Аугментации типа cv2.flip применённые к mask должны применяться с теми же параметрами, что и к image — рассинхронизация даёт неверную разметку.
• cv2.VideoCapture.read() возвращает False при потере кадра в RTSP-потоке, но не бросает исключение — нужно явно проверять ret.
• При сохранении через cv2.VideoWriter не совпадающий FPS между VideoCapture и VideoWriter приводит к ускоренному/замедленному видео.
• Memory leak в цикле при использовании cv2.imshow без cv2.destroyAllWindows() в headless-среде вызывает segfault.
• Drift от ISP-обработки камеры (auto white balance, auto exposure) не виден по пиксельным метрикам — нужно логировать гистограммы яркости.
• Нормализация изображений с float32 overflow: значения >1.0 после нормализации обрезаются при конвертации обратно в uint8 без clip.
• Отсутствие трассировки запросов через pipeline делает невозможным постфактум анализ ошибочных предсказаний — добавляйте frame_id в логи с самого начала.

• Говорить только о запуске OpenCV, но не об эксплуатации
• Не упоминать observability, обновления, безопасность и rollback
• Описывать риски абстрактно, без способов их снижать

• Видит production-риски OpenCV
• Говорит про monitoring, rollout, rollback и безопасность
• Умеет ранжировать риски по вероятности и влиянию