Fiabilité sans vérité terrain : évaluer un tracker quand personne n'a annoté la scène

Un réseau de caméras de trafic filme jour et nuit, et personne n'annote ce qu'il filme. Or le MOTA, la précision et le rappel exigent une vérité terrain. La fiabilité sans vérité terrain consiste à qualifier chaque prédiction du tracker à partir du flux, au moment où elle sert.

Le problème : un tracker ne se mesure qu'avec des labels

Prenons, à titre d'exemple, un carrefour équipé de quatre caméras. Le système de suivi multi-objets attribue un identifiant à chaque piéton, vélo et véhicule, puis le suit d'image en image. Les alertes du centre de supervision reposent sur ces pistes. L'exploitant a une question simple : ce suivi est-il bon en ce moment ? Les métriques classiques ne savent pas y répondre, et la raison est écrite dans leur définition.

Ce que mesure le MOTA

Le MOTA (Multiple Object Tracking Accuracy) désigne la métrique d'exactitude du suivi multi-objets définie dans le cadre CLEAR MOT (Bernardin et Stiefelhagen, 2008). Il compte trois types d'erreurs sur toute une séquence :

• les faux négatifs : des objets présents dans la scène que le tracker n'a pas suivis ;

• les faux positifs : des pistes qui ne correspondent à aucun objet réel ;

• les changements d'identité : des objets qui changent d'identifiant en cours de route.

Le calcul additionne ces erreurs image par image, puis divise le total par le nombre d'objets présents dans la vérité terrain. Le MOTA vaut 1 moins ce rapport.

Un changement d'identité désigne le cas où un même objet passe d'un identifiant à un autre au fil de la séquence. Ce que coûte un identity switch en ADAS et en vidéosurveillance fait l'objet d'un article dédié.

Regardez la formule de près. Le dénominateur est le nombre d'objets annotés. Le numérateur dépend lui aussi de l'annotation, puisqu'un faux négatif est un objet annoté que le tracker a manqué. Par construction, sans annotation, le MOTA n'a pas de dénominateur. Nous le déduisons de la formule elle-même : aucune étude n'est nécessaire pour le voir.

La précision et le rappel suivent la même logique. La précision rapporte les détections correctes à l'ensemble des détections produites. Le rappel (recall) rapporte les objets retrouvés à l'ensemble des objets annotés. Pour savoir qu'une détection est correcte, il faut savoir ce qui se trouvait réellement dans la scène.

Huang et al. (2020) le rappellent pour CLEAR MOT et pour IDF1 : ces métriques exigent des annotations de vérité terrain. Le réglage d'un tracker reste donc cantonné aux données d'entraînement, et ses paramètres peuvent se révéler sous-optimaux sur les scènes de test.

Même avec une vérité terrain, ce qu'il faut mesurer fait encore débat. D'après Luiten et al. (2020), les métriques historiques de suivi surpondèrent soit la détection, soit l'association des détections entre images. Leur métrique HOTA cherche à équilibrer détection, association et localisation. Le débat porte sur la bonne façon de compter les erreurs. Personne, dans ce débat, ne propose de se passer de la référence.

Pourquoi le terrain n'a pas de labels

La vérité terrain désigne l'annotation humaine de ce qui se trouve réellement dans chaque image. Pour le suivi, elle est exigeante. Le benchmark MOTChallenge fournit, pour chaque objet et à chaque image, une boîte, une identité et un niveau de visibilité (Dendorfer et al., 2020). La version MOT17 reprend les séquences de MOT16 avec des labels plus précis, et les versions suivantes augmentent nettement le nombre de boîtes annotées.

Une caméra à 25 images par seconde produit 1 500 images par minute. Chacune devrait porter toutes ses boîtes et toutes ses identités. Sur un flux continu, l'annotation ne suit pas. Elle arrive après coup, sur un échantillon, ou jamais.

En exploitation, la situation se complique encore. Un tracker validé sur un jeu annoté découvre de nouveaux carrefours, de nouveaux angles de caméra, la pluie, la nuit. Ses performances peuvent glisser sans que personne ne le mesure, faute de labels sur ces scènes. On retrouve ici la dérive des modèles en production, appliquée au suivi.

Le MOTA, la précision et le rappel sont donc des mesures d'évaluation. Ils disent ce que valait le suivi sur une séquence annotée. Sur la piste que le système aval s'apprête à utiliser maintenant, ils ne disent rien.

La recherche travaille sur l'évaluation sans référence, mais le champ reste jeune. Huang et al. (2020) proposent un score d'auto-évaluation fondé sur les propriétés internes des pistes, comme leur nombre et leur longueur moyenne. Les auteurs listent eux-mêmes les limites de leur méthode. Et pour la valider, ils la comparent à l'IDF1, une métrique calculée avec une vérité terrain. Même une méthode conçue pour se passer de référence a besoin d'une référence pour faire ses preuves.

Estimer la fiabilité d'une piste sans vérité terrain

Notre réponse part de cette séparation entre exploitation et preuve. En exploitation, le tracker ne consomme aucune vérité terrain. Pour la preuve, toute métrique d'évaluation se calcule contre une référence. Les deux moments sont différents, et ils appellent des outils différents.

Ce qui est mesuré

TrustalAI V-Tracking assure le suivi temps réel d'objets pour la computer vision. Il est robuste, déterministe et learning-free. Il n'a pas besoin de vérité terrain pour fonctionner : il s'appuie sur le flux de détections existant, sans réentraînement (TrustalAI Client Deck V10, 2026). Nous avons expliqué ailleurs ce qu'implique le tracking learning-free. Ici, retenez une chose : aucune annotation du site n'est requise pour le faire tourner.

V-Tracking estime la fiabilité sans vérité terrain disponible, ce qui est la condition réelle d'un flux de production. Cette estimation relève de la fiabilité par prédiction. La fiabilité par prédiction désigne une mesure calculée pour chaque prédiction individuelle, au moment où elle est produite et avant la décision, par une couche de fiabilité indépendante du modèle. Pour un exploitant, cela revient à savoir quelle confiance accorder à chaque piste, à l'instant où le système aval s'en sert.

Le produit se branche en plug-and-play sur le modèle de détection en place. Ce modèle reste une boîte noire (black-box) : V-Tracking travaille sur ses sorties, sans accès à votre propriété intellectuelle.

Attention à ne pas confondre avec le score de confiance. Le score de confiance est le nombre que le détecteur attache lui-même à chaque boîte. Les métriques de fiabilité, elles, viennent d'une couche placée à côté du modèle.

Déterministe : un même flux, un même résultat

Déterministe signifie qu'un même flux produit toujours le même résultat. Une décision de suivi peut donc être rejouée à l'identique, puis auditée. Supposons qu'une alerte parte à tort sur un carrefour. L'équipe reprend la vidéo, relance le traitement et retrouve exactement les mêmes pistes, ce qui lui permet de chercher la cause au bon endroit.

Ce n'est pas acquis pour tous les pipelines de deep learning. La documentation de PyTorch est explicite :
« Completely reproducible results are not guaranteed across PyTorch releases, individual commits, or different platforms. » En français : des résultats parfaitement reproductibles ne sont garantis ni d'une version de PyTorch à l'autre, ni d'un commit à l'autre, ni entre plateformes (PyTorch, 2026).

La même note précise que les résultats peuvent différer entre CPU et GPU, même avec la même graine aléatoire. Certains algorithmes cuDNN et certaines opérations CUDA ne sont pas déterministes. On peut forcer des variantes déterministes quand elles existent, mais elles sont souvent plus lentes. Un modèle de deep learning n'est pas aléatoire pour autant. Sa reproductibilité se règle et se paie en performance, et elle n'est pas garantie d'une plateforme à l'autre.

Pour un intégrateur système tenu par une obligation de résultat, cette propriété pèse lourd. Rejouer le même flux et retrouver la même sortie est le point de départ de toute analyse d'incident.

Résultats du PoC ITS

Voici en détail les résultats du PoC ITS, mené dans le domaine des systèmes de transport intelligents (Intelligent Transport Systems). Il a porté sur 100 vidéos d'une minute de trafic. La fiabilité y a été estimée sans vérité terrain disponible en exploitation, comme sur un vrai réseau de caméras (TrustalAI Client Deck V10, 2026).

Résultats du PoC ITS : MOTA de 72 % contre 42 % pour le baseline, précision de 0,91 contre 0,65, rappel de 0,83 contre 0,51 (TrustalAI Client Deck V10, 2026).

Lus simplement, ces chiffres disent deux choses. Côté rappel, le baseline retrouvait à peu près un objet sur deux, et V-Tracking en retrouve plus de quatre sur cinq. Côté précision, environ une détection sur trois était fausse avec le baseline, contre moins d'une sur dix avec V-Tracking.

Ces trois indicateurs restent des mesures d'évaluation. Comme le MOTA, la précision et le rappel se calculent par définition contre une référence. Ils servent à prouver ce que vaut le suivi. En exploitation, c'est la fiabilité par prédiction qui sert à décider.

Les chiffres qui suivent ne viennent pas du PoC ITS. Ce sont les métriques de la carte produit.

Sur sa carte produit, TrustalAI V-Tracking affiche x2.1 objets suivis, -96,7 % de fausses détections et -46 % d'identity switches (TrustalAI Client Deck V10, 2026).

All results measured in real operating conditions against each product's baseline model. En français : tous les résultats sont mesurés en conditions opérationnelles réelles, face au modèle baseline de chaque produit.

Reste la preuve chez vous. Un PoC TrustalAI est réussi quand votre équipe reproduit nos chiffres de précision sur vos propres données opérationnelles, avec votre propre vérité terrain (TrustalAI Client Deck V10, 2026). En production, la vérité terrain n'entre pas dans la boucle. Elle sert d'instrument de preuve.

La référence arrive après, la décision ne peut pas attendre

La différence entre les deux approches tient d'abord à la référence. De quoi chacune a-t-elle besoin pour exister ?

Les deux colonnes ne s'excluent pas. La première prouve, la seconde permet d'agir. Le piège, selon nous, consiste à demander à la première de faire le travail de la seconde.

Les outils de monitoring restent dans la logique de la première colonne. Ils attendent de nombreuses prédictions, calculent des métriques, puis rapportent après exécution. C'est une analyse post-mortem : utile pour comprendre, trop tardive pour décider. Le tableau reprend la logique de la slide reliability granularity du Client Deck V10.

Others analyze after execution: the decision has already been made, the action has already been taken. TrustalAI brings reliability at prediction time, before the decision is made. En français : les autres analysent après l'exécution, quand la décision est déjà prise et l'action déjà engagée ; TrustalAI apporte la fiabilité au moment de la prédiction, avant la décision.

Pour un centre de supervision, la différence est très concrète. Un rapport hebdomadaire de MOTA, quand il existe, vous apprend que le suivi a décroché mardi. Une fiabilité par prédiction vous dit, au moment où l'alerte part, si la piste qui la déclenche mérite confiance. Nous comparons les deux logiques dans monitoring IA et fiabilité par prédiction, puis sous l'angle de la performance globale d'un modèle.

Ce que ça change pour un flux urbain ou embarqué

La même contrainte se retrouve partout où une caméra tourne sans annotateur derrière elle.

• Sur les flux urbains des Smart Cities et de l'ITS, le suivi devient instable et aucune vérité terrain n'est disponible. L'enjeu est d'obtenir des alertes exploitables pour la gestion du trafic et la sécurité publique.

• En ADAS, des détections fantômes et des obstacles ratés provoquent des arrêts d'urgence inutiles. Une piste qualifiée avant la décision aide le système aval à faire le tri.

• Dans les drones, les trains et les avions, les scènes sont denses et le calcul se fait souvent en edge, au plus près du capteur. Suivre plus d'objets dans un environnement complexe soutient une navigation plus sûre.

• En robotique mobile, la question se pose dans les mêmes termes, car la scène change plus vite que les annotations. Dans tous ces cas, personne n'annote le flux de production. La vérité terrain sert à valider le système, avant et pendant un PoC. Ensuite, chaque décision s'appuie sur une mesure de fiabilité disponible en temps réel.

Questions fréquentes

Comment évaluer un algorithme de tracking sans vérité terrain ?

En exploitation, on ne calcule pas de MOTA : sans annotation, cette métrique n'a pas de dénominateur. On qualifie plutôt chaque prédiction au moment où elle est produite. TrustalAI V-Tracking fonctionne ainsi : il s'appuie sur le flux de détections existant, sans annotation ni réentraînement. La vérité terrain garde un rôle, celui de la preuve, lors d'un PoC ou d'un benchmark sur vos propres données.

Comment se calcule le MOTA en suivi multi-objets ?

On additionne, sur toutes les images, les faux négatifs, les faux positifs et les changements d'identité. On divise ce total par le nombre d'objets présents dans la vérité terrain, puis on retranche ce rapport de 1 (Huang et al., 2020). La métrique vient du cadre CLEAR MOT (Bernardin et Stiefelhagen, 2008). Un MOTA de 70 % signifie que les erreurs cumulées représentent 30 % des objets annotés.

Pourquoi le MOTA ne suffit-il pas à juger un tracker en production ?

Le MOTA exige une vérité terrain que la production ne fournit pas : il arrive après annotation, et souvent jamais. Il juge une séquence passée, et non la piste qu'un système s'apprête à utiliser. Même avec des annotations, la mesure fait débat : selon Luiten et al. (2020), les métriques historiques surpondèrent soit la détection, soit l'association. Le MOTA garde toute sa place pour prouver, beaucoup moins pour décider.

Un tracker déterministe, qu'est-ce que ça change pour l'audit ?

Un tracker déterministe produit toujours la même sortie pour le même flux. Une décision de suivi peut donc être rejouée à l'identique, puis analysée après un incident. Ce n'est pas automatique en deep learning : PyTorch ne garantit pas des résultats parfaitement reproductibles entre versions ou entre plateformes (PyTorch, 2026). TrustalAI V-Tracking est déterministe, ce qui rend chaque décision de suivi rejouable.

Faut-il réentraîner V-Tracking pour un nouveau site ou une nouvelle caméra ?

Non. TrustalAI V-Tracking est learning-free : il ne demande aucun réentraînement et fonctionne sur le flux de détections existant. Il se branche en plug-and-play sur votre modèle de détection, qui reste une black-box. Pour juger son comportement sur un nouveau site, le bon outil reste un PoC sur vos propres données, avec votre propre vérité terrain.