Une fusion multi-capteurs traite le plus souvent ses sources à poids égal. Y compris celle qui, à cet instant précis, ne voit rien. Pondérer chaque détection par son incertitude change le résultat, et c'est mesurable.
Vos capteurs ne se trompent jamais en même temps. Une moyenne, si.
Un robotaxi entre dans un nuage de fumée
Les faits sont publics et documentés par un régulateur. Le 20 juin 2026, un robotaxi inoccupé s'engage dans une fumée épaisse qui masquait une scène d'incendie active, non balisée. Il freine fort, tente de s'écarter, s'immobilise. Aucun blessé.
Le système savait reconnaître les signaux conventionnels d'une scène d'urgence : cônes, gyrophares, voie barrée. Il n'avait pas de représentation interne de l'idée suivante : « ma caméra regarde à travers un mur de particules, et ce qu'elle me renvoie ne vaut plus grand-chose ». La défaillance ne porte pas sur la détection d'obstacles, mais sur la conscience de la fiabilité de la source.
Le correctif ajoute une règle : détecter la fumée. Restent toutes les autres conditions dégradées, que personne n'énumérera jamais.
Ce que fait vraiment une fusion aveugle
La fusion multi-capteurs (sensor fusion) est l'opération qui combine les détections de plusieurs sources en une seule représentation de la scène. C'est là que se prend la décision de croire ou non ce qu'on voit. Dans la plupart des piles déployées, elle prend l'une des cinq formes ci-dessous. Aucune ne demande à la source si elle est en forme.
La moyenne : un vote où tout le monde a une voix
Y compris celui qui ne voyait rien. Si trois sources sur quatre placent un piéton à 6 m et que la quatrième, éblouie, le place à 9 m, la sortie fusionnée n'est fausse qu'un peu. C'est précisément le problème : elle a l'air propre, et personne ne lève la main.
Le score de confiance : la source la plus sûre d'elle, pas la plus juste
C'est l'astuce la plus répandue, et elle repose sur un malentendu. Le score d'un détecteur porte sur la classe, pas sur la position. Un score élevé dit qu'il y a probablement quelque chose ; pas que cette chose est là. La littérature de model calibration ajoute un second problème : les détecteurs pré-entraînés sont sur-confiants, et le NMS accentue ce biais sur les scores qui survivent. Pondérer par le score revient donc à écouter la source la plus affirmative.
Le NMS inter-sources : éliminer au lieu de fusionner
Il ne fusionne donc rien. Il désigne un gagnant au score et jette le reste. Si le gagnant est la source dégradée, souvent la plus bruyante, le système vient de choisir exactement la mauvaise.
Moyenner ou pondérer : la différence est arithmétique, pas philosophique
Voilà le point de bascule. Les cinq approches ci-dessus partagent une hypothèse : le poids d'une source est décidé avant de regarder la scène. Pondérer par l'incertitude par détection, c'est décider ce poids pendant la scène, détection par détection.
Schéma de fusion | Ce qu'il suppose | Ce qui casse en conditions réelles |
|---|---|---|
Moyenne simple | Toutes les sources se valent | La source fautive tire la sortie vers l'erreur, sans signal |
Pondération par score de confiance | Le score reflète la qualité de localisation | Le score porte sur la classe, et les détecteurs sont sur-confiants |
NMS inter-sources | Le meilleur score est la meilleure mesure | On élimine l'information redondante au lieu de la combiner |
Vote majoritaire | Les sources sont indépendantes | Deux sources corrélées comptent deux fois la même preuve |
Matrice R statique par capteur | Le bruit d'un capteur est constant | Le bruit dépend de la scène, de la distance, de la météo, de l'heure |
Pondération par incertitude par détection | Chaque détection porte sa propre erreur attendue | C'est l'hypothèse qu'on peut mesurer et vérifier |
L'incertitude par détection est une estimation de l'erreur attendue produite pour chaque détection, et non pour le capteur qui l'a produite. Une même caméra peut être excellente sur l'objet au centre du champ et très mauvaise sur celui qui sort du contre-jour, dans la même image. Une fusion qui ne sait pas faire cette différence traite les deux détections à égalité.
Le principe a déjà été mesuré ailleurs. Une équipe industrielle et universitaire allemande a utilisé les incertitudes de ses détecteurs comme poids dans une fusion multimodale : la précision moyenne gagne jusqu'à 7 %, et jusqu'à 20 % quand les capteurs sont temporellement désalignés (Feng et al., IEEE IV 2020). Le gain grandit à mesure que les conditions se dégradent, ce qui est exactement la prédiction de la thèse.
« C'est un filtre de Kalman, ça existe depuis 1960 »
C'est l'objection la plus fréquente, et elle est légitime. Traitons-la en trois temps.
Oui, Kalman pondère déjà par l'incertitude
Une matrice de covariance de bruit de mesure est la description statistique de l'erreur attendue d'une source. Le mécanisme est documenté noir sur blanc par un consortium automobile : « one of the "side-results" of a Kalman filter is a covariance matrix. This covariance matrix is used as the core of accuracy information provided » (CAR 2 CAR Communication Consortium, 2021). La question n'est donc pas si on pondère. C'est avec quel R.
Non, ce R ne décrit pas la scène
Dans ce même document, R est construit à partir des écarts-types « as configured for the simulated sensors », puis mis à jour par une simple rotation géométrique selon la position relative de l'objet. Il est donc fixé à la configuration, depuis une caractérisation en laboratoire. Rien dans cette boucle ne dit : cette détection-ci, dans cette scène-ci, est moins fiable que d'habitude.
Ce n'est pas un défaut d'implémentation. Toute une branche de recherche, le filtrage de Kalman adaptatif, existe parce qu'un Q et un R constants sont insuffisants dès que les conditions bougent.
Et un détecteur neuronal, lui, n'émet aucune covariance
C'est ici que l'objection tombe. Quand la « mesure » n'est plus un capteur mais un réseau de neurones, il n'y a plus de caractérisation métrologique à mettre dans R. Le constat est posé par la littérature d'object detection pour la conduite autonome : « bbox coordinates are output as deterministic coordinate values instead of a score, and thus the confidence of the detected bbox is unknown. Moreover, the objectness score does not reflect the reliability of the bbox well » (Choi et al., ICCV 2019).
Le praticien remplit alors la case avec ce qu'il a sous la main : un sigma constant par capteur, ou le score. Les deux sont faux.
Kalman n'a jamais été le problème. C'est même exactement la bonne équation. Le problème, c'est que depuis qu'on a remplacé les capteurs par des réseaux de neurones, la case R est vide.
Le piège invisible : deux sources corrélées rendent le système sur-confiant
Il existe une seconde façon de se tromper, plus discrète, et elle ne se voit pas dans les logs.
Quand deux estimations partagent de l'information commune, les traiter comme indépendantes revient à compter deux fois la même preuve. Deux caméras qui regardent la même scène, un véhicule et une caméra d'infrastructure qui observent le même piéton : le cas est banal. Le résultat est inconsistant au sens de l'estimation. La covariance annoncée devient plus petite que l'erreur réelle. Le système se croit plus sûr qu'il ne l'est, sans déclencher la moindre alerte. Pour une brique de sécurité critique, c'est le pire mode de défaillance possible.
La Covariance Intersection, introduite par Julier et Uhlmann en 1997, fusionne de façon garantie-conservative quand la corrélation est inconnue, au prix de résultats « too conservative » (Noack et al., Automatica 2017). C'est une borne, pas un optimum. Entre moyenner naïvement, qui rend sur-confiant, et borner pessimistement, qui sous-exploite les capteurs, il reste donc un espace. On le gagne avec une vraie mesure d'incertitude par détection.
Pourquoi un poids fixe est faux dès que la scène sort du nominal
Voilà le cœur du sujet multi-capteurs, et il est physique avant d'être algorithmique.
Les modalités ne se dégradent pas dans les mêmes conditions
Une équipe de recherche en sécurité automobile a mesuré caméra, lidar et radar en conditions reproductibles : pluie calibrée de 16 mm/h à 98 mm/h, brouillard à visibilité d'environ 8 m, de jour comme de nuit (Sezgin et al., 2023).
Modalité | Ce qui la dégrade | Nature de la dégradation |
|---|---|---|
Radar | Pluie forte, film d'eau sur le radome | Perte modérée de points, cause matérielle et non optique |
Lidar | Brouillard dense, gouttes en suspension | Le capteur détecte le brouillard et le prend pour des objets : le point cloud se remplit de false positives |
Caméra | La nuit, bien plus que la pluie | Effondrement des scores, véhicule souvent non détecté, y compris avec des scénarios nocturnes dans l'entraînement |
Le lidar en brouillard dense ne « voit pas moins ». Il voit le brouillard. Ce n'est pas une perte de portée, c'est une production active d'erreurs de perception.
La conséquence pour la fusion
Le brouillard ne tombe pas sur le radar. La nuit ne tombe pas sur le lidar. Les capteurs ne se trompent pas ensemble, c'est même toute la raison d'en embarquer plusieurs. Alors pourquoi leur donner un poids qui, lui, ne change jamais ?
Cette même équipe en tire une conclusion sans ambiguïté : il faut détecter la dégradation d'un capteur et estimer sa sévérité pour que l'aval puisse en tenir compte. C'est l'argument contre le poids fixe, formulé depuis le niveau capteur.
La case est déjà dans la norme, depuis 2023
C'est le point que peu d'équipes ont en tête, et c'est celui qui change la conversation.
Ce qu'ETSI TS 103 324 impose
La norme européenne qui régit le service de perception collective en V2X est explicite, et normative :
« For every component provided in the kinematic state and attitude space of an object in the CPM the corresponding confidence value shall be provided to a confidence level of 95 %. » (ETSI TS 103 324, version 2023)
Le « shall » n'est pas une recommandation. Tout objet perçu diffusé dans un message CPM doit porter sa valeur de confiance, à un niveau de confiance de 95 %.
Elle va plus loin. Elle prévoit jusqu'à quatre matrices de corrélation triangulaires inférieures, à partir desquelles le récepteur reconstruit la covariance complète, Σ = D·C·D. Le tuyau de la fusion probabiliste est standardisé de bout en bout. La norme distingue même la confiance de classification (quel objet ?) de la valeur de confiance sur l'état cinématique (où exactement ?).
Et voici où la norme s'arrête
L'indicateur de qualité de perception repose sur trois ingrédients : l'âge de l'objet, une confiance de détection, une indication de succès de détection. La formule normative est une moyenne mobile exponentielle sur la persistance de la détection. Est-ce que je vois cet objet depuis longtemps, et sans interruption ?
Pour le seul ingrédient qui touche à la confiance réelle du détecteur, le texte renvoie ailleurs : « the detection confidence and the detection success indication are system specific assessments of the ITS-S's object detection system ».
La norme mandate donc le champ, spécifie le format, fixe le niveau à 95 %, et laisse la mesure à l'émetteur. Or l'émetteur, s'il fait tourner un détecteur neuronal, n'a rien à y mettre.
La norme a prévu la case. Elle n'a pas prévu qui la remplirait.
Un standard équivalent existe côté SAE pour le partage de données capteurs entre véhicules, avec la même logique : le contenant est spécifié, le calcul reste à la charge de l'émetteur.
Pourquoi cela se joue en fusion tardive
Les schémas de perception coopérative se classent en trois familles. L'early fusion échange les données brutes et suppose un encodeur partagé. L'intermediate fusion échange des features latentes et suppose des espaces compatibles entre agents. La fusion tardive (late fusion) laisse chaque agent produire ses propres détections, et ne transmet que les sorties.
Point d'honnêteté : c'est l'intermediate fusion qui domine aujourd'hui la recherche, sur des benchmarks comme OPV2V (ICRA 2022) ou DAIR-V2X (CVPR 2022). Elle domine parce que, dans un laboratoire, tous les modèles appartiennent à la même équipe. Dès qu'on en sort, personne n'échange de features et personne n'ouvre son modèle.
La fusion tardive n'est donc pas le choix théorique optimal. C'est le seul choix déployable entre acteurs qui ne se partageront jamais leur code, et c'est pour cela que la qualité de la pondération y devient critique : c'est tout ce qu'il reste comme levier. C'est aussi ce qui rend l'approche black-box viable. Une couche de fiabilité (reliability layer) qui s'insère en plug-and-play sur les sorties du modèle client n'a besoin ni de le réentraîner, ni d'accéder à son IP.
Redondance n'est pas répétition
Le Règlement (UE) 2024/1689 traite l'exactitude et la robustesse des systèmes d'IA dans son article 15. Deux alinéas comptent ici.
Le premier vise les erreurs et incohérences qui surviennent « within the system or the environment in which the system operates ». Le brouillard, la fumée et la nuit sont donc dans le périmètre. Le cas dégradé n'est pas une excuse, c'est un cas d'usage.
Le second est plus intéressant encore : « the robustness of high-risk AI systems may be achieved through technical redundancy solutions, which may include backup or fail-safe plans ». Le texte nomme la redondance technique comme voie de robustesse pour les systèmes à haut risque, sans dire comment la faire fonctionner. Et c'est là que l'observation devient utile : empiler quatre capteurs et les moyenner, ce n'est pas de la redondance, c'est de la répétition. Une redondance ne produit de la robustesse que si le système sait laquelle de ses sources croire, à l'instant où il doit décider.
Un troisième point est sous-utilisé. L'article 15 demande que les niveaux d'exactitude soient déclarés dans la notice d'utilisation. Or déclarer une exactitude suppose de savoir la mesurer, donc de caractériser l'incertitude. C'est un pont direct vers la traçabilité, la piste d'audit (audit trail) et le dossier d'homologation.
Une couche de fiabilité contribue à cette démonstration. Elle ne garantit pas la conformité réglementaire, qui reste une responsabilité de système. Voir notre article sur ce que la loi impose aux systèmes IA industriels.
TrustalAI Vision, et sa déclinaison multi-sources V-Fusion
TrustalAI Vision est une couche de fiabilité qui estime en temps réel la fiabilité de chaque prédiction d'un modèle de vision, sans réentraînement, en black-box, sans accès à l'IP du client. C'est la fiabilité par prédiction appliquée à la perception : per-prediction reliability, et non performance moyenne sur un jeu de test. TrustalAI V-Fusion en est la déclinaison multi-sources, appliquée à la combinaison de plusieurs flux.
Ce que le moteur produit, concrètement
Pour chaque détection et pour chaque source, le moteur calcule un jeu d'écarts-types (σx, σy, σw, σh) qui servent de poids de fusion. C'est, littéralement, le R manquant du filtre, fabriqué par détection au lieu d'être configuré par capteur.
Deux objets que le modèle rendait indiscernables deviennent séparables : 7 m ± 0,6 m d'un côté, 6 m ± 1,3 m de l'autre.
Une source dégradée voit son poids chuter pour les détections concernées, pas pour toute la trame.
Le système en aval dispose d'une métrique de confiance exploitable avant la décision, et non d'un constat a posteriori, après exécution, une fois l'action engagée.
La latence tient dans les contraintes du calcul embarqué : moins de 100 ms, 20 ms sur CPU et 8 ms sur NVIDIA Jetson Orin. C'est compatible avec une boucle de perception temps réel et avec les architectures d'edge computing, comme nous le détaillons dans fiabilité IA edge à 20 ms.
Ce que ça a donné au PoC VEDECOM
Le PoC mené avec l'Institut VEDECOM portait sur une fusion probabiliste utilisant les incertitudes TrustalAI comme poids. Le point le plus pertinent ici n'est pas le gain brut, c'est le comparatif face à 7 méthodes de fusion.
Indicateur | Baseline | Fusion pondérée par l'incertitude | Gain |
|---|---|---|---|
Erreurs de position | 1,44 m | 0,51 m | -65 % |
Erreurs d'orientation | 6,28 ° | 2,35 ° | -63 % |
Faux positifs | — | — | -83 % |
(PoC VEDECOM, benchmark vs 7 méthodes de fusion)
Ce que ça change côté validation
Moins de faux positifs, donc moins d'arrêts d'urgence injustifiés.
Une confiance de perception documentée, qui autorise une réduction progressive de la supervision humaine.
Des capteurs hétérogènes enfin réconciliables, y compris quand ils n'ont pas la même qualité.
Un coût de validation réduit : une incertitude mesurée est une incertitude que l'on peut déclarer.
Ce dernier point est le plus structurant sur un programme d'homologation niveau 4 (Level 4) ou niveau 5 (Level 5), où la charge de preuve pèse plus lourd que la performance nominale.
Et le multi-agents dans tout ça ?
La même arithmétique s'applique quand les sources ne sont plus les capteurs d'un même véhicule, mais des agents distincts : une navette autonome et un carrefour instrumenté, par exemple. Les enjeux économiques de ce cas sont différents, et nous les traitons à part dans perception coopérative : rentabiliser les capteurs offboard. La logique de fond, elle, ne change pas : un agent dont on ne sait pas mesurer la fiabilité est un agent qu'on ne peut intégrer qu'à poids fixe.
FAQ
Qu'est-ce que la fusion multi-capteurs pondérée par l'incertitude ?
C'est une fusion où le poids de chaque source est calculé à partir de l'erreur attendue de chaque détection, et non fixé à l'avance par capteur. Concrètement, un moteur d'incertitude produit un écart-type par détection, qui sert de matrice de bruit de mesure dans la combinaison. Une source momentanément dégradée pèse alors moins, sans intervention manuelle ni règle codée en dur.
En quoi est-ce différent d'un filtre de Kalman classique ?
Le filtre de Kalman pondère déjà par l'incertitude : c'est le rôle de la matrice R. Mais R décrit historiquement le capteur, calibré une fois, puis appliqué à toutes les détections. Un détecteur neuronal, lui, ne produit aucune covariance. L'équation reste juste ; c'est son entrée qui est vide. Une mesure d'incertitude par détection remplit cette case.
Pourquoi ne pas simplement pondérer par le score de confiance du détecteur ?
Parce que le score porte sur la classe, pas sur la position. Un score élevé indique qu'il y a probablement un objet, pas qu'il est au bon endroit. La littérature de calibration montre en outre que les détecteurs pré-entraînés sont sur-confiants. Pondérer par le score revient donc à privilégier la source la plus affirmative, pas la plus exacte.
Les normes V2X prévoient-elles déjà ce champ d'incertitude ?
Oui. La norme ETSI TS 103 324 impose que chaque composante de l'état cinématique d'un objet perçu porte sa valeur de confiance à un niveau de 95 %, et prévoit les matrices permettant de reconstruire la covariance complète. En revanche, elle renvoie le calcul de cette confiance à une évaluation propre au système de détection de l'émetteur. Le champ existe, la mesure reste à fournir.
Faut-il réentraîner les modèles de perception pour l'utiliser ?
Non. L'approche est black-box et plug-and-play : elle s'applique aux sorties des modèles existants, sans accès au code ni aux poids, et sans réentraînement. C'est aussi ce qui la rend utilisable entre acteurs différents, en fusion tardive, là où aucune partie n'accepterait de partager ses features internes. Le cycle de qualification tient en 2 semaines de PoC.
Partager
Articles connexes
