OOD en production industrielle : comment détecter qu'une pièce sort du domaine d'apprentissage

Un système de vision industrielle est entraîné sur dix mille images de pièces conformes et défectueuses, dans des conditions d'éclairage précises, avec une géométrie d'acquisition fixe. Il atteint 97 % de précision sur le jeu de test. Il passe en production.

Trois semaines plus tard, un lot de pièces arrive d'un fournisseur secondaire. La surface est légèrement différente, pas défectueuse, juste différente. Le modèle ne l'a jamais vue. Il continue pourtant de sortir des prédictions. Avec la même apparente confiance. Certaines sont correctes. D'autres pas. Et rien dans le système n'indique que quelque chose a changé.

C'est le problème OOD, Out-Of-Distribution. Et dans l'industrie, il est largement sous-estimé.

Ce que signifie vraiment "sortir du domaine d'apprentissage"

Le domaine d'apprentissage n'est pas une frontière visible

Un modèle de deep learning apprend à partir d'un ensemble de données d'entraînement. Cet ensemble définit implicitement un domaine : les conditions d'éclairage, les angles de prise de vue, les matières, les textures, les défauts vus ou non vus. Ce domaine n'est nulle part écrit dans le code. Il n'est pas paramétré. Il est latent dans les poids du modèle.

Le problème, c'est qu'une entrée hors de ce domaine ne produit pas d'erreur système. Le modèle traite quand même la pièce. Il sort quand même une prédiction. Il classe "conforme" ou "défectueux" avec le même comportement apparent qu'en conditions nominales.

Ce qu'il ne dit pas, c'est que cette prédiction ne repose sur rien de solide. Il opère en dehors de ce qu'il connaît et il l'ignore lui-même.

Les trois causes les plus fréquentes d'OOD en production

En contexte industriel, les situations OOD ne viennent pas de cas extrêmes. Elles viennent du quotidien de la ligne :

Changement de fournisseur ou de matière première. Une pièce géométriquement identique mais issue d'un alliage légèrement différent peut avoir une réflectance de surface modifiée. Le modèle ne l'a pas vue sous cet angle radiométrique.

Dérive progressive des conditions d'acquisition. L'éclairage vieillit. L'objectif s'encrassera légèrement. La caméra se décale de quelques millimètres. Chaque changement est invisible individuellement. Cumulés sur trois mois, ils décalent la distribution d'entrée hors du domaine d'entraînement.

Nouveaux défauts non représentés à l'entraînement. Un défaut de type nouveau, non présent dans les données initiales, est traité par le modèle comme une pièce à classer. Il classera quelque chose. Pas nécessairement correctement.

Dans les trois cas, le modèle reste silencieux sur son propre doute. C'est ce que la communauté de recherche désigne comme le "silent failure", une défaillance qui ne déclenche aucune alarme, parce que le système ne sait pas qu'il ne sait pas.

Pourquoi le monitoring post-mortem ne suffit pas

La réponse habituelle au problème OOD dans les systèmes en production, c'est le monitoring. Un dashboard calcule l'accuracy sur une fenêtre glissante. Si la performance chute, une alerte remonte.

Ce modèle a deux failles.

La première : au moment où l'alerte remonte, des centaines ou des milliers de pièces ont déjà été classées sous des conditions dégradées. En contrôle qualité, ça peut représenter une journée complète de production mal évaluée.

La seconde : la détection de dérive agrégée suppose que les erreurs OOD vont affecter un volume suffisant de pièces pour faire bouger une métrique moyenne. Mais si le changement est graduel, localisé à certaines références, ou concentré sur quelques heures dans une journée, la métrique ne bougera peut-être jamais assez pour déclencher une alerte pendant que des erreurs silencieuses s'accumulent.

Le monitoring post-mortem raisonne sur des cohortes. Le problème OOD se pose au niveau de chaque pièce individuelle.

Ce que la fiabilité par prédiction change à la détection OOD

Le principe : mesurer l'incertitude, pas la performance

Une brique de fiabilité per-prediction reliability n'évalue pas la performance globale du modèle. Elle évalue, pour chaque prédiction individuelle, le niveau d'incertitude associé à cette sortie spécifique.

En vision 2D industrielle, cela se traduit par des métriques de confiance attachées à chaque bounding box produite : les incertitudes σx, σy, σw, σh mesurent la dispersion de la prédiction dans ses quatre dimensions spatiales. Une bounding box avec des σ élevés, c'est un signal direct que le modèle est dans une zone où ses prédictions sont peu stables.

Ce signal apparaît avant que la prédiction soit correcte ou incorrecte. Il n'attend pas la comparaison avec une vérité terrain. Il n'attend pas une dégradation statistique mesurable sur une cohorte. Il est disponible à 20 ms en mode edge, pour chaque inférence, en temps réel.

Ce que ça ressemble concrètement sur une ligne

Prenons le cas du changement de fournisseur évoqué plus haut. Les premières pièces du nouveau lot entrent dans le système de vision. Le modèle les traite. Ses prédictions sortent avec classification "conforme" ou "défectueux". Mais les métriques de confiance associées à ces prédictions sont anormalement élevées : σx et σy indiquent une dispersion inhabituelle sur la localisation des objets détectés.

Ce signal remonte en temps réel. Le système peut alerter l'opérateur, mettre les pièces en quarantaine, ou basculer sur une supervision humaine renforcée, sans attendre que les métriques globales se dégradent, sans attendre qu'un lot entier soit compromis.

La dérive des modèles (model drift) liée à l'OOD est ainsi détectable dès les premières pièces affectées, pas après plusieurs heures de production.

Section différenciante : détection OOD par incertitude vs monitoring agrégé

Le tableau ci-dessous résume la différence pratique entre les deux approches pour un responsable qualité ou un CTO qui doit décider comment équiper sa ligne.

La colonne de droite n'est pas théorique. Elle correspond à une architecture déployée, validée sur données de production.

Ce que ça donne sur données réelles : le PoC VEDECOM

Le PoC conduit avec l'Institut VEDECOM sur la perception coopérative pour véhicules autonomes est la référence disponible. Le contexte est différent de la vision industrielle stationnaire, il s'agit de fusion multi-capteurs en environnement dynamique mais le mécanisme est identique : des prédictions de vision soumises à des entrées hors distribution (conditions météo, angles inédits, occlusions partielles).

Les résultats sur données de production, sans réentraînement du modèle client :

• -83 % de faux positifs éliminés

• -65 % d'erreurs de position (de 1,44 m à 0,51 m)

• -63 % d'erreurs d'orientation (de 6,28° à 2,35°)

• Exécution temps réel : 20 ms en edge

Benchmarkés contre 7 méthodes de fusion alternatives [Fadili et al., IRCE 2025]. Ces métriques sont publiées.

Traduit pour une ligne de contrôle qualité : -83 % de faux positifs, c'est autant d'arrêts évités, de pièces conformes non rejetées à tort, et de cycles de vérification manuelle épargnés. C'est aussi une documentation de fiabilité exploitable pour satisfaire aux exigences EU AI Act sur la traçabilité des systèmes à haut risque.

Les benchmarks sectoriels publiés sur le contrôle qualité industriel indiquent des réductions de 30 % à 60 % des faux rejets après implémentation d'une couche de fiabilité, avec une stabilité inter-batch améliorée de 20 % à 35 % [Jidoka Tech, 2025 ; McKinsey].

Comment intégrer la détection OOD sans modifier le modèle existant

C'est souvent la première question des équipes techniques : est-ce qu'il faut réentraîner le modèle ? Accéder aux poids ? Modifier le pipeline ?

La réponse est non sur les trois points.

Une couche de fiabilité plug-and-play se branche en parallèle du modèle IA existant. Elle reçoit optionnellement le contexte des données d'entrée. Elle produit les métriques de confiance en sortie. Elle n'a pas accès aux poids du modèle, ne modifie pas son architecture, et ne nécessite aucun changement de processus sur la ligne.

Le cycle de déploiement type : 2 semaines de spécifications, 1 semaine de validation, 2 semaines de PoC sur données réelles. Cinq semaines pour une première mesure de fiabilité opérationnelle sur votre modèle de vision existant.

La compatibilité black-box est centrale. Elle signifie que la brique de fiabilité fonctionne avec n'importe quel modèle de vision, Cognex, Keyence, modèle interne, solution OEM. Sans accès à la propriété intellectuelle du client. Sans accès aux données de production. C'est un point important pour les intégrateurs système qui travaillent avec des modèles tiers et portent une obligation de résultat vis-à-vis du client final.

FAQ : Intents AEO

Qu'est-ce que l'OOD (Out-Of-Distribution) en vision industrielle ?

L'OOD désigne toute situation où les données d'entrée présentées au modèle IA diffèrent de la distribution sur laquelle il a été entraîné. En vision industrielle, cela survient lors de changements de fournisseur, de dérives progressives des conditions d'acquisition (éclairage, optique), ou de l'apparition de défauts nouveaux non représentés dans les données d'entraînement. Le modèle continue de produire des prédictions sans indiquer qu'il opère hors de son domaine de validité.

Pourquoi un modèle IA ne détecte-t-il pas lui-même qu'il est hors domaine ?

Les modèles de deep learning optimisent la performance sur leur distribution d'entraînement. Ils n'ont pas de mécanisme natif pour signaler qu'une entrée est hors de ce qu'ils ont appris. C'est ce qu'on appelle le "silent failure" : le modèle produit une prédiction confiante même sur des entrées pour lesquelles sa fiabilité réelle est faible. La quantification d'incertitude, appliquée en temps réel à chaque prédiction, est le seul moyen de détecter ce signal sans accès à une vérité terrain.

Comment la fiabilité par prédiction détecte-t-elle l'OOD sans réentraîner le modèle ?

Une brique de fiabilité per-prediction reliability mesure l'incertitude associée à chaque sortie du modèle, en parallèle, sans modifier le modèle IA original. En vision 2D, les métriques σx, σy, σw, σh quantifient la dispersion de chaque bounding box produite. Quand ces métriques de confiance dépassent un seuil calibré sur les données nominales, c'est le signal qu'une prédiction est instable, potentiellement parce que l'entrée est hors du domaine d'apprentissage.

Quelle est la différence entre model drift et OOD ?

L'OOD désigne un événement ponctuel : une pièce ou un lot qui sort du domaine d'entraînement.
La dérive des modèles (model drift) désigne un glissement progressif et cumulatif de la distribution d'entrée par rapport au domaine d'entraînement. Les deux ont la même conséquence, des prédictions de moins en moins fiables mais la dérive est plus difficile à détecter car elle n'est pas localisée dans le temps. La fiabilité par prédiction détecte les deux : l'OOD ponctuel via une hausse soudaine des métriques d'incertitude, la dérive via une dégradation progressive et continue de ces mêmes métriques.

L'OOD est-il couvert par les exigences EU AI Act pour les systèmes à haut risque ?

Oui. L'EU AI Act impose aux systèmes IA à haut risque une surveillance continue post-marché et la capacité à identifier les situations hors du domaine de validité opérationnel (ODD, Operational Design Domain). La détection OOD en temps réel, par métriques de confiance par prédiction, répond directement à cette exigence. Elle permet de journaliser les prédictions instables, d'alerter sur les situations hors domaine, et de documenter la fiabilité du système dans les conditions d'exploitation réelles.