Les technologies et les systèmes d'automatisation des tâches de maintenance et de gestion des équipements sont utilisés dans plusieurs cas dans différents domaines d'activité, comme la sécurité ou l'industrie agroalimentaire par exemple. Les technologies utilisées ont atteint un stade de maturation permettant leur utilisation en cas réel, selon la spécificité de l'application pratique. Cependant, il reste des incertitudes quant au développement d'une approche permettant de traiter plusieurs cas d'utilisation différents (nécessaires pour automatiser le processus de validation des QI) car nous ne connaissons pas beaucoup de travaux sur ce sujet. Nous avons donc réalisé une première phase d'analyse à partir des images (ou images-types) dont nous disposons, afin de réduire le champ des pistes à suivre.
Contexte
L'objectif de ce projet est d'automatiser une partie des actions de maintenance des équipements. Ces actions sont principalement l'inventaire et le suivi temporel des équipements, pour garantir leur fonctionnement et prévenir leur détérioration. Certaines d'entre elles sont répétitives et nécessitent la présence de personnel sur le terrain pour collecter des informations, pour l'inventaire des équipements par exemple. Il serait possible d'utiliser des systèmes de capteurs pour collecter ces informations et de dédier le travail humain à leur interprétation et à la prise de décision.
Dans ce projet, nous nous concentrons sur les requêtes d'intervention de maintenance (IQ) sur Carl Source. Elles sont écrites par des clients qui ont remarqué un problème à un certain endroit, comme une fuite d'eau dans la salle de bain, une alarme sur l'écran de contrôle, un équipement qui ne fonctionne pas, etc. ou pour exprimer un certain besoin comme l'amélioration d'un équipement, une maintenance spéciale (dératisation, changement d'huile, etc.).
Le processus actuel pour les clients de demander une intervention est de l'écrire au logiciel de maintenance du site, qui la validera (ou non) et la fera faire par un technicien. Des travaux ont été réalisés au sein de la DRIT pour QI écrit automatiquement classé. Cependant, dans ce projet, nous étudions les possibilités d'automatiser le QI à partir d'une simple image. Des cas concrets d'utilisation de l'analyse d'image pour l'automatisation du QI seraient : une fissure dans un mur, la corrosion sur un tuyau, un fil suspendu, etc.
Cet article se propose de faire le point sur les travaux existants en matière de traitement d'images, sur les cas concrets évoqués et de réfléchir globalement à ce qui pourrait être envisagé concrètement.
Les travaux existants de DRIT
Plusieurs travaux ont été réalisés chez Berger-Levrault pour évaluer des approches potentielles utilisant l'apprentissage profond pour la gestion et la maintenance d'équipements/objets. Leurs objectifs sont d'automatiser la phase d'inventaire sur un certain type d'objets ou d'équipements, à partir d'images de données :
- Travail de thèse de Jérôme Pasquet sur la détection automatique de pierres tombales à partir d'images aériennes de cimetières,
- Travail de thèse de Lionel Pibre sur la détection des arbres urbains à partir d'une imagerie aérienne multi-capteurs,
- Travail collaboratif sur la détection des regards à partir d'images aériennes,
- Travail de thèse de Younes Zegaoui sur la détection d'objets urbains à partir de nuages de points LiDAR terrestres,
- Transposition de ces travaux sur une scène intérieure LiDAR 3D pour automatiser l'inventaire des équipements à l'intérieur des pièces et évaluer la satisfaction des normes de sécurité (extincteur, alarme incendie),
- Visualisation par imagerie 3D du bâtiment et du réseau par Mehdi Ayadi et Clément Colin.
État général des connaissances scientifiques et techniques
Le traitement des images est une discipline de l'informatique et des mathématiques appliquées qui étudie les images numériques et leur transformation, afin d'améliorer leur qualité ou d'en extraire des informations. La reconnaissance des formes, et plus largement la vision par ordinateur, est l'une des tâches les plus importantes de ce vaste domaine de recherche.
Historiquement, c'est David Marr qui a formalisé la première détection précise de lignes de contours sur une image en 1980. Dans les années 1990, les technologies de résolution se sont améliorées, en particulier grâce à la méthode des ondelettes. Depuis les années 2000, des innovations importantes ont été apportées à des cas d'utilisation spécifiques en limitant le problème général, comme la reconnaissance optique de caractères (OCR) ou la reconnaissance faciale.
Ensuite, la reconnaissance des objets a fait de grands progrès grâce aux techniques d'apprentissage automatique. Ces techniques proposent de représenter les images sous forme de vecteurs de motifs multidimensionnels appelés vecteurs de caractéristiques. Une méthode d'apprentissage est ensuite utilisée pour déduire des informations utiles (comme le contenu sémantique d'une image) à partir du descripteur.
Depuis 2012, le montée en puissance du réseau neuronal convolutif (CNN) L'utilisation de l'apprentissage profond a permis de réaliser des progrès importants dans plusieurs tâches classiques du traitement de l'image, telles que :
- Classification d'images, associant une classe à une image entrante,
- Segmentation sémantique, associant une classe à chaque pixel de l'image,
- Détection d'objets, ajustez une boîte d'enveloppement autour de chaque objet de l'image,
- Segmentation des instances, en recadrant précisément chaque objet de l'image.
Cas d'utilisation pour la maintenance
Nous avons distingué plusieurs cas d'utilisation, qui, bien que très différents les uns des autres, recoupent la question de la maintenance automatisée :
- Corrosion/rouille : localisation précise de la corrosion sur une surface métallique, soit à partir de photos de matières premières, soit sur des photos de tuyaux, de pièces manufacturées.
- Fissure : localisation précise d'une fissure sur des photos de façades de bâtiments ou des flux vidéo de trafic.
- Fenêtres : détection et caractérisation des fenêtres (bon état ou cassées) à partir de photos de la façade du bâtiment ou de photos prises de l'intérieur.
Méthodes d'apprentissage profond
Les CNN, permettant une révolution du traitement de l'image, sont basés sur une séquence successive d'opérations simples (appelées couches) qui mises bout à bout permettent le calcul d'une fonction non linéaire très complexe.
La principale opération du CNN est la couche de convolution. Elle permet d'optimiser l'extraction sur des caractéristiques intéressantes ainsi que la résolution d'un problème spécifique tel que la classification d'images, où l'utilisation de descripteurs ne permet que d'optimiser la seconde.
Dans l'architecture CNN la plus importante, nous pouvons citer :
AlexNetLe premier CNN "fonctionnel", qui consiste en une convolution à trois couches et un classificateur ;
UNet et SegNetqui permettent la tâche de segmentation sémantique avec l'introduction de couches de déconvolution permettant d'obtenir une structure en "U" simplifiant le problème de la prédiction de la classe pour chaque pixel.
Architecture de détection d'objets dans laquelle nous nous distinguons :
- Approche en deux temps, telle que FasterRCNNpermettant de prévoir des boîtes d'emballage robustes, mais nécessitant plus de temps de calcul.
- Approche à coup unique, telle que YOLO qui est plus rapide mais moins robuste.
Approche existante pour les cas d'utilisation étudiés
Tous les cas d'utilisation étudiés sont basés sur les mêmes approches d'un point de vue technique. Nous pouvons citer les seuils, les détecteurs de contours et les opérations de morphologie.
Des travaux plus récents s'appuient davantage sur le CNN pour accomplir diverses tâches liées à nos cas d'utilisation, comme la classification et la détection d'objets.
Cas de corrosion
Nous avons trouvé de nombreuses études, programmes et ensembles de données qui semblent fonctionner de manière adéquate (nous notons que ces études sont réalisées sur des corrosions flagrantes ou sur de grandes zones de corrosion, ce qui rend difficile l'évaluation des performances des méthodes). Ils utilisent soit la colorimétrie et le concept de texture en utilisant les techniques classiques d'analyse, soit le CNN.
Nous avons trouvé sur Github, quelques programmes existants (Corrosion Detector par exemple) et de nombreux jeux de données disponibles sur internet pour l'entraînement des images.
Cas de fissure
Dans ce cas, nous observons beaucoup de travaux sur les fissures sur les routes ou les ponts. Leurs diagnostics sont basés sur la définition de la fissure selon la théorie de Chambon : "Crack : est un ensemble de pixels avec un plus sombre niveau de gris que le fond de l'image. En outre, une fissure peut être vue comme un ensemble de petits segments d'orientation différente reliés entre eux". Cependant, nous noterons une fois de plus que les images montrent des fissures extrêmement nettes.
De nombreuses publications montrent que les résultats obtenus en utilisant les techniques classiques de traitement des images permettent d'obtenir de bons résultats.
Nous avons même essayé quelques modèles de reconnaissance simples grâce aux différents algorithmes de détection de contours proposés par Open-Cv avec des résultats satisfaisants. Même si ces méthodes présentent de grands avantages car elles ne nécessitent pas d'apprentissage spécifique, elles ne semblent adaptées qu'aux surfaces planes comme les routes ou les façades en béton.
Boîtier Windows
Ce dernier cas semble le plus délicat, car les techniques de traitement d'image semblent être beaucoup moins efficaces, surtout si les photos sont prises à une certaine distance. On remarque immédiatement que la reconnaissance des parois en verre transparent est beaucoup plus difficile.
Certaines applications existent pour analyser les bris d'écran des téléphones portables, mais les images sont des gros plans, donc la détection semble plus facile. Nous avons trouvé quelques éléments permettant de reconnaître des fenêtres sur une façade, mais ils se basent sur leurs contours, en utilisant un algorithme de détection des coins. Nous avons également trouvé un application pour reconnaître les miroirs et les verres muraux ce qui semble fonctionner.
Solutions technologiques
Inventaire automatique / Logistique
Plusieurs solutions sont commercialisées pour automatiser les tâches d'inventaire ou de traitement des colis en entrepôt. Elles se basent sur une logistique contraignante : le matériel doit être rangé dans un stockage précis, chaque emplacement doit avoir son propre QR code ou code-barres, la voie d'accès doit être dégagée pour les drones (aériens ou terrestres), etc. La tâche de traitement d'image est alors beaucoup moins compliquée puisque seul le QR code/code-barres doit être détecté.
Vision industrielle
L'approche industrielle courante consiste à prendre une photo rapprochée de chaque produit, pour ensuite guider le processus de fabrication, la plupart du temps sur les contrôles de qualité.
Ici, nous avons trouvé une utilisation croissante de CNN pour classifier, en effet, comme le processus d'image est complètement contrôlé. Une grande base de données peut être utilisée pour entraîner le CNN à reconnaître les différentes imperfections de fabrication ou le niveau de qualité du produit.
D'autre part, on observe un essor important du traitement d'images dans les processus d'automatisation industrielle : contrôle de la chaîne de production, réception de colis, automatisation du processus de facturation, location de voitures, etc.
Solution de comptage et de sécurité
De nombreuses entreprises font appel à une solution de reconnaissance d'objets, pour des raisons commerciales ou pour des besoins de sécurité. Nous observons une augmentation de l'installation de caméras de sécurité utilisant des systèmes d'alertes IA.
Reconnaissance et goujon de droney
Plusieurs entreprises ont lancé le traitement d'image par drone qui permet de collecter de précieuses informations à distance. L'avantage de ces solutions est leur capacité à prétraiter les images et à générer des alertes en temps réel.
En conclusion
Aujourd'hui, nous observons les possibilités d'exécuter divers travaux avec des techniques de traitement d'images. Les trois cas d'utilisation que nous avons étudiés montrent que la détection des fissures, de la corrosion et des vitres cassées est possible. D'autres scénarios semblent possibles comme les fils pendus ou les prises arrachées.
Nous pensons que la principale préoccupation de ce projet concerne l'image d'entrée, sa qualité et la capacité à reconnaître les équipements concernés.
