Et si nous pouvions compter et détecter automatiquement les objets et les divers équipements dans un bâtiment ? Cela aurait un impact énorme sur les activités d'inventaire, les inspections quotidiennes, en rendant ces tâches plus faciles et plus rapides. C'est ce que nous essayons de réaliser ici. L'idée principale consiste à s'appuyer sur des caméras de profondeur (de type ad LiDARou Kinectou même certains appareils photo en très smartphone haut de gamme) pour scanner l'environnement et détecter les objets et leurs caractéristiques.
Dans cet objectif très ambitieux, la technologie clé est le Deep Learning. Le Deep Learning est un type d'intelligence artificielle qui s'appuie sur des réseaux neuronaux profonds. Ces techniques se sont révélées très efficaces pour analyser des images et des vidéos en 2D. Avec ce projet, nous essayons d'aller plus loin, en appliquant le Deep Learning à un scan 3D de bâtiments. Le scan est obtenu en utilisant des capteurs LiDAR.
Acquisition dynamique LiDAR montée sur des dispositifs mobiles
Les capteurs LiDAR sont désormais suffisamment miniaturisés pour être mobiles sur des environnements intérieurs et peuvent être utilisés pour réaliser l'acquisition dynamique d'une scène entière telle qu'une pièce, un bâtiment, une usine ou un aéroport. Aujourd'hui, une telle capture fournit plus de contexte spatial 3D et de précision sur la profondeur qu'une acquisition traditionnelle par caméra vidéo 2D. A partir d'un nuage de points LiDAR, il est possible de détecter les objets dans la scène 3D afin de gérer les installations d'un bâtiment ou d'une usine. Par exemple, savoir précisément combien il y a d'extincteurs, de chaises, de tables ou d'écrans, et où ils sont situés, aiderait grandement à mettre à jour les bases de données des équipements du bâtiment, à les trouver et à surveiller leur état. Ainsi, tous les objets intérieurs extraits du nuage de points peuvent être projetés vers un système CAO (conception assistée par ordinateur) ou un système de cartographie intérieure existant.
Reconnaissance de formes appliquée aux nuages de points LiDAR 3D
Reconnaissance des formes est entré dans une ère de renouvellement complet avec le développement de l'apprentissage profond dans la communauté académique ainsi que dans le monde industriel, en raison de la percée significative que ces algorithmes ont réalisée dans le traitement des images 2D au cours des cinq dernières années. Actuellement, la plupart des recherches sur l'apprentissage profond se concentrent encore sur l'imagerie 2D avec des défis tels que Défi de reconnaissance visuelle à grande échelle ImageNet (ILSVRC). Cette augmentation soudaine des performances a donné naissance à de nouveaux algorithmes de détection d'objets robustes et en temps réel tels que le R-CNN (pour Recurrent-Convolutional Neural Network, voir que vidéo pour avoir une idée de ce qu'un R-CNN plus rapide est capable de faire).
Cependant, leur généralisation aux données 3D n'est pas une tâche simple. Ceci est particulièrement vrai dans le cas d'un nuage de points 3D où l'information n'est pas structurée comme dans les maillages. L'objectif de ce projet est d'entraîner un réseau de neurones afin qu'il puisse reconnaître certains objets dans un nuage de points acquis à l'intérieur de bâtiments. Cela faciliterait grandement l'identification et la surveillance du mobilier.
Dans notre cas, le nuage de points provient d'une acquisition LiDAR réalisée dans le bâtiment CARL | Berger-Levrault (Limonest, France). Comme nous ne disposons pas d'annotations manuelles, le réseau de neurones (une version modifiée de PointNet) est entraîné à partir de l'acquisition LiDAR. Stanford base de données.
La tâche d'apprentissage est la segmentation sémantique, c'est-à-dire que pour chaque point du nuage, le réseau va prédire une classe d'appartenance.
Figure 1 - Vue en coupe du bâtiment CARL|Berger-Levrault (Limonest, France) en nuage de points, rapport LiDAR 
Figure 2 - Une salle de réunion 
Figure 3 - Le hall du bâtiment numérisé en points de nuage
Premiers résultats
Ces premiers résultats sont prometteurs, en effet malgré les conditions d'éclairage et de luminosité inégales lors de l'acquisition du nuage de points, nous parvenons à identifier très clairement les points qui appartiennent au sol, aux chaises, aux tables, aux tableaux blancs et aux murs. (voir la légende ci-dessous)
| Couleur significative | Légende |
 | Mur |
 | Plancher |
 | Président |
 | Conseil d'administration |
 | Tableau |
Figure 4 - Prédictions du réseau neuronal des objets détectés dans la salle de réunion 
Figure 5 - Prédictions du réseau neuronal des objets détectés dans le hall du bâtiment
