¿Qué pasaría si pudiéramos contar y detectar automáticamente los objetos y los distintos equipos de un edificio? Esto tendría un enorme impacto en las actividades de inventario, las inspecciones diarias, haciendo estas tareas más fáciles y rápidas. Esto es lo que intentamos conseguir aquí. La idea principal consiste en apoyarse en cámaras de profundidad (como ad LiDARo Kinecto incluso algunas cámaras en muy smartphone de alta gama) para escanear el entorno y detectar los objetos y sus características.
En ese objetivo tan ambicioso, la tecnología clave es el Deep Learning. El Deep Learning es un tipo de inteligencia artificial que se basa en redes neuronales profundas. Estas técnicas han demostrado ser muy eficientes en el análisis de imágenes y vídeos en 2D. Con este proyecto se intenta ir más allá, aplicando el Deep Learning a un escaneo 3D de edificios. El escaneo se obtiene mediante el uso de sensores LiDAR.
Adquisición dinámica de LiDAR montada en dispositivos móviles
Los sensores LiDAR están ahora lo suficientemente miniaturizados como para ser móviles en entornos interiores y pueden utilizarse para realizar una adquisición dinámica de toda una escena, como una habitación, un edificio, una fábrica o un aeropuerto. Hoy en día, una captura de este tipo proporciona más contexto espacial 3D y precisión sobre la profundidad que una adquisición tradicional con cámara de vídeo 2D. A partir de una nube de puntos LiDAR, es posible detectar los objetos en la escena 3D para gestionar las instalaciones del edificio o la fábrica. Por ejemplo, saber con precisión cuántos extintores, sillas, mesas o pantallas hay y dónde se encuentran ayudaría mucho a actualizar las bases de datos de los edificios y equipos, a encontrarlos y a controlar su estado. Así, cualquier objeto de interior extraído de la nube de puntos puede proyectarse a un sistema CAD (diseño asistido por ordenador) existente o a un sistema de mapas de interior.
Reconocimiento de patrones aplicado a las nubes de puntos LiDAR 3D
Reconocimiento de patrones ha entrado en una era de completa renovación con el desarrollo del aprendizaje profundo tanto en la comunidad académica como en el mundo industrial, debido al importante avance que estos algoritmos han logrado en el procesamiento de imágenes 2D durante los últimos cinco años. En la actualidad, la mayor parte de la investigación sobre el aprendizaje profundo sigue centrándose en las imágenes 2D con retos como Reto de reconocimiento visual a gran escala de ImageNet (ILSVRC). Este repentino aumento del rendimiento dio lugar a nuevos algoritmos de detección de objetos robustos y en tiempo real, como Faster R-CNN (por Recurrent-Convolutional Neural Network, véase que video para hacerse una idea de lo que es capaz una R-CNN más rápida).
Sin embargo, generalizarlos a los datos 3D no es una tarea sencilla. Esto es especialmente cierto en el caso de las nubes de puntos 3D, donde la información no está estructurada como en las mallas. El objetivo de este proyecto es entrenar una red neuronal para que pueda reconocer determinados objetos en una nube de puntos adquirida en el interior de edificios. Esto facilitaría la identificación y el seguimiento del mobiliario.
En nuestro caso, la nube de puntos procede de una adquisición LiDAR realizada en el edificio CARL | Berger-Levrault (Limonest, Francia). Como no disponemos de anotaciones manuales, la red neuronal (una versión modificada de PointNet) se entrena a partir de la Stanford base de datos.
La tarea de entrenamiento es la segmentación semántica, es decir, para cada punto de la nube, la red predecirá una clase de pertenencia.
Figura 1 - Vista de la sección transversal del edificio CARL|Berger-Levrault (Limonest, Francia) en la nube de puntos, informe LiDAR 
Figura 2 - Una sala de reuniones 
Figura 3 - El vestíbulo del edificio digitalizado en puntos de la nube
Primeros resultados
Estos primeros resultados son prometedores, de hecho, a pesar de la iluminación desigual y de las condiciones de iluminación durante la adquisición de la nube de puntos, conseguimos identificar muy claramente los puntos que pertenecen al suelo, a las sillas, a las mesas, a las pizarras blancas y a las paredes. (véase la leyenda más abajo)
| Color significativo | Leyenda |
 | Pared |
 | Piso |
 | Silla |
 | Junta |
 | Tabla |
Figura 4 - Predicciones de la red neuronal de objetos detectados en la sala de reuniones 
Figura 5 - Predicciones de la red neuronal de objetos detectados en el vestíbulo del edificio
