Gn-cnn: un método de análisis de nube de puntos para aplicaciones de metaverso
Autores: Sun, Qian; Xu, Yueran; Sun, Yidan; Yao, Changhua; Lee, Jeannie Su Ann; Chen, Kan
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Gn-cnn: un método de análisis de nube de puntos para aplicaciones de metaverso
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Metaverso
Modelos de nube de puntos en 3D
Análisis de modelos basados en datos
Aprendizaje de pocas muestras
Red generativa adversaria
Relación geométrica local
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Las aplicaciones del Metaverso a menudo requieren muchos modelos de nube de puntos 3D nuevos que no están etiquetados y que nunca se han visto antes; esta información limitada resulta en dificultades para los análisis de modelos basados en datos. En este documento, proponemos una nueva red de análisis de nube de puntos 3D basada en datos GN-CNN que es adecuada para tales escenarios. Abordamos las dificultades con un enfoque de aprendizaje de pocas muestras (FSL) proponiendo una red generativa adversarial no supervisada GN-GAN para generar conocimiento previo y realizar un preentrenamiento de inicio rápido para GN-CNN. Además, los modelos 3D en el Metaverso se adquieren principalmente con un enfoque en las apariencias visuales de los modelos en lugar de las posiciones exactas. Por lo tanto, conceptualmente, también proponemos aumentar la información liberando e incorporando información de variación local, que transmite la apariencia del modelo. Esto se realiza mediante la introducción de una operación de perceptrón multicapa combinado mejorada con convolución de grafos (CMLP), es decir, GCMLP, para capturar la relación geométrica local, así como una GeoConv consciente de las normales locales, es decir, GNConv. El GN-GAN adopta una estructura codificador-decodificador y el GCMLP se utiliza como la operación central del codificador. Puede realizar la tarea de reconstrucción. El GNConv se utiliza como la operación tipo convolución en GN-CNN. El rendimiento de clasificación de GN-CNN se evalúa en ModelNet10 con una precisión general del 95.9%. Su rendimiento de aprendizaje de pocas muestras se evalúa en ModelNet40, cuando el tamaño del conjunto de entrenamiento se reduce al 30%, la precisión de clasificación general puede alcanzar el 91.8%, que es un 2.5% más alta que Geo-CNN. Los experimentos muestran que el método propuesto podría mejorar la precisión en tareas de clasificación de nubes de puntos 3D y en escenarios de aprendizaje de pocas muestras, en comparación con métodos existentes como PointNet, PointNet++, DGCNN y Geo-CNN, lo que lo convierte en un método beneficioso para aplicaciones del Metaverso.
Descripción
Las aplicaciones del Metaverso a menudo requieren muchos modelos de nube de puntos 3D nuevos que no están etiquetados y que nunca se han visto antes; esta información limitada resulta en dificultades para los análisis de modelos basados en datos. En este documento, proponemos una nueva red de análisis de nube de puntos 3D basada en datos GN-CNN que es adecuada para tales escenarios. Abordamos las dificultades con un enfoque de aprendizaje de pocas muestras (FSL) proponiendo una red generativa adversarial no supervisada GN-GAN para generar conocimiento previo y realizar un preentrenamiento de inicio rápido para GN-CNN. Además, los modelos 3D en el Metaverso se adquieren principalmente con un enfoque en las apariencias visuales de los modelos en lugar de las posiciones exactas. Por lo tanto, conceptualmente, también proponemos aumentar la información liberando e incorporando información de variación local, que transmite la apariencia del modelo. Esto se realiza mediante la introducción de una operación de perceptrón multicapa combinado mejorada con convolución de grafos (CMLP), es decir, GCMLP, para capturar la relación geométrica local, así como una GeoConv consciente de las normales locales, es decir, GNConv. El GN-GAN adopta una estructura codificador-decodificador y el GCMLP se utiliza como la operación central del codificador. Puede realizar la tarea de reconstrucción. El GNConv se utiliza como la operación tipo convolución en GN-CNN. El rendimiento de clasificación de GN-CNN se evalúa en ModelNet10 con una precisión general del 95.9%. Su rendimiento de aprendizaje de pocas muestras se evalúa en ModelNet40, cuando el tamaño del conjunto de entrenamiento se reduce al 30%, la precisión de clasificación general puede alcanzar el 91.8%, que es un 2.5% más alta que Geo-CNN. Los experimentos muestran que el método propuesto podría mejorar la precisión en tareas de clasificación de nubes de puntos 3D y en escenarios de aprendizaje de pocas muestras, en comparación con métodos existentes como PointNet, PointNet++, DGCNN y Geo-CNN, lo que lo convierte en un método beneficioso para aplicaciones del Metaverso.