Reconocimiento de comportamiento maestro-estudiante en la enseñanza en el aula basado en YOLO-v4 mejorado y tecnología de Internet de las cosas
Autores: Chen, Henghuai; Guan, Jiansheng
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Reconocimiento de comportamiento maestro-estudiante en la enseñanza en el aula basado en YOLO-v4 mejorado y tecnología de Internet de las cosas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Escenarios de enseñanza en el aula
Algoritmo de detección de comportamiento YOLO-v4
CNN
Tecnologías IoT
Modelos de aprendizaje profundo
Función de pérdida de repulsión
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Basado en los escenarios de enseñanza en el aula, se propone un algoritmo mejorado de detección de comportamiento YOLO-v4 para reconocer los comportamientos de los profesores y estudiantes. Con el desarrollo de las tecnologías CNN (Redes Neuronales Convolucionales) e IoT (Internet de las Cosas), los algoritmos de detección de objetivos basados en el aprendizaje profundo se han vuelto predominantes, y han surgido algoritmos típicos como SSD (Detección de un Solo Disparo) y la serie YOLO. Basándose en los videos o imágenes recopilados en la capa de percepción del paradigma IoT, se utilizan modelos de aprendizaje profundo en la capa de procesamiento para implementar diversas aplicaciones inteligentes. Sin embargo, ninguno de estos algoritmos basados en aprendizaje profundo es perfecto, y hay margen de mejora en cuanto a precisión de detección, velocidad de cálculo y capacidades de detección de múltiples objetivos. En este documento, mediante la introducción del concepto de red local de etapas cruzadas, se construyen componentes de conexión incrustados (EC) y se incrustan al final de la red YOLO-v4 para obtener una red YOLO-v4 mejorada. Con el objetivo de abordar el problema de identificar de manera rápida y efectiva las acciones de los estudiantes cuando están ocultos, se conecta en serie la función de pérdida de Repulsión sobre la base de la función de pérdida original de YOLO-v4. La función de pérdida recién añadida consta de dos partes: pérdida RepGT y pérdida RepBox. La función de pérdida RepGT se utiliza para calcular los valores de pérdida entre la caja de predicción del objetivo y las cajas de verdad terreno adyacentes para reducir los resultados de detección de falsos positivos; la función de pérdida RepBox se utiliza para calcular el valor de pérdida entre la caja de predicción del objetivo y otras cajas de predicción de objetivos adyacentes para reducir los resultados de detección de falsos negativos. El entrenamiento y las pruebas se realizan en los conjuntos de datos de comportamiento en el aula de profesores y estudiantes, respectivamente. Los resultados experimentales muestran que la precisión promedio para identificar varios comportamientos en el aula de diferentes objetivos supera el 90%, lo que verifica la efectividad del método propuesto. El modelo tiene un buen desempeño en el reconocimiento sostenible de comportamientos en el aula en el contexto educativo, el reconocimiento preciso de los comportamientos en el aula puede ayudar a los profesores y estudiantes a comprender mejor el aprendizaje en el aula y promover el desarrollo del modelo de aula inteligente.
Descripción
Basado en los escenarios de enseñanza en el aula, se propone un algoritmo mejorado de detección de comportamiento YOLO-v4 para reconocer los comportamientos de los profesores y estudiantes. Con el desarrollo de las tecnologías CNN (Redes Neuronales Convolucionales) e IoT (Internet de las Cosas), los algoritmos de detección de objetivos basados en el aprendizaje profundo se han vuelto predominantes, y han surgido algoritmos típicos como SSD (Detección de un Solo Disparo) y la serie YOLO. Basándose en los videos o imágenes recopilados en la capa de percepción del paradigma IoT, se utilizan modelos de aprendizaje profundo en la capa de procesamiento para implementar diversas aplicaciones inteligentes. Sin embargo, ninguno de estos algoritmos basados en aprendizaje profundo es perfecto, y hay margen de mejora en cuanto a precisión de detección, velocidad de cálculo y capacidades de detección de múltiples objetivos. En este documento, mediante la introducción del concepto de red local de etapas cruzadas, se construyen componentes de conexión incrustados (EC) y se incrustan al final de la red YOLO-v4 para obtener una red YOLO-v4 mejorada. Con el objetivo de abordar el problema de identificar de manera rápida y efectiva las acciones de los estudiantes cuando están ocultos, se conecta en serie la función de pérdida de Repulsión sobre la base de la función de pérdida original de YOLO-v4. La función de pérdida recién añadida consta de dos partes: pérdida RepGT y pérdida RepBox. La función de pérdida RepGT se utiliza para calcular los valores de pérdida entre la caja de predicción del objetivo y las cajas de verdad terreno adyacentes para reducir los resultados de detección de falsos positivos; la función de pérdida RepBox se utiliza para calcular el valor de pérdida entre la caja de predicción del objetivo y otras cajas de predicción de objetivos adyacentes para reducir los resultados de detección de falsos negativos. El entrenamiento y las pruebas se realizan en los conjuntos de datos de comportamiento en el aula de profesores y estudiantes, respectivamente. Los resultados experimentales muestran que la precisión promedio para identificar varios comportamientos en el aula de diferentes objetivos supera el 90%, lo que verifica la efectividad del método propuesto. El modelo tiene un buen desempeño en el reconocimiento sostenible de comportamientos en el aula en el contexto educativo, el reconocimiento preciso de los comportamientos en el aula puede ayudar a los profesores y estudiantes a comprender mejor el aprendizaje en el aula y promover el desarrollo del modelo de aula inteligente.