Un modelo general para la información adicional en redes neuronales
Autores: Adel, Tameem; Levene, Mark
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un modelo general para la información adicional en redes neuronales
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Aprendizaje automático
Información adicional
Redes neuronales
Supervisado
Conocimiento experto
Entrada
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
Investigamos la utilidad de la información adicional en el contexto del aprendizaje automático y, en particular, en redes neuronales supervisadas. La información adicional puede ser vista como conocimiento experto, adicional a la entrada, que puede provenir de una base de conocimiento. A diferencia de otros enfoques, nuestro formalismo puede ser utilizado por un algoritmo de aprendizaje automático no solo durante el entrenamiento, sino también durante las pruebas. Además, el enfoque propuesto es flexible ya que se adapta a diferentes formatos de información adicional, y no restringimos la información adicional a ser introducida en la capa de entrada de la red. Se presenta un formalismo basado en la diferencia entre la pérdida de la red neuronal sin y con información adicional, afirmando que es útil cuando agregar información adicional reduce la pérdida durante la fase de prueba. Como prueba de concepto, proporcionamos resultados experimentales para dos conjuntos de datos, el conjunto de datos MNIST de dígitos escritos a mano y el conjunto de datos de predicción de precios de viviendas. Para los experimentos utilizamos redes neuronales feedforward que contienen dos capas ocultas, así como una capa de salida softmax. Para ambos conjuntos de datos, se muestra que la información adicional es útil ya que mejora significativamente la precisión de clasificación.
Descripción
Investigamos la utilidad de la información adicional en el contexto del aprendizaje automático y, en particular, en redes neuronales supervisadas. La información adicional puede ser vista como conocimiento experto, adicional a la entrada, que puede provenir de una base de conocimiento. A diferencia de otros enfoques, nuestro formalismo puede ser utilizado por un algoritmo de aprendizaje automático no solo durante el entrenamiento, sino también durante las pruebas. Además, el enfoque propuesto es flexible ya que se adapta a diferentes formatos de información adicional, y no restringimos la información adicional a ser introducida en la capa de entrada de la red. Se presenta un formalismo basado en la diferencia entre la pérdida de la red neuronal sin y con información adicional, afirmando que es útil cuando agregar información adicional reduce la pérdida durante la fase de prueba. Como prueba de concepto, proporcionamos resultados experimentales para dos conjuntos de datos, el conjunto de datos MNIST de dígitos escritos a mano y el conjunto de datos de predicción de precios de viviendas. Para los experimentos utilizamos redes neuronales feedforward que contienen dos capas ocultas, así como una capa de salida softmax. Para ambos conjuntos de datos, se muestra que la información adicional es útil ya que mejora significativamente la precisión de clasificación.