Codificación y Decodificación Eficiente que Preserva el Contexto de Estructuras Composicionales Usando Representaciones Binarias Dispersas
Autores: Malits, Roman; Mendelson, Avi
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Codificación y Decodificación Eficiente que Preserva el Contexto de Estructuras Composicionales Usando Representaciones Binarias Dispersas
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Redes neuronales
Principios de composicionalidad
Representaciones distribuidas escasas
Codificación
Decodificación
Algoritmos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
A pesar de su éxito sin precedentes, las redes neuronales artificiales sufren de una opacidad extrema y debilidades en el aprendizaje de conocimientos generales a partir de experiencias limitadas. Algunos argumentan que la clave para superar esas limitaciones en las redes neuronales artificiales es combinar de manera eficiente los principios de continuidad y composicionalidad. Aunque se desconoce cómo el cerebro codifica y decodifica la información de una manera que permite tanto respuestas rápidas como un procesamiento complejo, hay evidencia de que el neocortex emplea representaciones distribuidas escasas para esta tarea. Esta es un área activa de investigación. Este trabajo aborda uno de los desafíos en este campo relacionado con la codificación y decodificación de estructuras composicionales anidadas, que son esenciales para representar conceptos complejos del mundo real. Uno de los algoritmos en este campo se llama adelgazamiento dependiente del contexto (CDT). Una característica distintiva de CDT en relación con otros métodos es que el vector codificado por CDT permanece similar a cada entrada componente y combinaciones de entradas similares. En este trabajo, proponemos un nuevo método de codificación denominado CPSE, basado en ideas de CDT. Además, proponemos un nuevo método de decodificación denominado CPSD, basado en memoria triádica. Los algoritmos propuestos extienden CDT al permitir tanto la codificación como la decodificación de información, incluyendo el orden de composición. Además, los algoritmos propuestos permiten optimizar la cantidad de computación y memoria necesarias para lograr el rendimiento deseado de codificación/decodificación.
Descripción
A pesar de su éxito sin precedentes, las redes neuronales artificiales sufren de una opacidad extrema y debilidades en el aprendizaje de conocimientos generales a partir de experiencias limitadas. Algunos argumentan que la clave para superar esas limitaciones en las redes neuronales artificiales es combinar de manera eficiente los principios de continuidad y composicionalidad. Aunque se desconoce cómo el cerebro codifica y decodifica la información de una manera que permite tanto respuestas rápidas como un procesamiento complejo, hay evidencia de que el neocortex emplea representaciones distribuidas escasas para esta tarea. Esta es un área activa de investigación. Este trabajo aborda uno de los desafíos en este campo relacionado con la codificación y decodificación de estructuras composicionales anidadas, que son esenciales para representar conceptos complejos del mundo real. Uno de los algoritmos en este campo se llama adelgazamiento dependiente del contexto (CDT). Una característica distintiva de CDT en relación con otros métodos es que el vector codificado por CDT permanece similar a cada entrada componente y combinaciones de entradas similares. En este trabajo, proponemos un nuevo método de codificación denominado CPSE, basado en ideas de CDT. Además, proponemos un nuevo método de decodificación denominado CPSD, basado en memoria triádica. Los algoritmos propuestos extienden CDT al permitir tanto la codificación como la decodificación de información, incluyendo el orden de composición. Además, los algoritmos propuestos permiten optimizar la cantidad de computación y memoria necesarias para lograr el rendimiento deseado de codificación/decodificación.