Bert mutación: modelo profundo de transformador para mutación uniforme enmascarada en programación genética
Autores: Shem-Tov, Eliad; Sipper, Moshe; Elyasaf, Achiya
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Bert mutación: modelo profundo de transformador para mutación uniforme enmascarada en programación genética
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Novela
Operador de mutación
Programación Genética
Procesamiento del Lenguaje Natural
Convergencia
Arquitectura del transformador BERT
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
Presentamos la mutación BERT, un operador de mutación novedoso e independiente del dominio para la Programación Genética (GP) que aprovecha técnicas avanzadas de Procesamiento del Lenguaje Natural (NLP) para mejorar la convergencia, especialmente utilizando el enfoque de Modelado de Lenguaje Enmascarado. Al combinar las capacidades del aprendizaje profundo por refuerzo y la arquitectura del transformador BERT, la mutación BERT sugiere de manera inteligente reemplazos de nodos dentro de los árboles de GP para mejorar su aptitud. A diferencia de los métodos tradicionales de mutación estocástica, la mutación BERT se adapta dinámicamente utilizando datos históricos de aptitud para optimizar las decisiones de mutación, lo que resulta en mejoras evolutivas más efectivas. A través de evaluaciones exhaustivas en tres dominios de referencia, demostramos que la mutación BERT supera significativamente a los operadores de mutación convencionales y de vanguardia en cuanto a velocidad de convergencia y calidad de solución. Este trabajo representa un paso crucial hacia la integración de aprendizaje profundo de vanguardia en algoritmos evolutivos, empujando los límites de la optimización adaptativa en GP.
Descripción
Presentamos la mutación BERT, un operador de mutación novedoso e independiente del dominio para la Programación Genética (GP) que aprovecha técnicas avanzadas de Procesamiento del Lenguaje Natural (NLP) para mejorar la convergencia, especialmente utilizando el enfoque de Modelado de Lenguaje Enmascarado. Al combinar las capacidades del aprendizaje profundo por refuerzo y la arquitectura del transformador BERT, la mutación BERT sugiere de manera inteligente reemplazos de nodos dentro de los árboles de GP para mejorar su aptitud. A diferencia de los métodos tradicionales de mutación estocástica, la mutación BERT se adapta dinámicamente utilizando datos históricos de aptitud para optimizar las decisiones de mutación, lo que resulta en mejoras evolutivas más efectivas. A través de evaluaciones exhaustivas en tres dominios de referencia, demostramos que la mutación BERT supera significativamente a los operadores de mutación convencionales y de vanguardia en cuanto a velocidad de convergencia y calidad de solución. Este trabajo representa un paso crucial hacia la integración de aprendizaje profundo de vanguardia en algoritmos evolutivos, empujando los límites de la optimización adaptativa en GP.