Las redes neuronales han revolucionado la forma en que abordamos la resolución de problemas en múltiples dominios; sin embargo, su diseño efectivo y el uso eficiente de recursos computacionales siguen siendo una tarea desafiante. Uno de los factores más importantes que influyen en este proceso son los hiperparámetros del modelo que varían significativamente con los modelos y conjuntos de datos. Recientemente, ha habido un enfoque creciente en ajustar automáticamente estos hiperparámetros para reducir la complejidad y optimizar la utilización de recursos. Desde métodos tradicionales de ajuste intuitivo humano hasta búsqueda aleatoria, búsqueda en cuadrícula, optimización bayesiana y algoritmos evolutivos, se han logrado avances significativos en esta dirección que prometen un rendimiento mejorado utilizando menos recursos. En este artículo, proponemos HyperGE, un modelo de dos etapas para ajustar automáticamente hiperparámetros impulsado por la evolución gramatical (GE), un algoritmo de aprendizaje automático basado en poblaciones bioinspirado. GE proporciona una ventaja en que permite a los usuarios definir su propia gramática para generar soluciones, lo que lo hace ideal para definir espacios de búsqueda en conjuntos de datos y modelos. Probamos HyperGE para ajustar finamente las redes preentrenadas VGG-19 y ResNet-50 utilizando tres conjuntos de datos de referencia. Demostramos que el espacio de búsqueda se reduce significativamente en un factor de ~90% en la Etapa 2 con un menor número de pruebas. HyperGE podría convertirse en una herramienta invaluable dentro de la comunidad de aprendizaje profundo, permitiendo a los profesionales una mayor libertad al explorar dominios de problemas complejos para el ajuste fino de hiperparámetros.