La estimación de parámetros es una de las tareas más importantes en estadística y es clave para ayudar a las personas a comprender la distribución detrás de una muestra de observaciones. Tradicionalmente, la estimación de parámetros se realiza ya sea mediante soluciones en forma cerrada (por ejemplo, estimación de máxima verosimilitud para la distribución gaussiana) o mediante métodos numéricos iterativos como el método de Newton-Raphson cuando no existe una solución en forma cerrada (por ejemplo, para la distribución beta). En este documento, proponemos un enfoque basado en transformadores para la estimación de parámetros. En comparación con las soluciones existentes, nuestro enfoque no requiere una solución en forma cerrada ni derivaciones matemáticas. Ni siquiera requiere conocer la función de densidad de probabilidad, que es necesaria para los métodos numéricos. Después de que se entrena el modelo del transformador, solo se necesita una inferencia para estimar los parámetros de la distribución subyacente basándose en una muestra de observaciones. En el estudio empírico, comparamos nuestro enfoque con la estimación de máxima verosimilitud en distribuciones comúnmente utilizadas como la distribución normal, la distribución exponencial y la distribución beta. Se muestra que nuestro enfoque logra una precisión similar o mejor medida por errores cuadráticos medios.