Las aplicaciones web, ampliamente utilizadas por las empresas para servicios comerciales, requieren pruebas exhaustivas para garantizar su funcionalidad. Realizar pruebas de formularios con datos de entrada aleatorios a menudo lleva mucho tiempo. Anteriormente, presentamos un modelo para la prueba automatizada de aplicaciones web utilizando aprendizaje por refuerzo. El modelo fue entrenado para llenar campos de formularios con valores de entrada fijos y hacer clic en botones. Sin embargo, el rendimiento de este modelo estaba limitado por un conjunto fijo de datos de entrada y la detección imprecisa de la presentación exitosa del formulario. Este artículo propone un modelo para abordar estas limitaciones. Primero, utilizamos un modelo de lenguaje grande con generadores de datos para generar una amplia variedad de datos de entrada. Además, si la presentación del formulario es exitosa se determina parcialmente por GPT-4o. Los experimentos muestran que nuestro método aumenta la cobertura promedio de declaraciones en un 2.3% en comparación con el modelo anterior y entre un 7.7% y un 11.9% en comparación con QExplore, destacando su efectividad.