El uso de grandes modelos de lenguaje con chatbots como ChatGPT se ha vuelto cada vez más popular entre los estudiantes, especialmente en la educación en Ciencias de la Computación. Sin embargo, existen debates significativos en la comunidad educativa sobre el papel de ChatGPT en el aprendizaje. Por lo tanto, es fundamental comprender el impacto potencial de ChatGPT en el aprendizaje, la participación y el éxito general de los estudiantes en las aulas. En este estudio empírico, informamos sobre un experimento controlado con 182 participantes en un curso de primer año de programación orientada a objetos. Nuestro estudio diferencial dividió a los estudiantes en dos grupos, uno que utilizaba ChatGPT y otro que no lo utilizaba para las tareas prácticas de programación. Los resultados del estudio mostraron que el rendimiento de los estudiantes no se ve influenciado por el uso de ChatGPT (sin significancia estadística entre los grupos con un valor de 0.730), tampoco los resultados de calificación de las tareas prácticas (valor de 0.760) y los exámenes parciales (valor de 0.856). Nuestros hallazgos del experimento controlado sugieren que es seguro para los programadores novatos utilizar ChatGPT si se adoptan medidas y ajustes específicos en el proceso educativo.