La seguridad del software es un tema importante que está ganando cada vez más atención debido al creciente número de incidentes de ciberseguridad de conocimiento público. Investigaciones anteriores han demostrado que una forma de abordar la seguridad del software es mediante un juego serio, los Desafíos de Ciberseguridad, que están diseñados para concienciar a los desarrolladores de software sobre las pautas de codificación segura. Este juego, que ha demostrado ser muy exitoso en la industria, utiliza una técnica de inteligencia artificial (técnica de escalera) para implementar un chatbot para la interacción humano-máquina. Los recientes avances en el aprendizaje automático han llevado a un gran avance, con la implementación y el lanzamiento de modelos de lenguaje grandes, ahora disponibles de forma gratuita para el público. Tales modelos se entrenan con una gran cantidad de datos y son capaces de analizar e interpretar no solo el lenguaje natural, sino también el código fuente en diferentes lenguajes de programación. Con la llegada de ChatGPT, y la investigación previa de vanguardia en el desarrollo de software seguro, surge una pregunta natural: ¿hasta qué punto puede ChatGPT ayudar a los desarrolladores de software a escribir software seguro? En este trabajo, nos basamos en nuestra experiencia en la industria, y también en un extenso trabajo previo para analizar y reflexionar sobre cómo utilizar ChatGPT para ayudar en el desarrollo de software seguro. Con este fin, llevamos a cabo dos experimentos con modelos de lenguaje grandes. Nuestras interacciones con ChatGPT y nuestra experiencia en el campo nos permiten sacar conclusiones sobre las ventajas, desventajas y limitaciones del uso de esta nueva tecnología.