Una de las tareas de los analistas de seguridad es detectar vulnerabilidades de seguridad y ataques en curso. Ya existe una gran cantidad de herramientas de software que pueden ayudar a recopilar datos relevantes para la seguridad, como registros de eventos, configuraciones de seguridad, manifiestos de aplicaciones e incluso el código fuente (descompilado) de aplicaciones potencialmente maliciosas. El analista debe estudiar estos datos, evaluarlos e identificar y clasificar adecuadamente actividades y aplicaciones sospechosas. Los avances rápidos en el área de la Inteligencia Artificial han producido grandes modelos de lenguaje que pueden realizar una variedad de tareas, incluida la generación de resúmenes y reportes de texto. En este artículo, estudiamos el uso potencial de cajas negras de chatbots LLM como herramienta de apoyo para los analistas de seguridad. Presentamos dos estudios de caso: el primero se refiere a la identificación de vulnerabilidades en aplicaciones de Android, y el segundo se refiere al análisis de registros de seguridad. Mostramos cómo los chatbots LLM pueden ayudar a los analistas de seguridad en su trabajo, pero señalamos limitaciones específicas y preocupaciones de seguridad relacionadas con este enfoque.