La modelización del lenguaje ha evolucionado de sistemas simples basados en reglas a asistentes complejos capaces de abordar una multitud de tareas. Los modelos de lenguaje de última generación (LLMs) son capaces de obtener altas puntuaciones en benchmarks de competencia y, como resultado, se han implementado en diversas industrias para aumentar la productividad y la conveniencia. Sin embargo, la naturaleza prolífica de tales herramientas ha proporcionado a los actores maliciosos la capacidad de aprovecharlas para el desarrollo de ataques. Nuestro artículo describe el estado actual de los LLMs, su disponibilidad y su papel en aplicaciones benévolas y maliciosas. Además, proponemos cómo un LLM puede combinarse con la clonación de voz de texto a voz (TTS) para crear un marco capaz de llevar a cabo ataques de ingeniería social. Nuestro estudio de caso analiza el realismo de dos modelos de TTS de código abierto diferentes, Tortoise TTS y Coqui XTTS-v2, calculando puntuaciones de similitud entre muestras de audio generadas y reales de cuatro participantes. Nuestros resultados demuestran que Tortoise es capaz de generar audios de clonación de voz realistas para hombres nativos de habla inglesa, lo que indica que se pueden aprovechar recursos fácilmente accesibles para crear ataques de ingeniería social engañosos. A medida que estas herramientas se vuelven más avanzadas, defensas como la concienciación, la detección y el red teaming pueden no ser capaces de mantenerse al día con adversarios peligrosamente equipados.