logo móvil
Contáctanos

Sc-phi2: un modelo de lenguaje pequeño ajustado para la predicción de órdenes de construcción de StarCraft II

Autores: Khan, Muhammad Junaid; Sukthankar, Gita

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Sc-phi2: un modelo de lenguaje pequeño ajustado para la predicción de órdenes de construcción de StarCraft II


Categoría

Ingeniería y Tecnología

Subcategoría

Inteligencia Artificial

Palabras clave

Introduce
Modelos de lenguaje pequeños
Ajustados finamente
StarCraft II
Phi2
Vision Transformer

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 23

Citaciones: Sin citaciones


Descripción
Antecedentes: Este artículo presenta SC-Phi2, un modelo de lenguaje pequeño ajustado de StarCraft II. Los modelos de lenguaje pequeños, como Phi2, Gemma y DistilBERT, son versiones simplificadas de modelos de lenguaje grandes (LLMs) con menos parámetros que requieren menos potencia computacional y memoria para ejecutarse. Método: Para enseñar al modelo Phi2 de Microsoft sobre StarCraft, creamos un nuevo conjunto de datos de texto SC2 con información sobre razas, roles y acciones de StarCraft y lo utilizamos para ajustar finamente a Phi-2 con aprendizaje auto-supervisado. Combinamos este modelo de lenguaje con un Transformador de Visión (ViT) del modelo pre-entrenado BLIP-2 (Bootstrapping Language Image Pre-training), ajustándolo en el conjunto de datos de repeticiones de StarCraft, MSC. Esto nos permite construir indicaciones dinámicas que incluyen información visual del estado del juego. Resultados: A diferencia de los grandes modelos utilizados en los LLMs de StarCraft como GPT-3.5, Phi2 está entrenado principalmente en datos de libros de texto y contiene poco conocimiento inherente de StarCraft II más allá de lo que proporciona nuestro proceso de entrenamiento. Al utilizar LoRA (Adaptación de rango bajo) y cuantización, nuestro modelo puede ser entrenado en una sola GPU. Demostramos que nuestro modelo se desempeña bien en la predicción del orden de construcción, una tarea importante de macrogestión de StarCraft. Conclusiones: Nuestra investigación sobre el uso de modelos pequeños es un paso hacia la reducción de la huella de carbono de los agentes de IA.

Otros recursos que podrían interesarte

Temas Virtualpro