Recurso de la prueba de evaluación StarSkirmish - STARSKIRMISH/KAI MCPHEETERS
MADRID, 5 Oct. (Portaltic/EP) -
Los 'bots' creados por modelos de inteligencia artificial (IA) no tienen todavía la capacidad de superar a los que han sido creados por programadores humanos expertos cuando compiten en StarCraft: Brood War, pero GPT-6 Astra se ha propuesto conseguirlo, incluso haciendo trampas.
StarCraft es uno de los videojuegos más populares en la evaluación de la IA, ya que plantea retos complejos que ayudan a medir la capacidad de aprendizaje, estrategia y adaptación en el largo plazo. Una de las pruebas de rendimiento ('benchmark') para este videojuego es StarSkirmish.
En este 'benchmark', los grandes modelos de lenguaje (LLM) tienen una hora para programar sus propios 'bots' en C++, antes de ponerlos a competir entre ellos y contra 'bots' escritos por programadores humanos expertos. Hasta la fecha, ninguna IA ha logrado superar al 'bot' de un humano en StarCraft: Brood War, una expansión de 1998 de este título de estrategia.
Sin embargo, hay dos que acercan: GPT-6 Astra y Claude Opus 5.5. Ambos han alcanzado la segunda posición en la clasificación, tas obtener el mayor porcentaje de victorias y mostrar mejores estrategias macroeconómicas y tácticas.
Los sigue de cerca GPT-6 Sol, que ha demostrado ser el modelo más eficiente en relación rendimiento/coste. Según se explica en la web del proyecto, "estos tres LLM están claramente por encima de cualquier otro LLM evaluado a la hora de escribir código de estrategia para StarCraft en C++".
No obstante, siguen estando lejos del nivel de optimización de los programadores humanos expertos en entornos de toma de decisiones complejas a largo plazo. Y ante esta situación, en una competición que ha comenzado este fin de semana en la participada Pluto, el 'bot' de un humano, se ha detectado que GPT-6 Astra ha cambiado su estrategia sobre la marcha para hacer trampas.
En concreto, Astra ha descargado una copia de Stardust, un 'bot' creado por el programador Bruce Mackenzie Nielsen en 2020, que está considerado como el mejor escrito por un humano en la clasificación Basil. El creador de StarSkirmish, Kai McPheeters, ha asegurado en su cuenta de X que ha revertido el código de Astra para "que no se contamine y permitirle continuar".
Tras frenar el intento de trampa de Astra, este LLM ha conseguido derrotar a los 'bots' de alto nivel, quedando solo Pluto a la espera de que concluya este enfrentamiento.