En los últimos años, las IA han aprendido a superar a los humanos en juegos cada vez más complicados, desde juegos de mesa como el ajedrez y Go hasta juegos de computadora como Pacman y Starcraft II (¡y no nos olvidemos del póquer !). Ahora, una IA creada por Sony ha superado a los humanos en otro juego popular y complejo: Gran Turismo. Además de ser una hazaña en sí misma, el logro podría tener implicaciones en el mundo real para el entrenamiento de vehículos autónomos.
Para aquellos que no están familiarizados, Gran Turismo es una serie de juegos de simulación de carreras creados para las consolas PlayStation de Sony. Los creadores del juego tenían como objetivo brindar la mayor precisión posible en el mundo real a sus autos y conducción, desde el empleo de principios de la física hasta el uso de grabaciones reales de los motores de los autos. “El realismo de Gran Turismo proviene de los detalles que ponemos en el juego”, dijo Charles Ferreira, ingeniero de Polyphony Digital, el estudio creativo detrás de Gran Turismo. “Todos los detalles sobre el motor, los neumáticos, la suspensión, las orugas, el modelo del coche…”
Sony lanzó su división de IA en abril de 2020 para investigar en IA y robótica en relación con el entretenimiento. La división se asoció con Polyphony Digital y los creadores de PlayStation para desarrollar Gran Turismo Sophy (GT Sophy), la IA que terminó venciendo a los mejores jugadores humanos del juego. Ayer se publicó en Nature un artículo que detalla cómo se entrenó el sistema y cómo se podría aplicar su técnica a la conducción en el mundo real .
Pisar el acelerador a fondo es una habilidad que necesitas para ser bueno en Gran Turismo (o en las carreras de autos en la vida real), pero la velocidad por sí sola no separa a los campeones de los subcampeones. La estrategia y la etiqueta también son importantes, desde saber cuándo rebasar a otro automóvil en lugar de esperar a que pase, hasta evitar colisiones mientras se mantiene lo más cerca posible de otros vehículos, hasta dónde abrirse o cortar. Como lo expresaron los autores del artículo , “… los conductores deben ejecutar maniobras tácticas complejas para pasar o bloquear a los oponentes mientras operan sus vehículos en sus límites de tracción”.
Entonces, ¿cómo logró una IA unir estas diferentes habilidades de una manera que condujo a una racha ganadora?
GT Sophy se entrenó con aprendizaje de refuerzo profundo , un subcampo de aprendizaje automático en el que un sistema de IA o “agente” recibe recompensas por realizar ciertas acciones y es penalizado por otras, similar a la forma en que los humanos aprenden a través de prueba y error, con el objetivo de maximizar sus recompensas.
Los creadores de GT Sophy se centraron en tres áreas para entrenar al agente: control del automóvil (incluida la comprensión de la dinámica del automóvil y las líneas de carrera), tácticas de carrera (tomar decisiones rápidas en torno a acciones como pasar estela, pases cruzados o bloqueo) y etiqueta de carrera (seguir las reglas de deportividad). como evitar colisiones por culpa y respetar las líneas de conducción del oponente).
Los ingenieros de Sony AI tuvieron que andar con cuidado al crear la función de recompensa de GT Sophy; la IA tenía que ser agresiva sin ser imprudente, por lo que recibía recompensas por tiempos de vuelta rápidos y adelantar a otros autos mientras era penalizada por tomar curvas, chocar con una pared u otro auto o derrapar.
Los investigadores alimentaron los datos del sistema de juegos anteriores de Gran Turismo y luego lo liberaron para jugar, aleatorizando factores como la velocidad inicial, la posición de la pista y el nivel de habilidad de otros jugadores para cada carrera. Según los informes, GT Sophy pudo moverse por la pista con solo unas pocas horas de entrenamiento, aunque la IA tomó 45,000 horas de entrenamiento en total para convertirse en un campeón y vencer a los mejores jugadores humanos .
“Superar a los conductores humanos con tanta habilidad en una competencia cara a cara representa un logro histórico para la IA”, dijo el profesor de automoción de Stanford J. Christian Gerdes, que no participó en la investigación, en un editorial de Nature publicado con el artículo de Sony AI. “El éxito de GT Sophy en la pista sugiere que las redes neuronales algún día podrían tener un papel más importante en el software de los vehículos automatizados que en la actualidad”.
Aunque las habilidades de carrera de GT Sophy no necesariamente se transferirían bien a los autos reales, particularmente en carreteras regulares o autopistas en lugar de una pista circular, el éxito del sistema puede verse como un paso hacia la construcción de IA que ‘entienden’ la física del mundo real y interactuar con los humanos. La investigación de Sony podría ser especialmente aplicable a la etiqueta de los autos sin conductor , dado que estos límites son importantes a pesar de estar poco definidos (por ejemplo, es menos atroz cortarle el paso a alguien en un carril de la autopista si aceleras inmediatamente después de hacerlo, a diferencia de reducir la velocidad o mantener la velocidad).
Dado que los autos sin conductor han resultado ser un esfuerzo mucho más complejo y lento de lo previsto inicialmente, la incorporación de la etiqueta en su software puede estar baja en la lista de prioridades, pero en última instancia será importante que los autos operados por algoritmos eviten siendo el objetivo de la ira en la carretera de los conductores humanos.
Mientras tanto, GT Sophy continuará refinando sus habilidades de carrera, ya que tiene mucho margen de mejora; por ejemplo, la IA pasa constantemente a otros autos con una penalización de tiempo inminente, cuando a menudo tendría más sentido esperar a que los autos penalizados reduzcan la velocidad.
Sony también dice que planea integrar GT Sophy en futuros juegos de Gran Turismo, pero aún no ha revelado una línea de tiempo correspondiente.
Crédito de la imagen: Sony AI
Ramirez, V. B. (2022, 10 febrero). Sony’s Racing AI Just Beat the World’s Best Gran Turismo Drivers [Vídeo]. Singularity Hub. https://singularityhub.com/2022/02/10/sonys-ai-beat-the-worlds-best-gran-turismo-drivers/