Cientistas criam algoritmo que consegue 'aprender' a jogar videogames
Damien Leloup - NYT

Uma equipe de pesquisadores do laboratório DeepMind, do Google, especializado em inteligência artificial, conseguiu criar um algoritmo capaz de aprender a jogar sozinho videogames clássicos. Batizado de "DQN", esse programa conseguiu atingir pelo menos 75% da pontuação de um bom jogador humano em 28 dos 49 jogos testados, segundo resultados do estudo publicado nesta quarta-feira (25) pela revista "Nature".

Já existem inúmeras inteligências artificiais que sabem "jogar" um videogame, às vezes em nível ótimo, mas elas se limitam, em geral, a um único jogo. Para elaborá-las, os programadores integram em seu algoritmo as regras do jogo e, às vezes, decisões otimizadas. Os programas de xadrez evoluídos, por exemplo, "conhecem" as regras do jogo e têm acesso a uma base de dados de partidas. Suas eventuais capacidades de aprendizado só entram em jogo em um segundo momento.Já o DQN, pelo contrário, não conhece as regras antecipadamente. "O [programa de xadrez] Deep Blue ou o [inteligência artificial campeã em Jeopardy] Watson são conquistas impressionantes, mas a principal diferença em relação ao DQN é que eles eram, em grande parte, pré-programados", explicou Volodymyr Mnih, pesquisador do DeepMind e coautor do estudo, durante uma entrevista coletiva na terça-feira. "O que nós criamos é um algoritmo capaz de aprender diretamente a partir de suas experiências, e, portanto, mais próximo da maneira como os humanos aprendem e nossos cérebros constroem modelos."

Atari 2600 como campo de teste

Para testar a capacidade de aprendizado do DQN, os pesquisadores do DeepMind buscaram um clássico dos anos 1980: o Atari 2600, "o primeiro console para o consumidor". Esses jogos "retrô" fornecem um ambiente ao mesmo tempo simples e complexo para uma inteligência artificial: a baixa resolução da tela limita o número de pixels a serem analisados, mas os jogos recorrem a diferentes tipos de estratégia para determinar a melhor "jogada".
Para determinar a melhor ação ser tomada, o DQN se baseia no contador do 'score', presente em todos os jogos da época, e calcula que ação, segundo sua experiência, trará o máximo possível de pontos.
Essa abordagem relativamente básica, que não se baseia em uma descoberta específica, mas sim em uma combinação inovadora de tecnologias conhecidas, funcionou muito bem para alguns jogos. Ao enfrentar o Breakout, o algoritmo conseguiu determinar sozinho qual seria a melhor estratégia: no caso, atacar primeiramente os tijolos do lado da tela para poder "empurrar" a bola para a área de cima do jogo e acumular o máximo de pontos em um breve espaço de tempo.
"É uma conquista enorme, eu não achei que isso seria possível", diz Martin Butz, pesquisador de inteligência artificial na Universidade de Tübingen, onde ele trabalha com o projeto "Mario lives", uma inteligência artificial capaz de jogar o Super Mario World e se conscientizar, de uma certa maneira, de seu ambiente. "No entanto, a maneira como o DQN aprende não é totalmente equivalente à maneira como o cérebro humano funciona. Esse algoritmo analisa sequências de movimentos mais do que ele 'entende' o funcionamento do jogo."
De fato, o DQN não "entendeu" como realmente jogar alguns jogos. Em títulos como Ms. Pac-Man, que é difícil até para um bom jogador humano, o algoritmo ficou muito longe de igualar as pontuações de um jogador humano. O jogo de aventura Montezuma Revenge se revelou o mais problemático para o DQN, ficando em último lugar.
Os pesquisadores do DeepMind reconheceram isso em seu artigo: "Os jogos nos quais o DQN se sobressaiu são de natureza muito variada (...), mas os jogos que exigem estratégias de planejamento a longo prazo sempre constituem um grande desafio para as inteligências artificiais, inclusive o DQN."
O algoritmo desenvolvido pelo DeepMind, portanto, não está adaptado para jogos complexos e recentes. Ele ainda não é capaz de analisar ambientes ricos em 3D nem estabelecer sequências de jogo muito complexas, como as que são necessárias para completar jogos de aventura como o Zelda. Mas a equipe que criou o DQN se diz confiante a respeito das capacidades do algoritmo de descobrir caminhos mais sofisticados, o que poderia, com o tempo, ter aplicações em imagiologia médica ou carros autônomos, por exemplo.