A moralidade da guerra robotizada
Michael C. Horowitz e Paul Scharre - TINYT
Divulgação

O vilão Ultron em cena do filme "Vingadores 2"
No início deste mês, "Os Vingadores 2" estreou nos cinemas dos Estados Unidos com super-heróis da Marvel lutando contra robôs malvados guiados por inteligência artificial e firmemente decididos a destruir a humanidade.

Embora as máquinas militares inteligentes ainda permaneçam no reino da ficção científica, algumas armas autônomas já são tecnicamente possíveis hoje. E o papel da autonomia nos sistemas militares deve aumentar à medida que os exércitos se valem da mesma tecnologia usada nos carros com piloto automático e robôs domésticos. As armas autônomas não são a mesma coisa que os drones. Um drone é pilotado remotamente por uma pessoa, que toma a decisão de disparar ou não. Por outro lado, uma arma autônoma é aquela que, quando ativada, pode selecionar e atacar alvos por conta própria.
Em meados de abril, 90 países e dezenas de organizações não-governamentais se reuniram em Genebra para discutir os desafios impostos pelas armas letais autônomas, e um consórcio de mais de 50 ONGs pediu uma proibição preventiva.
Os defensores da proibição das armas autônomas costumam alegar que a tecnologia de hoje não é boa o suficiente para discriminar de forma confiável entre alvos civis e militares e, portanto, é incapaz de cumprir as leis de guerra. Em algumas situações, isso é verdade. Em outras, não está tão claro. Mais de 30 países já automatizaram seus sistemas de defesa para abater foguetes e mísseis. Eles são supervisionados por seres humanos, mas, uma vez ativados, escolhem e atacam alvos sem nenhuma intervenção humana. Estes sistemas funcionam de forma bastante eficiente e têm sido usados há décadas sem controvérsias.
As armas autônomas não devem ser proibidas com base na tecnologia de hoje, mas os governos devem começar a trabalhar agora para garantir que suas forças armadas usem a tecnologia autônoma de uma forma segura e responsável, que conserve a deliberação humana e a responsabilidade pelo uso da força.
Uma maior autonomia poderia até mesmo reduzir as baixas de guerra, se usada da forma correta. Os mesmos tipos de sensores e de processamento de informação que permitem que um carro autopilotado evite atingir pedestres também podem permitir que uma arma robótica evite civis em um campo de batalha. É totalmente plausível que os sensores futuros possam distinguir com precisão entre uma pessoa segurando um rastelo e uma pessoa segurando um rifle, e fazer isso melhor do que os seres humanos.
Armas guiadas de precisão, ou "bombas inteligentes", já reduziram drasticamente as mortes de civis na guerra. As bombas ar-terra, que tinham 50% de chance de cair a 800 metros do alvo durante a 2ª Guerra Mundial, têm agora uma precisão de 1,5 metro. Esta tecnologia de orientação tem sido tão essencial para salvar vidas de civis que a Human Rights Watch sugeriu que usar armas não-guiadas em áreas povoadas é um crime de guerra.
Mesmo que as armas autônomas possam discriminar e atingir alvos com precisão, no entanto, elas ainda levantariam questões de segurança, responsabilidade e controle. Sistemas de piloto automático já ajudam os pilotos de avião a atravessar condições meteorológicas perigosas e reduzir o erro humano. Mas as mesmas características que tornam esses sistemas confiáveis –-o fato de sempre seguirem sua programação com precisão-– pode torná-los frágeis quando usados fora do ambiente operacional para o qual foram projetados. O mesmo vale para sistemas autônomos que operam em ambientes fora dos limites de sua programação.
Também é pouco provável que os militares compartilhem seus algoritmos com seus concorrentes, aumentando a chance de encontros inesperados entre sistemas autônomos no campo de batalha. Assim como a queda relâmpago, ou "flash crash", da bolsa em 2010, foi exacerbada por algoritmos automáticos de negociação de alta frequência, uma "guerra relâmpago" provocada por interações inesperadas entre sistemas autônomos poderia acontecer um dia.
O mais importante é evitarmos uma situação em que a disseminação de armas autônomas leve os líderes civis e militares a se dissociarem eticamente dos custos da guerra. Seres humanos devem estar por trás das decisões de tirar vidas.
Se uma arma autônoma atingir o alvo errado, a pessoa que a lançou pode negar a responsabilidade, observando que ela lançou a arma automática mas não escolheu o alvo específico?
Os debates recentes sobre os drones têm levantado questões semelhantes. Um operador de drones é tão responsável quanto um piloto de um avião ou um motorista de um tanque por suas ações – e inúmeras fontes sugerem que os pilotos de drone não demonstram um afastamento moral em relação à guerra. A preocupação é que as armas autônomas possam levar a uma situação em que as pessoas não se sintam mais moralmente responsáveis pelo uso da força.
Hoje, se um piloto de caça lança um míssil, sabe que é responsável por ele. O míssil, uma vez lançado, normalmente não pode retornar, e os mísseis teleguiados "travam" em seus alvos de forma automática. Se o resultado for considerado uso ilegal da força, a atribuição da responsabilidade consiste em saber se o que aconteceu foi uma falha técnica imprevisível, ou algo que o piloto deveria ter previsto.
As armas autônomas podem complicar isso de duas maneiras: ou porque a arma é tão complexa que seu operador não sabe como ela vai se comportar ou porque os operadores humanos sentem que é a arma que está matando, e não eles próprios.
Temos de reconhecer que os sistemas autônomos são máquinas que as pessoas utilizam, e não sujeitos morais independentes.
As armas por si só não respeitam as leis da guerra. As armas são usados pelas pessoas de formas que cumprem, ou violam, as leis da guerra. Isso significa que, à medida que as armas incorporam mais autonomia, o operador humano ainda tem a responsabilidade de garantir que as ações que está realizando estejam dentro da lei.
Garantir a responsabilidade é o verdadeiro desafio. A responsabilidade é um problema quando acontece um acidente e não está claro de quem é a culpa. Mas o verdadeiro problema é que pode surgir um vácuo de responsabilidade, em que as pessoas são mortas por armas autônomas mas nenhuma pessoa é claramente responsável pelas mortes.
Isso pode acontecer se o operador não entender a máquina por causa de um treinamento ruim ou de um sistema mal planejado. Também pode acontecer se o próprio sistema apresentar um comportamento inesperado em um ambiente do mundo real que até mesmo quem o projetou não poderia ter previsto. Nesse caso, seria difícil culpar o engenheiro. Talvez os responsáveis por testar as armas não tenham conseguido prever a situação. Ou talvez o mundo real seja simplesmente complexo demais para prever todos os problemas.
Em 2003, o sistema de defesa aérea Patriot dos Estados Unidos, que incorpora um alto grau de autonomia, abateu duas aeronaves amigas. Por fim, ninguém foi responsabilizado. Em parte, isso aconteceu porque as vítimas foram um resultado da falta de capacitação do operador, do desenho complexo do sistema e de um ambiente real que não tinha sido previsto.
Impedir que as armas sejam mais inteligentes não vai resolver esses problemas. É a forma como usamos a tecnologia que importa.
Os seres humanos devem assumir a responsabilidade moral e enfrentar o horror da guerra diretamente –-em vez de terceirizá-lo para as máquinas. E as pessoas devem ser capazes de manter o controle sobre uma arma e como ela se comporta. Não podemos ter armas que são intrinsecamente incontroláveis ou totalmente imprevisíveis. Depois de disparar uma bala, você não pode fazê-la voltar, mas a trajetória é previsível. A chave é garantir que as armas futuras, que se comportam como balas autoguiadas, não corram soltas por aí. Elas devem ter autonomia suficiente para concluir a missão que foi aprovada –-e nada mais. E os exércitos devem garantir que os operadores estejam confiantes de que estão agindo legalmente, dado o que sabem sobre a capacidade da arma, o alvo e o contexto.
Armas com maior autonomia podem significar mais precisão e menos vítimas civis. A resposta apropriada não é renunciar a uma tecnologia potencialmente útil, mas, em vez disso, entender onde o discernimento humano ainda é necessário, independentemente do quanto a tecnologia avance.
Tradutor: Eloise De Vylder