Robôs assassinos e os perigos que podem oferecer a humanidade

Frente à iminência de uma possível guerra a todo momento, se torna imprescindível para os governos investirem no aperfeiçoamento de suas forças de defesa.

Ainda mais quando países como a Rússia e China se manifestam a favor do uso de sistemas autônomos baseados em IA.

Como por exemplo, a elaboração do plano do governo chinês definido em 2017, que visa colocar a China na liderança das Inteligências Artificiais até 2030 e as declarações do presidente Putin, nas quais afirma que a nação que for líder em IA, irá dominar o mundo. 

Porém, de acordo com um relatório da ONU, em 2020, um drone não tripulado denominado KARGU-2 e classificado como um “sistema de arma letal”, se voltou contra soldados libaneses, durante um conflito civil contra o governo libanês.

Embora não se saiba ao certo se tais soldados foram comprometidos, a necessidade do uso deste tipo de arma levanta outras questões que precisam da atenção de engenheiros e técnicos da indústria, as quais buscarei responder neste artigo.

O desenvolvimento de sistemas de IA para objetivos militares tem avançado a uma velocidade impressionante, impulsionado pela busca por vantagens estratégicas dos governos. No entanto, a implementação de medidas de segurança nesses sistemas nem sempre acompanha o mesmo ritmo.

As forças armadas de diversas nações estão investindo significativamente em análise de Big Data, Sistemas Integrados e Decision Science.

Em contrapartida, a complexidade inerente a sistemas pode introduzir vulnerabilidades que combatentes podem explorar como ataques de IA adversária e aprendizado de máquina adversarial (AML), os quais buscam manipular modelos de IA, comprometendo sua integridade.

Por isso, reconhecendo os desafios em torno do tema, iniciativas estão em andamento para alinhar o ritmo do desenvolvimento de IA militar com a implementação de fortes medidas de segurança. 

Por exemplo, podemos citar a Declaração Política do Departamento de Estado dos EUA, o qual destaca a necessidade de uma abordagem baseada em princípios que inclua a análise acurada de riscos do uso militar de sistemas autônomos de IA. 

De acordo com a declaração, os estados devem garantir que os projetos de armas militares que envolvam sistemas de IA, como os robôs de combate, precisam possuir alguns padrões:

• garantia da implementação dos procedimentos de segurança por parte das organizações militares, sob a supervisão de órgãos fiscalizadores;
• aplicação de revisões jurídicas para garantir que os sistemas de IA em desenvolvimento tenham como base o Direito Internacional Humanitário, com foco na proteção de civis em conflitos;
• uso de fontes de dados, métodos, documentações e procedimentos que sejam auditáveis, não devendo ser sistemas fechados para análise de confiabilidade;
• implementação de medidas internas dentro dos sistemas, com o objetivo de antecipar o acontecimento de falhas, evitar a ocorrência de acidentes não intencionais e responder ativamente (controle, bloqueio, desativação ou desligamento completo do sistema). 

Caso deseje acessar o restante dos requisitos expostos pela declaração, clique aqui.

Embora o desenvolvimento de robôs militares esteja progredindo rapidamente, é fundamental que a segurança da IA dentro deles receba atenção equivalente.

Portanto, a integração de medidas de segurança por parte de engenheiros durante o ciclo de vida do produto se torna imprescindível, a fim de assegurar que as vantagens proporcionadas não sejam comprometidas por vulnerabilidades que possam vir a ser exploradas.

A delegação da decisão de tirar uma vida a um robô militar levanta questões éticas e legais. Embora a IA ofereça benefícios significativos em operações militares e aumente o poder de defesa dos países, confiar a ela a capacidade de tomar decisões letais é um dilema controverso.

Pois, um robô militar pode apresentar comportamentos imprevisíveis, especialmente em cenários de combate de alta complexidade, os quais possuem um grande nível de mudança de variáveis.

A automação de decisões tão vitais por IA confronta os princípios fundamentais do direito internacional humanitário, pois a ausência de julgamento humano pode levar a violações de leis, resultando no cometimento de crimes gravíssimos.

Portanto, não há como falar de projetos de robôs militares, sem falar na necessidade de regulamentação rigorosa e criação de procedimentos complexos de engenharia. 

Diante das incertezas técnicas que envolvem dilemas éticos sobre armas de IA militares, confiar a decisão de tirar uma vida a um robô é altamente questionável.

Sendo assim, estando comprovado que o uso de sistemas de IA militares possuem mais riscos do que benefícios, é imperativo que engenheiros e técnicos trabalhem juntos para garantir que o controle humano ainda permaneça central nesse modelo de decisão.

Embora necessário, determinar um prazo específico para garantir que esses sistemas estejam totalmente sob controle e sejam confiáveis antes de serem utilizados na prática é um desafio complexo, pois existem uma infinidade de fatores, como:

• evolução tecnológica veloz: o desenvolvimento acelerado de sistemas militares de IA pode introduzir vulnerabilidades desconhecidas que precisam ser constantemente mitigadas;

• complexidade de sistemas: a natureza intrincada dos sistemas requer testes extensivos para assegurar comportamentos previsíveis em uma vasta gama de cenários de operação;

• ameaças cibernéticas em andamento: estão em constante mudança, exigindo atualizações regulares nas medidas de segurança contra ataques de hackers.

Porém, ainda assim existem algumas iniciativas para definição de um prazo para regulamentações de IA, como o Regulamento Europeu de Inteligência Artificial, que estabeleceu uma data limite para aplicação das medidas entre os anos de 2025 e 2026, o que indica um esforço para estabelecer uma governança de IA em um futuro próximo.

Portanto, é evidente que esforços estão sendo feitos para implementar diretrizes que garantam sua segurança antes da produção e uso em larga escala, principalmente no que diz respeito a robôs militares autônomos.

Nesse sentido, a colaboração parceira entre governos, engenheiros e técnicos será crucial para alcançar esse objetivo de forma eficaz.

Robôs militares são sistemas e precisam introduzir aspectos mais “humanos” em seu funcionamento. Por isso, é essencial incorporar características que permitam um comportamento ético, empático e compreensível, o que significa equilibrar a autonomia entre controle humano e responsabilidade.

A seguir, listo algumas características fundamentais que devem ser integradas aos modelos de Machine Learning (ML).

Garantir que as decisões possam ser entendidas e justificadas pelos que a operam. 

Portanto, um case prático seria implementar nos robôs, modelos de IA interpretáveis, como redes neurais explicáveis, em vez de redes profundas de “caixa-preta”; com o uso de técnicas SHAP (Shapley Additive Explanations) e LIME (Local Interpretable Model-Agnostic Explanations).

Incorporar regras baseadas em diretrizes éticas de combate, como os tratados de Genebra.

Por exemplo, inserir algoritmos que avaliam a proporcionalidade e diferença entre militares e civis inocentes, por meio da modelagem baseada em Reinforcement Learning, com a aplicação de penalizações para decisões antiéticas.

Melhorar a interação humano-máquina.

Outro case prático seria o uso de Processamento de Linguagem Natural (NLP) para interpretar emoções em comandos humanos, através de modelos de Deep Learning focados em reconhecer sentimentos.

Assegurar que a IA opere apenas como um assistente em decisões de alta criticidade.

Na prática, sistemas que exijam a validação humana antes de ações letais, através de modelos híbridos como o HITL (Human-In-The-Loop), onde humanos realizam revisão e validação.

Criar sistemas que possam revisar decisões e corrigir erros antes e após a execução. 

Um exemplo seria seria a implantação de algoritmos que podem reavaliar escolhas e cancelar comandos antes da execução, através da Meta-Aprendizagem, Aprendizado Contínuo e Simulação.

A incorporação das características citadas pode ajudar a criar armas militares que operem de forma segura e previsível, aplacando riscos éticos e operacionais. Por isso, a colaboração de engenheiros e técnicos se faz inevitável, uma vez que pode garantir que sejam desenvolvidas técnicas de qualidade desde o design até a aplicação.

A falha de uma arma militar com Inteligência Artificial em conflitos pode gerar riscos catastróficos, tanto para combatentes quanto para civis, mas os riscos vão desde erros de reconhecimento até ações letais não autorizadas, o que levanta uma enorme preocupação da engenharia.

O robô pode identificar incorretamente um alvo hostil e atacar civis ou aliados, como no caso que aconteceu em 2021, onde um drone autônomo KARGU-2, mostrado na imagem abaixo, supostamente atacou alvos sem comando humano na Líbia, demonstrando o perigo da falta de supervisão. 

Devido a dados de treinamento inadequados, algoritmos de visão computacional podem falhar ao diferenciar combatentes de não combatentes.

Sistemas podem ser vulneráveis a ataques cibernéticos, tornando-os suscetíveis a manipulação da comunicação. Assim, hackers poderiam induzir o reconhecimento de um objeto inofensivo como uma ameaça.

Causa hipotética: Data Poisoning (envenenamento de dados), onde informações manipuladas levam a decisões erradas.

Robôs podem interpretar ordens de maneira extrema ou agir de forma inesperada para cumprir sua programação, ou seja, um sistema treinado para eliminar ameaças pode acabar eliminando qualquer elemento que interfira em sua missão, incluindo operadores e civis.

Em modelos de Reinforcement Learning, assim como em outros, existe a possibilidade do sistema exagerar comportamentos desejados, se não forem regulados corretamente.

Um sistema pode não compreender nuances situacionais, levando a decisões inadequadas, por exemplo, ele pode não distinguir entre uma pessoa correndo em pânico e um agressor fugindo, classificando ambos como ameaças.

Possível causa: falta de capacidade semântica nos modelos para entender cenários complexos.

Se o robô perder contato com o operador, então, ele pode continuar executando missões sem possibilidade de recall imediato, realizando ações além da supervisão humana.

Provável causa: falta de protocolos de desligamento e sistemas de redundância.

Os riscos de falhas em armas militares são sérios e demandam um desenvolvimento rigoroso, incluindo testes, regulamentação e supervisão humana. Sendo assim, engenheiros e técnicos desempenham uma função crítica na implementação de salvaguardas para evitar falhas que podem chegar a uma escala global.

Engenheiros e técnicos da indústria podem contribuir significativamente para o desenvolvimento e aplicação da Inteligência Artificial (IA) em projetos militares, inclusive, na integração com processos produtivos, automação, qualidade e segurança.

• Otimização de processos de produção de armas militares baseadas em IA;
• Aplicação de Lean Manufacturing e Indústria 4.0, para otimizar a fabricação de robôs militares e sistemas autônomos;
• Implementação de sistemas ciberfísicos (CPS), para integrar IA e automação na produção de robôs militares;
• Uso de Digital Twins (gêmeos digitais), para testar e validar armas militares de IA antes da implementação real;
• Gestão de Qualidade e Confiabilidade em armas militares de IA;
• Desenvolvimento de planos de controle de qualidade, para IA aplicada a sistemas críticos;
• Aplicação de Six Sigma, para reduzir falhas em sistemas automatizados;
• Utilização de ferramentas como FMEA (Failure Mode and Effects Analysis), para prever e mitigar falhas em robôs militares;
• Aplicação de Manutenção Preditiva com IA, para prever falhas em sistemas militares e reduzir tempo de inatividade;
• Uso de IA para controle adaptativo de processos, ajustando operações em tempo real;
• Desenvolvimento de cadeias de suprimentos inteligentes, para reduzir custos e tempo de entrega de armas militares;
• Criação de modelos de Machine Learning, para prever falhas em equipamentos militares;
• Uso de sensorização e IoT, para coletar dados de desgaste de componentes de robôs militares;
• Simulação e modelagem de cenários críticos;
• Testes de IA em ambientes simulados, antes da aplicação real.

• MATLAB/Simulink (simulação de processos e controle de sistemas);
• Arena e AnyLogic (simulação de processos produtivos);
• FlexSim e Plant Simulation (análise de eficiência em fábricas de defesa);
• Power BI e Tableau (análise de dados industriais para tomada de decisão);
• Python (Pandas, TensorFlow, PyTorch e Scikit-Learn), C++ e R (análises estatísticas e modelagem preditiva);
• AutoML (Google, AWS e DataRobot – criação automática de modelos de IA);
• Tia Portal (Siemens) e Rockwell Automation (controle de processos industriais com IA)
• OpenCV e YOLO (visão computacional para inspeção de qualidade)
• Edge Computing e IoT (integração de sensores para coleta de dados em tempo real);
• Machine Learning e Deep Learning (redes neurais convolucionais (CNNs), redes recorrentes (RNNs) e Transformers);
• Modelos como BERT, GPT e LLaMA (Processamento de Linguagem Natural);
• SHAP e LIME (Explainable AI);
• Microcontroladores ARM e FPGA (sistemas embarcados e IoT);
• Gazebo e Unreal Engine (simulação e treinamento virtual);
• Robot Operating System (controle de robôs autônomos);
• Plataformas Google Cloud AI, Azure AI e AWS SageMaker (computação escalável);
• Kali Linux (testes de invasão), Snort (monitoramento de redes) e Metasploit (simulação de ataques cibernéticos).

• Robôs rastreadores (Boston Dynamics): são construídos no formato de quadrúpedes, parecidos com um cão de estimação e treinados para conseguir se locomover em qualquer tipo de ambiente, seja no piso de uma residência, seja na floresta ou até mesmo em uma superfície escorregadia. 

Eles são equipados com câmeras de monitoramento inteligentes e sua função principal é perseguir o alvo até encontrá-lo, com o intuito de coletar dados.

Porém, já existem projetos que visam instalar armas de fogo nesses robôs, para não apenas coletarem dados, mas também para eliminar alvos de risco potencial. 

E além disso, não serem tripulados por seres humanos, mas serem completamente autônomos.

• Drones de combate (Rafael Advanced Systems): são construídos no seu formato particular, com motores que acionam hélices fazendo com que o ar seja empurrado para baixo e assim possam planar no ar. 

Funcionam com sistemas controlados por controle remoto via Wifi ou Bluetooth, no entanto, são tripulados por humanos. 

Contudo, diferentemente dos robôs rastreadores, eles possuem a função de explosão em combate, juntamente com o diferencial de rastrear um perímetro muito maior, não estando limitados ao chão. 

Além disso, já existem casos de modelos sendo usados para derrubar mísseis e auxiliar no rastreio de alvos, em Israel e Ucrânia.

• Sistemas de Tripulação de Aeronaves Militares (Shield AI): sistemas inteligentes treinados para entrar em combate com aeronaves militares em ambientes simulados de realidade aumentada. 

São capazes de calcular milhares de variáveis, fazer movimentos avançados e executar comandos autônomos, contudo, sem apresentar o limite emocional dos seres humanos. 

Por exemplo, um dos seus movimentos é a manobra de combater uma aeronave de frente, algo que um ser humano jamais faria, por medo.

• Sistemas de programação inteligentes (Collaborations Pharmaceuticals): são sistemas criadores de lógicas matemáticas infinitas, os quais podem detectar e desenvolver de forma completamente autônoma, armas de alto risco para a humanidade como armas biológicas e bombas nucleares. 

O sistema foi testado, apresentado em conferências, chamou a atenção da Casa Branca e foi publicado em formato de artigo na Nature, intitulado de Dual use of artificial-intelligence-powered drug discovery (Dupla utilização na descoberta de medicamentos baseada em inteligência artificial).

Como resultado, artigo foi acessado por milhares de pessoas, apelidado pelo site Radiolab de 40,000 recipes for Murder (40.000 receitas de assassinato) e mencionado no The Economist e Financial Times.

Diante disso, considerando que além destas tecnologias, existem muitas outras em andamento, nos resta discorrer a respeito de como iremos limitar essas IAs para entender o mundo como um ser humano entende. 

Nesse sentido, os engenheiros da indústria desempenham um papel essencial nessa missão, garantindo que sistemas militares sejam seguros, eficientes e escaláveis.

Assim, com habilidades em automação e análise de dados, esses profissionais ajudam a integrar IA em fábricas, logística e manutenção, tornando a defesa mais confiável. 

A interseção entre IA, robótica e defesa cibernética está crescendo, portanto, profissionais com essas habilidades serão fundamentais para garantir que essas tecnologias sejam seguras, éticas e eficientes.

Pois, mesmo que pareça precoce afirmar que existe uma ameaça global se aproximando com relação ao desenvolvimento de IAs, é inevitável que precisamos prestar atenção ao que está acontecendo, nos manter atualizados e aprender habilidades de criação de projetos de IA, para poder contribuir em soluções ainda não implantadas no contexto brasileiro, mas já testadas em outros países.