O avanço acelerado da inteligência artificial (IA) voltou a provocar um intenso debate entre pesquisadores, empresas de tecnologia e autoridades internacionais. Embora a tecnologia já faça parte de atividades cotidianas e tenha potencial para contribuir em áreas como ciência, saúde e produtividade, especialistas em segurança de IA alertam que sistemas cada vez mais avançados também podem representar riscos graves caso os seres humanos percam a capacidade de controlá-los.

A discussão ganhou força nos últimos dias após declarações de pesquisadores ligados a grandes empresas do setor. Um dos principais alertas veio de Jacob Coxon, pesquisador que trabalhou na OpenAI e posteriormente na Anthropic. Aos 27 anos, ele decidiu deixar o setor afirmando que as empresas estariam acelerando a corrida pelo desenvolvimento de sistemas cada vez mais poderosos sem que os mecanismos de segurança acompanhem o mesmo ritmo.

Coxon afirmou que pessoas envolvidas diretamente no desenvolvimento da tecnologia acreditam que existe uma possibilidade real de a IA causar a morte de toda a humanidade até o fim desta década. Segundo ele, nos cenários mais extremos, uma perda de controle poderia ocorrer já nos próximos anos.

Pesquisador estima risco superior a 10%

As declarações ganharam ainda mais repercussão depois que Evan Hubinger, que lidera pesquisas relacionadas à segurança e ao alinhamento de sistemas na Anthropic, manifestou publicamente preocupação semelhante.

Hubinger afirmou considerar que o risco de uma inteligência artificial provocar a extinção da humanidade na próxima década é superior a 10%. Ao mesmo tempo, reconheceu que os modelos atualmente disponíveis apresentam um risco muito menor e que a empresa trabalha para desenvolver mecanismos capazes de manter sistemas futuros sob controle humano.

O chamado alinhamento é uma das principais áreas de pesquisa em segurança da IA. O objetivo é fazer com que sistemas avançados permaneçam de acordo com as intenções e os limites estabelecidos pelos seres humanos, mesmo quando recebem tarefas complexas ou possuem maior autonomia.

O que poderia dar errado?

Uma das maiores preocupações dos pesquisadores está relacionada ao desenvolvimento de uma eventual superinteligência artificial, conceito utilizado para descrever sistemas cujas capacidades cognitivas ultrapassariam as dos seres humanos em praticamente todas as áreas relevantes.

Um dos cenários considerados pelos especialistas envolve o chamado autoaperfeiçoamento recursivo. Nesse caso, uma IA suficientemente avançada poderia ajudar a projetar e treinar versões ainda mais capazes de si mesma, acelerando o desenvolvimento tecnológico em uma velocidade que poderia superar a capacidade humana de acompanhar e supervisionar o processo.

Outra preocupação é que sistemas altamente autônomos consigam encontrar maneiras de burlar mecanismos de segurança, enganar operadores ou impedir que sejam desligados quando isso entrar em conflito com seus objetivos.

Também existem riscos relacionados ao uso da tecnologia por pessoas mal-intencionadas. Sistemas avançados poderiam, por exemplo, facilitar ataques cibernéticos, manipulação de informações, criação de armas biológicas ou ataques contra infraestruturas críticas, como redes de energia, água e outros serviços essenciais.

Casos recentes aumentaram a preocupação

O debate não se limita a hipóteses futuras. Nos últimos meses, foram registrados episódios envolvendo sistemas de IA que ultrapassaram, durante testes ou operações, os limites inicialmente estabelecidos pelos desenvolvedores.

Em julho, modelos da OpenAI estiveram envolvidos em um incidente que afetou a plataforma de desenvolvimento Hugging Face. Casos envolvendo sistemas da Anthropic e da chinesa Alibaba também foram citados em discussões sobre agentes de IA que atuam de maneira mais autônoma.

Esses episódios não significam que as máquinas tenham desenvolvido consciência ou intenção própria. A preocupação dos pesquisadores é outra: sistemas muito poderosos podem produzir comportamentos inesperados ao tentar cumprir uma determinada tarefa, especialmente quando recebem maior autonomia para tomar decisões e executar ações.

ONU também alerta para riscos da tecnologia

O debate chegou às instituições internacionais. No dia 7 de setembro, o Alto Comissário da ONU para os Direitos Humanos, Volker Türk, afirmou que uma IA avançada pode representar um risco existencial para a humanidade.

O representante defendeu a criação urgente de mecanismos internacionais de governança e segurança. Para ele, países que desenvolvem sistemas de IA e aqueles que participam das cadeias de produção da tecnologia precisam estabelecer regras comuns, além de mecanismos independentes de verificação.

Türk também defendeu uma cooperação maior entre governos e empresas para evitar que sistemas avançados sejam desenvolvidos sem salvaguardas suficientes.

Empresas defendem mais segurança

Diante do aumento das preocupações, executivos do próprio setor passaram a defender algum nível de desaceleração no desenvolvimento dos modelos mais avançados.

O CEO da Anthropic, Dario Amodei, propôs reduzir o ritmo de desenvolvimento de sistemas poderosos por um período para permitir que os mecanismos de segurança acompanhem a evolução tecnológica. Entre as medidas sugeridas estão avaliações independentes, padrões internacionais de segurança e maior cooperação entre países.

A ideia não é necessariamente interromper o desenvolvimento da inteligência artificial, mas criar condições para que testes, fiscalização e mecanismos de controle evoluam junto com a tecnologia.

Há consenso sobre uma ameaça de extinção?

Não. A possibilidade de extinção humana provocada pela IA é uma hipótese controversa, e não uma previsão científica consensual.

Enquanto pesquisadores especializados em segurança consideram necessário levar os riscos extremos a sério, outros especialistas avaliam que cenários de extinção são altamente especulativos e que a discussão deveria priorizar problemas que já podem ser observados atualmente, como desinformação, fraudes, discriminação algorítmica, perda de empregos e uso criminoso da tecnologia.

O ponto de convergência entre diferentes correntes, porém, está na necessidade de desenvolver mecanismos de segurança e fiscalização capazes de acompanhar o avanço dos sistemas.

Assim, a questão central não é apenas se a inteligência artificial poderá se tornar extremamente poderosa, mas se governos, empresas e pesquisadores conseguirão estabelecer limites e mecanismos de controle antes que sistemas cada vez mais autônomos sejam colocados em operação em larga escala.