A Anthropic apresentou uma maneira de interromper de forma emergencial o desenvolvimento da inteligência artificial

Anthropic apela à “auto‑restrição” no desenvolvimento da IA

A empresa Anthropic, conhecida por seus esforços em ética de inteligência artificial, voltou a estar no centro das atenções após um conflito com o Pentágono no início do ano. Esta semana, o startup pediu aos representantes do setor que estejam preparados para limitar o avanço das tecnologias caso elas comecem a representar uma ameaça à perda de controle humano.

Principais pontos do apelo

* O auto‑aperfeiçoamento totalmente recursivo da IA pode levar os sistemas a criarem seus próprios “sucessores” sem intervenção humana.

* Nesse cenário, as capacidades de monitoramento e restrição do comportamento desses sistemas tornam-se críticas.

> “Se os sistemas ganharem a capacidade de criar seus próprios sucessores de forma autônoma, nossa habilidade de controlar, monitorar e restringir seu comportamento ganhará grande importância”, diz o comunicado da Anthropic.

Por que isso importa?

No mês passado, mais de 80 % do novo código usado pela empresa foi gerado por seu próprio agente Claude. Isso confirma que a Anthropic sabe do que está falando: se a IA criar novas versões de si mesma, o controle sobre ela fica cada vez mais difícil.

Os representantes da startup acreditam que todo o mundo precisa ter a capacidade de desacelerar ou interromper o desenvolvimento de modelos avançados para dar à sociedade tempo de se adaptar e analisar as mudanças. Nesse contexto, a coordenação das ações de todos os participantes do mercado é crítica: sem medidas acordadas, jogadores desleais podem prejudicar a segurança pública.

Planos da empresa

* Nos próximos meses, a Anthropic pretende desenvolver ferramentas de monitoramento de tendências perigosas no desenvolvimento da IA.

* Paralelamente, conduzirá trabalho público sobre discussão de mecanismos regulatórios e criação de um órgão de supervisão que possa impor o regime de “auto‑restrição”.

Como a empresa enfatiza, nenhuma organização pode mudar a situação sozinha. É necessária a colaboração de todos os principais desenvolvedores de IA para garantir um desenvolvimento seguro das tecnologias.