Os pesquisadores da Microsoft afirmam que os modelos de IA ainda não são capazes de resolver tarefas complexas.

Os pesquisadores da Microsoft identificaram limitações das grandes modelos de linguagem (LLM) modernas ao executar tarefas complexas e repetitivas

Nos experimentos do Microsoft Research, descobriu-se que mesmo os modelos de IA mais avançados cometem erros graves quando são encarregados de realizar operações longas e em múltiplas etapas. Entre os sistemas testados — Gemini 3.1 Pro, Claude 4.6 Opus e GPT 5.4 — cada um perdeu em média cerca de 25 % do conteúdo dos documentos após o processamento autônomo.

O que exatamente foi testado
* Benchmark DELEGATE‑52

Criado pela equipe de Felipe Labana, Tobias Schnabel e Jennifer Neville. Ele modela fluxos de trabalho em 52 áreas profissionais: desde programação e notação musical até cristalografia.

* Critério de avaliação

Os modelos foram avaliados quanto à sua capacidade de manter a integridade do documento após 20 ciclos de processamento. O limiar de “prontidão” foi estabelecido em 98 % – se o resultado caísse abaixo, a tarefa era considerada falha.

Principais conclusões
Área | Melhores resultados | Programação | Mais fortes desempenhos | Linguagem natural | Modelos menos confiáveis
---|---|---|---|---|---
* Queda de qualidade

Em mais de 80 % das combinações de documentos, a qualidade caiu para 80 % ou menos. O melhor modelo (Gemini 3.1 Pro) atendeu aos critérios de prontidão apenas em 11 das 52 áreas.

* Erros saltitantes

As perdas não ocorriam gradualmente, mas “em saltos”: em um único ciclo de interação o modelo podia perder entre 10 e 30 % da precisão. Modelos mais avançados (Gemini 3.1 Pro, Claude 4.6, GPT 5.4) tentavam evitar pequenos erros, adiando sua resolução para etapas posteriores e reduzindo a quantidade de interações.

* Gerenciamento por agente

Ao usar ferramentas em modo de gerenciamento por agente, os resultados não melhoraram: até o final do ciclo, a qualidade caía cerca de 6 %.

O que isso significa para os usuários
Os cientistas enfatizam que os usuários ainda precisam monitorar cuidadosamente o trabalho das sistemas de IA ao delegar-lhes autoridade. Os modelos atuais são capazes de operar autonomamente apenas em domínios estreitos.

No entanto, os autores do benchmark destacam um progresso notável: a família de modelos OpenAI melhorou seu desempenho de 14,7 % para 71,5 % em 16 meses. Isso confirma que os LLM continuam evoluindo, mas ainda permanecem limitados em tarefas complexas e repetitivas.