Robôs de IA perdem eficiência em conversas longas com pessoas — um grande estudo da Microsoft confirmou isso.

Pesquisa da Microsoft Research e Salesforce: como grandes modelos de IA perdem o rumo em diálogos

O que foi estudado
Quais modelos 200 000+ conversas multi-turno com LLMs líderes GPT‑4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, OpenAI o3, DeepSeek R1, Llama 4

Principais conclusões
Indicador Resultado Precisão em consultas únicas 90 % de respostas corretas (GPT‑4.1, Gemini 2.5 Pro) Precisão em diálogos longos ~65 % – quase um terço da eficiência cai Comportamento do modelo Frequentemente “reutiliza” sua primeira resposta errada como base para as próximas respostas Comprimento das respostas Aumenta 20‑300 % em conversas multi-turno, levando a mais alucinações e suposições Confiabilidade Diminui até 112 % (modelos geram respostas prematuramente sem terminar de ler o pedido)

Por que isso acontece?
1. Reutilização da base errada

O modelo se apega à sua primeira conclusão e constrói as respostas subsequentes sobre ela, mesmo que esteja incorreta.

2. Expansão do contexto

A cada nova pergunta adiciona-se mais texto – isso aumenta a quantidade de “fatos inventados” que o modelo aceita como verdadeiros.

3. Problema com tokens de pensamento

Mesmo modelos com tokens adicionais (o3, DeepSeek R1) não conseguiram superar essa armadilha – continuam gerando respostas muito cedo e sem análise suficiente.

O que isso significa para os usuários?
- Baixa confiabilidade em conversas reais

A IA pode “perder o rumo”, começando a falar sobre coisas inexistentes.

- Risco de informação incorreta

Abandonar sistemas de busca tradicionais em favor de ferramentas generativas (por exemplo, revisões do Google‑IA) aumenta a probabilidade de receber dados não confiáveis.

- Importância de prompts de qualidade

A Microsoft já apontou baixo nível de engenharia na criação de prompts. Perguntas mal formuladas e “prompts ruins” podem impedir que a IA atinja seu potencial.

Conclusão
A tecnologia de grandes modelos de linguagem ainda está em desenvolvimento. Embora mostrem alta precisão em consultas únicas, sua confiabilidade em diálogos multi-turno permanece problemática. Para usar a IA de forma segura e eficaz é importante:

1. Escrever perguntas claras e específicas.
2. Estar pronto para corrigir as respostas da IA.
3. Não confiar totalmente no conteúdo gerado sem verificação factual.

Em última análise, aprimorar os modelos e aumentar sua robustez em conversas longas é a chave para que a IA se torne um parceiro confiável para os usuários.