A Cisco identificou razões pelas quais relatórios de IA sobre incidentes cibernéticos, mesmo parecendo perfeitos, não devem ser aceitos como verdade absoluta

Cisco Talos investiga a precisão de grandes modelos de linguagem na criação de relatórios cibernéticos

A equipe Cisco Talos Incident Response conduziu um teste para descobrir quão confiáveis os LLMs modernos (ChatGPT, Claude e Gemini) podem ser ao gerar relatórios técnicos sobre incidentes cibernéticos. Os resultados mostraram que mesmo os documentos mais “profissionalmente parecidos” contêm erros factuais, contradições e inconsistências.

Como a pesquisa foi conduzida
* Preparação – os pesquisadores enviaram a cada modelo anotações brutas do incidente com o pedido de elaborar um relatório.

* Saída – os três LLMs produziram documentos visualmente polidos, mas uma análise detalhada revelou imprecisões e conclusões inesperadas.

Nate Pors, diretor sênior de resposta a incidentes no Cisco Talos, descreveu em detalhes os resultados em seu blog corporativo.

Por que os LLMs “erram”
O Cisco explica os problemas pela natureza probabilística dos modelos: eles preveem a próxima palavra com base em pesos estatísticos, não entendendo o significado. Segundo Pors, as distorções aparecem em quatro direções:

1. Fragmentos de dados diferentes
Em cada solicitação, o modelo recorre a partes distintas da entrada, tornando impossível obter resultados reproduzíveis e padronizados.

2. Conclusões inconsistentes
Os mesmos dados podem levar a recomendações diferentes: um relatório pode sugerir a mudança forçada de senhas em toda a organização, enquanto outro apenas mudanças pontuais. O modelo costuma se fixar na primeira recomendação gerada, mesmo que não seja adequada.

3. Estrutura não padrão
Como os LLMs constroem o texto token por token, os documentos finais podem ter estruturas e formatações variadas, algo crítico em ambientes onde são exigidos modelos para controle de qualidade.

4. Problemas com a janela de contexto
Quando o volume de entrada excede o limite de contexto, o modelo pode “esquecer” informações importantes do início da sessão e produzir resultados imprevisíveis ou misturados.

O que isso significa para a cibersegurança
A Cisco reconhece que teoricamente é possível limitar a tarefa a um fragmento específico do relatório, mas essa abordagem impede os usuários de economizar tempo. No campo da defesa cibernética, mesmo um pequeno erro pode custar caro. Portanto, os autores dos documentos finais devem revisar minuciosamente cada palavra e não confiar totalmente nas recomendações dos LLMs.

Conclusão: grandes modelos de linguagem podem gerar relatórios rapidamente, mas suas conclusões exigem verificação obrigatória por especialistas para evitar erros e inconsistências em contextos críticos de incidentes cibernéticos.