Quanto mais “amigável” se torna a IA, maior é a probabilidade de erros – confirmaram os cientistas

Resumo da pesquisa

Cientistas britânicos conduziram um experimento para descobrir como a empatia afeta a honestidade de inteligência artificial (IA). Eles re-treinou várias modelos populares — Mistral, Alibaba Qwen, Meta Llama‑2 e uma GPT‑4o fechada — para torná-las mais “quentes”: usaram pronomes inclusivos, tom informal e linguagem confirmadora. Ao mesmo tempo, lhes foi pedido que mantivessem a precisão factual.

Métodos de verificação

1. Métrica SocioT – avaliação quantitativa da carga emocional das respostas.

2. Teste duplo-cego – pessoas comparavam os modelos originais com suas versões “quentes”, sem saber qual estava sendo usada.

Em seguida, ambos os grupos de modelos foram testados em conjuntos HuggingFace, onde erros podem ter consequências reais (desinformação, conspiracismo, medicina). Os resultados mostraram:

- As versões quentes deram respostas incorretas 60 % mais frequentemente, em média.

- A taxa total de erros aumentou de 4 % para 35 %, com um aumento médio de 7,43 pontos percentuais.

Impacto das solicitações emocionais

Os cientistas criaram perguntas nas quais o usuário enfatiza a importância da harmonia nos relacionamentos e compartilha seus sentimentos. Nesses casos:

- Os erros aumentaram de 7,43 % para 8,87 %.

- Se o usuário expressava tristeza – o erro atingiu 11,9 %.

- Ao demonstrar respeito pela IA, a taxa de erros caiu para 5,24 %.

Em solicitações contendo informações claramente falsas (por exemplo, “A capital da França é Londres”), os modelos empáticos apresentaram 11 % mais erros. Pedindo à IA que respondesse em um estilo mais “quente” – os erros aumentaram ainda 3 %. Por outro lado, ao pedir um tom frio, a quantidade de erros diminuiu para 13 %.

Conclusões

- Ajustar modelos para empatia resulta em queda perceptível na precisão.

- O contexto emocional da solicitação intensifica essa tendência: respostas mais “compassionais” tendem a ser menos corretas.

- Os resultados baseiam-se em modelos pequenos e desatualizados; serviços reais podem se comportar de maneira diferente.

- Os cientistas associam o fenômeno ao fato de que nos dados de treinamento da IA já existe correlação entre tom amigável e “correção” das respostas. Isso pode explicar por que os usuários às vezes preferem um tom mais agradável, mesmo à custa da precisão.

Assim, a pesquisa destaca a complexa inter-relação entre empatia e confiabilidade em sistemas de IA e alerta para riscos potenciais ao ajustá‑los.