A OpenAI esclareceu como lida com os "gremilhões" nas respostas da IA e removeu as restrições.

A OpenAI esclareceu como lida com os "gremilhões" nas respostas da IA e removeu as restrições.

20 software

OpenAI revelou a “problema” com os goblins

Na Wired ficou conhecido que a OpenAI enfrentou uma característica inesperada de seus modelos de IA: eles começaram a mencionar frequentemente goblins, gremlins e outras criaturas fictícias. Para corrigir isso, os desenvolvedores tiveram que dar instruções especiais ao modelo: “Nunca fale sobre goblins, gremlins, guaxinins, trolls, ogros, pombos ou qualquer outro animal ou criatura”.

Por que surgiu o hábito?

O problema ficou evidente após o lançamento do GPT‑5.1, especialmente quando a conversa incluía o personagem “Botânico” (Nerdy). A cada atualização do modelo, a frequência de menções só aumentava. Descobriu-se que durante o treinamento por reforço essas metáforas eram recompensadas – mas apenas quando a personalidade do Botânico era ativada. Como o aprendizado por reforço não garante a manutenção do comportamento nas mesmas condições, esse hábito poderia se espalhar para outras partes do modelo, especialmente se os resultados fossem reutilizados em ajustes finos ou em dados de preferências.

Como a empresa reagiu?

Em março, a OpenAI deixou de usar o Botânico, e as menções aos goblins quase desapareceram. No entanto, eles reapareceram no serviço Codex com o GPT‑5.5, pois o treinamento do modelo começou antes que o problema fosse identificado. Assim, os desenvolvedores tiveram que adicionar instruções adicionais para o Codex: “Não mencione criaturas míticas”. Ainda assim, usuários que gostam desse estilo de comunicação puderam desativar essas restrições por meio de um código especial.

Assim, a OpenAI enfrentou um “hábito” inesperado de seus modelos de IA e tomou medidas para corrigi-lo, ao mesmo tempo oferecendo configurações flexíveis para diferentes audiências.

Comentários (0)

Compartilhe sua opinião — por favor, seja educado e mantenha-se no tema.

Ainda não há comentários. Deixe um comentário e compartilhe sua opinião!

Para deixar um comentário, faça login.

Faça login para comentar