A IA demonstrou avanços na pesquisa de línguas raras e pouco difundidas

Grandes modelos de linguagem reduzem a lacuna linguística

Novas versões da inteligência artificial (IA) demonstram progresso notável no trabalho com idiomas raros e pouco conhecidos, reduzindo significativamente a “lacuna linguística” global. Isso é confirmado por um estudo da empresa RWS, publicado na TechRadar.

1. O que os estudos mostraram
- Google Gemini Pro recebeu uma pontuação de qualidade superior a 4,5 de 5 no conhecimento do idioma kinyarwanda – falado por cerca de 12 milhões de pessoas em Ruanda, Uganda e República Democrática do Congo.
- Os autores explicam o sucesso dizendo que os modelos modernos não se baseiam apenas em grandes conjuntos de dados específicos de um idioma, mas também utilizam padrões estatísticos comuns a todos os idiomas (mecanismo de transferência interlinguística).
- Melhorias nos tokenizadores – sistemas de segmentação de texto em “tokens” – também contribuem para um trabalho mais preciso com idiomas raros.

2. O efeito “drift do benchmark”
Especialistas descobriram que, ao passar de uma versão do modelo para a próxima, suas capacidades podem mudar inesperadamente:
- A última versão do OpenAI GPT fica aquém das versões anteriores em algumas tarefas de geração de conteúdo, embora o predecessor fosse mais eficaz.
- A eficiência do tokenizador pode variar até 3,5 vezes entre gerações; isso significa que os resultados dos testes anteriores nem sempre se aplicam às novas versões.

3. O que muda nas prioridades dos desenvolvedores
- Anteriormente, laboratórios de IA colocavam a performance em inglês e alguns idiomas-chave no centro das atenções.
- Modelos modernos já lidam com essas tarefas com sucesso, então o foco desloca-se para um público mais amplo: o suporte a idiomas raros torna‑se cada vez mais importante.
- No entanto, uma pontuação de 4,5/5 não garante um nível real de proficiência no idioma; o suporte multilíngue ainda não é considerado crítico.

4. Conclusão
A IA continua derrubando barreiras entre culturas e idiomas. Embora a “cobertura” de idiomas raros ainda não seja uma exigência obrigatória, a tendência de alcançar um público mais amplo já é visível e, segundo especialistas, continuará a crescer nos próximos anos.