André Karpaty treinou agentes de IA para realizar centenas de experimentos à noite, quando as pessoas descansam.

André Karpathy abre uma nova abordagem para auto‑pesquisas

O ex‑líder de projetos de IA da Tesla e cofundador da OpenAI, André Karpathy, anunciou o lançamento de um projeto simples, mas poderoso, de código aberto. O script tem apenas 630 linhas e está hospedado no GitHub. Ele não pretende ser uma modelo pronta ou um grande produto corporativo; o objetivo é mostrar como agentes de IA podem automatizar completamente o método científico sem intervenção humana.

> “Nossa missão é construir agentes que avançam infinitamente rápido nas pesquisas, mesmo à noite” – escreveu Karpathy no X. A mensagem tornou‑se viral imediatamente e acumulou mais de 8,6 milhões de visualizações em dois dias.

Como funciona o sistema
1. Inicialização

O agente recebe um script de treinamento e um orçamento computacional fixo (geralmente 5 minutos na GPU).

2. Auto‑análise do código

Ele lê seu próprio código fonte, formula uma hipótese de melhoria (por exemplo, alterar a taxa de aprendizado ou a profundidade do modelo).

3. Modificação e execução do experimento

Faz as alterações, executa o experimento e avalia os resultados.

4. Verificação da eficácia

Se a métrica *val_bpb* (perda por byte na validação) melhora, a mudança é mantida; caso contrário, volta ao estado anterior e gera uma nova hipótese.

Em uma noite, o agente realizou 126 experimentos, reduzindo as perdas de 0,9979 para 0,9697. Após dois dias de ajustes, ele processou cerca de 700 alterações autônomas, descobrindo ~20 melhorias adicionais que foram transferidas com sucesso para modelos maiores.

Karpathy observou: “Ver o agente gerenciar completamente o processo do início ao fim é incrível. Ele encontrou erros na escalabilidade da atenção e na regularização que eu havia perdido em 20 anos de trabalho”.

O que dizem os especialistas
A automação do método científico é considerada um avanço fundamental no desenvolvimento da IA. Transformando aprendizado de máquina em um “processo evolutivo” à velocidade do silício, Karpathy abriu novos horizontes para pesquisas não apenas em TI, mas também em marketing, saúde e outras áreas.

Exemplos de aplicação prática
| Parceiro | Descrição do experimento | Resultados |
|---|---|---|
| Hyperspace AI (Varun Mathur) | 35 agentes autônomos operavam em uma rede peer‑to‑peer usando CPUs portáteis. | Durante a noite, conduziram 333 experimentos sem operador, descobrindo estratégias de inicialização (Kaiming, Xavier) e normalização (RMSNorm). |
| Single Grain (Eric Siu) | Automação do ciclo de marketing: o agente altera variáveis em páginas de destino, criativos publicitários ou e‑mails. | Mede “percentual de respostas positivas”, salva mudanças bem-sucedidas e descarta as ineficazes. |

Conclusão
Karpathy demonstrou como scripts simples podem se tornar ferramentas poderosas para auto‑aprendizado de agentes de IA. O ciclo automatizado de otimização permite realizar centenas de experimentos em uma noite, identificando melhorias que antes exigiam anos de pesquisa. Isso abre caminho para um desenvolvimento mais rápido e escalável de modelos em diversas áreas.