Tese central
Agentes de programação como Codex, Claude Code e Grok Build podem construir modelos de inteligência artificial úteis a partir de pesos aleatórios, desde que o objetivo seja limitado, os dados sejam adequados, o orçamento computacional seja compatível e exista uma avaliação objetiva de sucesso.
Eles não eliminam as restrições fundamentais do aprendizado de máquina. Um agente consegue escrever a arquitetura, preparar dados, iniciar treinamentos, analisar métricas, corrigir falhas e selecionar checkpoints. Porém, ele não transforma pouca computação em muita computação, dados ruins em conhecimento confiável ou um modelo minúsculo em uma inteligência geral.
Portanto, a função principal desses agentes não é produzir milagres. É transformar o desenvolvimento de modelos em um processo mais barato, rápido, sistemático e acessível.
1. O que significa criar um modelo “do zero”
A expressão pode representar três níveis diferentes.
No primeiro nível, o modelo começa com pesos aleatórios, mas utiliza componentes conhecidos: Transformer, AdamW, PyTorch, tokenização BPE e bibliotecas existentes. Esse já é um modelo treinado do zero no sentido mais comum.
No segundo nível, também são construídos o tokenizer, a arquitetura, o pipeline de dados, o treinamento, a avaliação e a inferência. É o caso de um projeto realmente autoral, ainda que utilize bibliotecas matemáticas e frameworks.
No terceiro nível, tenta-se não depender de arquiteturas, dados, ferramentas ou modelos anteriores. Esse “zero absoluto” é pouco realista e quase nunca é útil. Mesmo grandes laboratórios utilizam décadas de pesquisa, compiladores, GPUs, bibliotecas e dados produzidos por outras pessoas.
Assim, um agente pode construir um modelo original sem precisar reinventar toda a ciência da computação.
2. Por que os agentes atuais conseguem fazer isso
Treinar um modelo pequeno é, em grande parte, um problema de engenharia de software combinado com experimentação científica. É necessário criar scripts, processar arquivos, executar comandos, acompanhar logs, calcular métricas, comparar resultados e modificar configurações.
Os agentes atuais já operam diretamente sobre essas etapas. O Codex é apresentado como capaz de realizar tarefas de engenharia de ponta a ponta, editar repositórios, executar comandos, testar alterações e coordenar trabalhos paralelos. O Claude Code trabalha dentro do terminal, explora bases de código, edita arquivos, executa testes e automatiza fluxos. O Grok Build também lê e modifica projetos, executa comandos, usa subagentes e mantém tarefas prolongadas; seu harness foi aberto e pode ser direcionado a inferência local.
Nenhum desses fornecedores promete especificamente que o agente criará sozinho um novo modelo de linguagem competitivo. Entretanto, é razoável inferir que eles conseguem executar grande parte do trabalho, porque o pipeline de um modelo pequeno é composto justamente por tarefas de programação, teste, análise e automação.
Um agente pode:
- analisar o hardware disponível;
- estimar uma arquitetura compatível;
- construir ou treinar um tokenizer;
- preparar e auditar o corpus;
- implementar o modelo;
- executar smoke tests;
- iniciar treinamentos;
- detectar NaN, overfitting e vazamento de dados;
- comparar checkpoints;
- gerar relatórios e empacotar a inferência.
O ser humano continua responsável por definir o que deve ser construído e o que significa funcionar.
3. Modelos pequenos podem ser úteis
Utilidade não significa necessariamente conversar como um modelo de fronteira.
Um modelo pode ser útil se executar consistentemente uma tarefa delimitada: classificar intenções, prever comandos, completar estruturas, normalizar texto, gerar histórias simples, identificar padrões, controlar um personagem, sugerir respostas dentro de um domínio ou servir como componente de outro sistema.
O trabalho TinyStories demonstrou que modelos com menos de 10 milhões de parâmetros podem produzir histórias simples, coerentes e gramaticalmente razoáveis quando o domínio e o vocabulário são cuidadosamente restringidos. Isso não os transforma em assistentes gerais, mas comprova que modelos muito pequenos podem aprender capacidades úteis dentro de uma distribuição estreita.
Projetos como SmolLM mostram a mesma lógica em escalas maiores: modelos pequenos treinados com corpus cuidadosamente selecionado podem oferecer boa relação entre capacidade, privacidade e custo de inferência. Os modelos apresentados pela equipe variam de 135 milhões a 1,7 bilhão de parâmetros e dependem de centenas de bilhões de tokens selecionados ou sintéticos. Isso também demonstra que diminuir parâmetros não elimina a necessidade de dados de qualidade.
No caso da IAP, o EXP-002 já funciona como evidência prática em escala experimental. Um modelo com aproximadamente 1,9 milhão de parâmetros não se tornou um chatbot geral, mas aprendeu a distribuição do corpus, gerou texto, respondeu a mudanças no tokenizer e apresentou melhora mensurável de usabilidade e ruído. Portanto, não é apenas um arquivo de pesos aleatórios: é um artefato experimental funcional.
4. O limite principal não é a capacidade de escrever código
O maior limite é a combinação entre:
capacidade do modelo × quantidade e qualidade dos dados × computação × qualidade da avaliação.
As leis de escala mostram que aumentar apenas o número de parâmetros não é suficiente. Modelos maiores precisam de uma quantidade proporcionalmente maior de dados e computação para serem bem treinados. O estudo que originou o Chinchilla mostrou que equilibrar parâmetros e tokens pode produzir modelos menores que superam modelos maiores treinados de maneira ineficiente.
Um agente consegue procurar hiperparâmetros melhores, mas não consegue escapar dessa relação. Ele pode otimizar o uso de uma GPU T4; não pode transformar uma T4 em um cluster com milhares de GPUs.
Os limites mais importantes são:
Computação
Modelos gerais exigem grandes treinamentos. Em hardware modesto, o espaço de experimentação precisa ser reduzido. Cada arquitetura, seed, tokenizer ou dataset adicional consome tempo real.
Dados
Um agente pode limpar, deduplicar e organizar dados, mas não pode fabricar automaticamente conhecimento confiável. Dados sintéticos podem ajudar, porém carregam os erros, preferências e limitações do modelo que os produziu.
Avaliação
Um agente pode melhorar muito uma métrica errada. Se o sistema selecionar checkpoints apenas pela loss, pode promover um modelo ilegível. Se usar apenas avaliações de outro modelo, pode aprender a agradar ao avaliador sem melhorar para usuários reais.
Confiabilidade agêntica
Agentes ainda podem interpretar mal requisitos, alterar arquivos incorretos, executar experimentos redundantes ou concluir que um resultado é bom com evidências fracas. Por isso, Codex e Claude Code utilizam limites, permissões, telemetria e aprovações para ações relevantes.
Continuidade experimental
Treinamentos longos precisam de checkpoints, retomada, logs, seeds e artefatos imutáveis. Um agente sem disciplina pode sobrescrever resultados e destruir a capacidade de comparar experimentos.
Expectativa de capacidade
Um modelo de dois milhões de parâmetros pode aprender forma, padrões locais e tarefas estreitas. Não há motivo técnico para esperar que possua conhecimento geral, raciocínio robusto, planejamento prolongado e conversação aberta comparável a modelos com bilhões de parâmetros.
5. Restrições necessárias
O agente não deve receber a instrução vaga “crie a melhor IA possível”. Isso produz exploração sem limite e critérios móveis.
Ele precisa operar sob um contrato experimental:
- orçamento máximo de tempo, memória e armazenamento;
- arquitetura dentro de uma faixa determinada;
- corpus versionado;
- conjunto de validação protegido;
- métricas previamente definidas;
- checkpoints imutáveis;
- limite de tentativas;
- promoção somente quando o novo modelo supera o baseline;
- registro completo das mudanças;
- aprovação humana antes de alterar o modelo considerado utilizável.
Para agentes com acesso ao sistema, também são necessários diretórios delimitados, proteção de credenciais e proibição de ações irreversíveis fora do projeto. O risco de um pequeno modelo não está apenas em sua inteligência, mas nas ferramentas e permissões ligadas a ele.
6. Oportunidades reais
A oportunidade mais forte não é pedir que um agente produza outro ChatGPT. É criar uma fábrica automatizada de modelos especializados.
Um agente pode receber uma tarefa, construir várias versões pequenas, testar tokenizers, variar capacidade, executar avaliações e promover automaticamente o melhor checkpoint. O produto não seria apenas um modelo: seria o sistema que produz, mede e substitui modelos.
Isso abre algumas frentes.
Modelos locais em português
Há espaço para modelos pequenos focados em português brasileiro, linguagem informal, comandos, categorias específicas e vocabulários de nicho. Eles não precisam conhecer o mundo inteiro para serem úteis.
Componentes especializados
Em vez de um único chatbot fazendo tudo, pequenos modelos podem atuar como roteadores, classificadores, filtros de relevância, detectores de intenção, mecanismos de autocomplete ou controladores de estados.
Jogos e simulações
Modelos pequenos podem controlar diálogos restritos, comportamentos de NPCs, geração de eventos e interpretação de comandos. O ambiente do jogo fornece regras e contexto, reduzindo a quantidade de conhecimento que precisa existir nos pesos.
Dispositivos locais e privacidade
Modelos menores podem operar sem enviar dados a um provedor externo. Mesmo quando são inferiores em capacidade geral, podem ser superiores em latência, privacidade, previsibilidade e custo marginal.
Pesquisa acessível
Agentes permitem que uma pessoa conduza experimentos que anteriormente exigiriam uma pequena equipe: preparação de dados, infraestrutura, testes, avaliação e documentação. Isso não democratiza o treinamento de modelos de fronteira, mas democratiza a pesquisa de pequena escala.
Dados curriculares e sintéticos
Um modelo maior pode gerar exemplos organizados por dificuldade, enquanto o agente audita, filtra e treina um modelo menor a partir deles. Os pesos do novo modelo começam do zero, embora parte do conhecimento venha de um professor externo.
7. A inversão mais importante
A melhor ideia não é tornar imediatamente o pequeno modelo autônomo.
A melhor ideia é tornar autônomo o laboratório que desenvolve o modelo.
O modelo treinado pode permanecer simples e controlado. O agente de programação, que possui capacidade muito maior, administra o ciclo:
hipótese → implementação → treinamento → avaliação → diagnóstico → nova hipótese.
A autonomia fica no processo de pesquisa, onde ações podem ser registradas, comparadas e interrompidas. Ela não precisa ficar no modelo final, executando ações livres no computador.
Conclusão
Agentes como Codex, Claude Code e Grok Build podem construir modelos úteis do zero, mas a utilidade aparecerá primeiro em tarefas restritas, modelos especialistas, componentes locais e experimentos científicos.
Eles reduzem drasticamente a barreira de engenharia. Não eliminam as barreiras de computação, dados, escala e definição de objetivos.
O resultado depende menos de perguntar “o agente consegue criar uma IA?” e mais de responder quatro perguntas:
- Qual tarefa concreta o modelo deve executar?
- Qual capacidade mínima torna o modelo útil?
- Quais dados ensinam exatamente essa capacidade?
- Qual teste impede que um resultado medíocre seja confundido com sucesso?
A oportunidade para a IAP está em construir uma linha de produção experimental: agentes poderosos desenvolvendo, avaliando e promovendo modelos pequenos e especializados. O objetivo não deve ser imitar imediatamente um laboratório bilionário, mas criar modelos que tenham uma função clara, funcionem no hardware disponível e melhorem de maneira comprovável.
Em uma frase:
Agentes de fronteira podem permitir que indivíduos construam modelos pequenos úteis, mas o diferencial não será gerar código automaticamente; será transformar experimentação disciplinada em um processo contínuo de produção de modelos.