A sua empresa comprou licenças de Copilot, Cursor, ChatGPT Plus pra todo mundo. Os devs estão usando. Os PRs aumentaram. Tudo lindo, certo?
Errado.
Um estudo de Stanford acompanhou times de desenvolvimento por 2 anos e descobriu algo que vai mudar como você olha pra IA no código: gastar mais tokens não significa mais produtividade. Na real, alguns times estão perdendo performance usando IA.
Nesse artigo, você vai entender o que separa os times que estão ganhando 19% de produtividade dos que estão patinando – e o que fazer pra não ficar do lado errado dessa história.
O Gap Está Abrindo (e Rápido)
De 4,8% para 19% em dois anos
O estudo de Stanford comparou 46 times usando IA com 46 times similares que não usavam. E aqui vem o dado que me chamou atenção:
Em abril de 2023, logo depois do lançamento do GPT-4, a diferença de produtividade entre quem estava mandando bem com IA e quem não estava era de 4,8%. Quase nada.
Agora, em julho de 2025? O gap saltou pra 19%.
É o que eu chamo de “boca de jacaré” – esse gráfico vai abrindo ao longo do tempo. Quem usa bem, acelera. Quem usa mal, fica pra trás. E a distância só aumenta.
Parte dos times está perdendo produtividade com IA
E aqui vem o dado que ninguém quer ouvir: um percentual dos times analisados teve performance negativa ao usar IA. Isso mesmo – ficaram piores do que antes.
Não é que IA não funciona. É que estão usando errado.
A Mentira do “Mais Tokens = Mais Resultado”
A correlação é fraca (e tem um vale da morte)
O estudo mediu a relação entre quantidade de tokens gastos e produtividade. Sabe qual foi a correlação? 0,20. Praticamente inexistente.
Mais bizarro ainda: existe um “vale da morte” em times gastando cerca de 10 milhões de tokens por mês. Esses times performaram pior do que times que usavam menos tokens.
A conclusão é clara: qualidade do uso importa mais que quantidade.
Comprar mais licenças não resolve
Eu vejo muito gestor achando que é só comprar licença pra todo mundo, escolher a melhor LLM do mercado, e pronto – produtividade vai explodir.
O estudo mostra o contrário. Melhores ferramentas e mais gasto com IA não garantem mais produtividade. Muito pelo contrário – essa relação de “mais investimento = mais resultado” é totalmente equivocada quando falamos de IA no desenvolvimento.
O Que Realmente Faz Times Ganharem com IA
O “Environment Cleanliness Index”
Os pesquisadores de Stanford criaram um índice experimental que mede a “limpeza” do ambiente de desenvolvimento. Ele considera:
- Cobertura de testes
- Tipagem e documentação
- Modularidade do código
- Qualidade geral do código
E adivinha? Esse índice teve uma correlação de 0,40 com ganhos de produtividade. O dobro da correlação com gasto de tokens.
Traduzindo pro português claro: código limpo + arquitetura organizada = IA funciona melhor.
IA não consegue lidar com contextos grandes
Aqui entra um ponto que eu bato muito: a IA não consegue desenvolver bem em contextos grandes e complexos. Ela se perde.
Por isso, modularização volta a ser essencial. Quanto menor e mais isolado o contexto que você passa pra IA, melhor ela performa.
Sabe aqueles conceitos que muita gente olha de lado hoje – DDD, separação de responsabilidades, testes bem escritos? Eles voltam com força total. São exatamente o que você precisa pra extrair o máximo da IA.
O Case Que Mostra Como Dar Errado (Sem Perceber)
Os números bonitos que escondem o problema
O estudo trouxe um case real de uma empresa grande. Time de 350 pessoas sob um VP. Eles adotaram IA em maio de 2025 e mediram 4 meses antes e 4 meses depois.
Resultado? PRs aumentaram 14%.
Gestão comemorando. Dashboards verdes. “Olha o ROI da nossa adoção de IA!”
O que estava acontecendo por baixo
Só que quando os pesquisadores olharam mais fundo, o cenário era outro:
- Qualidade de código caiu 9% – e ficou mais errática, menos consistente
- Rework aumentou 2,5x – os devs estavam refazendo o que a IA gerou errado
- Output efetivo? Não mudou nada
Os devs estavam produzindo mais PRs, sim. Mas estavam gastando tempo corrigindo código ruim gerado pela IA. No final, a produtividade real ficou no zero a zero.
O ROI pode ser negativo
Aqui tá o perigo: se essa empresa tivesse medido só PRs (como a maioria faz), acharia que estava tudo ótimo. Celebraria o sucesso da adoção de IA. Faria apresentação pro board mostrando os 14% de ganho.
Enquanto isso, por baixo dos panos, o ROI real era negativo.
Sem as métricas certas, você celebra enquanto afunda.
Os 5 Níveis de Maturidade em IA (Onde Está Seu Time?)
O estudo propõe uma escala de maturidade. Veja onde seu time se encaixa:
L0 – Nem começou
Sem ferramentas de IA, sem processo definido. O time ainda trabalha do jeito tradicional.
L1 – Experimentando
Alguns devs usando IA por conta própria. ChatGPT aqui, Copilot ali. Mas sem padronização, sem medição, sem estratégia.
L2 – Adotando
Licenças pra todo mundo. A empresa “adotou IA oficialmente”. Mas as métricas ainda são superficiais – contagem de PRs, linhas de código, tempo de ciclo.
L3 – Otimizando
Aqui começa a virada. O time mede impacto real: output efetivo, qualidade de código, taxa de rework. E mais importante: ajusta processos e arquitetura pra IA funcionar melhor.
L4 – Liderando
IA integrada na esteira de desenvolvimento de forma estruturada. Feedback loop constante. Ganhos se acumulam ao longo do tempo. É o “rich gets richer” – quem chega aqui, acelera exponencialmente.
O Que Fazer Agora (Plano Prático)
Pare de medir PRs como indicador de sucesso
PRs são vanity metric. Mais PRs não significa mais valor entregue – pode significar mais rework, mais código ruim, mais débito técnico.
Comece a medir o que importa:
- Output efetivo – valor real entregue, não volume
- Taxa de rework – quanto do código precisa ser refeito
- Qualidade de código – manutenibilidade, consistência
Invista em “limpeza” do ambiente
Antes de torrar dinheiro em mais tokens, invista em:
- Aumentar cobertura de testes
- Melhorar documentação
- Modularizar o código existente
Isso vai fazer sua IA render muito mais do que simplesmente comprar a licença mais cara.
Treine o dev, não só compre a ferramenta
O conhecimento de base – algoritmos, arquitetura, segurança, DDD – é o que faz a diferença. Não é o cara que conhece a última versão do Next.js. É o cara que olha pro código da IA e sabe criticar.
Dev que sabe avaliar o que a IA gera > dev que só aceita e commita.
Modularize para a IA conseguir ajudar
Contextos menores = IA mais precisa. Antes de jogar uma task pra IA, pense: como posso quebrar isso em pedaços menores e mais isolados?
Uma tela de e-commerce tem várias funcionalidades: filtros, lista de produtos, cálculo de frete, reviews. Em vez de pedir tudo junto, modularize. Peça uma coisa por vez. A IA vai performar muito melhor.
Conclusão: O Futuro É de Quem Sabe Usar
Então, meu desenvolvedorzinho, fica tranquilo. A IA não vai te substituir. Mas o dev que sabe usar IA direito? Esse vai ter muita vantagem.
O estudo de Stanford deixa claro: não é sobre gastar mais. É sobre usar melhor. É sobre ter uma base técnica sólida. É sobre medir o que importa.
A “boca de jacaré” tá abrindo. De que lado você quer estar?
E aí, em que nível tá o seu time? L0, L1, L4?
Comenta aqui – quero saber se a sua empresa tá medindo de verdade ou só comemorando PR como se fosse gol.
Se esse conteúdo mudou sua visão, compartilha com aquele tech lead que ainda acha que é só comprar licença e pronto.
