Quanto custa mesmo rodar IA em produção: a razão 51:1 que ninguém mostra

Quando alguém pergunta quanto custa manter um agente de IA em produção, a resposta quase sempre vem em forma de tabela de preço por milhão de tokens. É informação verdadeira e praticamente inútil, porque não diz o que realmente determina a sua conta no fim do mês.

Extraímos os números reais de uma operação nossa em produção — um assistente de atendimento no WhatsApp, rodando 24 horas por dia para uma clínica parceira — ao longo de 78 dias.

Os números crus

• Turnos de IA processados: 281
• Tokens de entrada: 2.331.604
• Tokens de saída: 45.971
• Custo total do período: US$ 2,56

Menos de cinco centavos de real por resposta gerada. Mas o número que importa não é o total. É a proporção.

51 para 1

Para cada token que o modelo devolveu, enviamos 51. A entrada representa 98% de todo o volume processado.

Isso não é anomalia nem desperdício: é o formato normal de um agente com ferramentas. Cada turno de conversa carrega, obrigatoriamente:

• o prompt de sistema — no nosso caso, mais de 9.000 caracteres de regras de negócio, guardrails clínicos e fluxo de agendamento
• o histórico da conversa, que cresce a cada mensagem
• a memória do paciente — nome, histórico, preferências
• o perfil de conhecimento da clínica — especialidades, valores, convênios, horários
• a definição das ferramentas disponíveis, com o schema completo de cada uma

A saída, por outro lado, é uma mensagem de WhatsApp. Cento e sessenta e quatro tokens, em média. Curta por design — ninguém quer receber três parágrafos de uma secretária virtual.

A consequência prática que quase todo mundo erra

A reação instintiva de quem quer baratear IA é pedir respostas mais curtas. "Responda em no máximo duas frases." "Seja mais objetivo."

Do ponto de vista de custo, isso é otimizar 2% da conta. Você pode cortar a saída pela metade e economizar 1% do total.

O dinheiro está do outro lado: no que você envia. E controlar isso é engenharia de contexto, não ajuste de prompt.

Onde realmente se decide o custo

1. Tamanho do prompt de sistema. Ele viaja inteiro em toda chamada. Um prompt de 9.000 caracteres custa em cada turno, para sempre. Vale revisar se cada regra ali precisa mesmo estar em todas as conversas ou se pode ser condicional.

2. Estratégia de histórico. Mandar a conversa inteira a cada turno é o caminho mais fácil e o mais caro. Resumo progressivo, janela deslizante ou recuperação seletiva reduzem drasticamente o volume sem perder contexto útil.

3. Injeção de conhecimento. Enviar a base inteira da clínica em todo turno é desperdício. Buscar apenas os trechos relevantes à pergunta atual — RAG bem feito — costuma ser a maior economia disponível.

4. Agrupamento de mensagens. Paciente costuma escrever em rajada: três mensagens curtas em vinte segundos. Se cada uma virar uma chamada ao modelo, você paga o contexto inteiro três vezes para responder a um único pensamento. Enfileirar e processar como um turno só reduz custo e melhora a resposta ao mesmo tempo.

5. Cache de prefixo. Os principais provedores oferecem desconto expressivo para a parte fixa do prompt que se repete entre chamadas. Como o prompt de sistema é justamente a maior fatia e não muda, é a otimização de melhor relação esforço-retorno quando o volume cresce.

E quando vale otimizar?

Sendo honesto: com US$ 2,56 em 78 dias, não vale. Qualquer hora de engenharia gasta nisso custa mais do que a economia de um ano inteiro.

Esse é o outro lado da conta que raramente aparece nas discussões sobre custo de IA. Para a maioria das operações de pequeno e médio porte, o custo do modelo é irrelevante perto do custo de construir o sistema em volta dele: integração com o sistema de gestão, proteção de dados sensíveis, regras de escalada, tratamento de erro, observabilidade.

A pergunta certa não é "quanto custa o token". É "quanto custa manter isso funcionando de forma confiável". A resposta para essa pergunta tem outra ordem de grandeza — e é ela que define se o projeto se paga.

Como medimos

Todo turno de conversa registra tokens de entrada, tokens de saída e custo estimado em uma tabela dedicada, por organização. Isso permite calcular custo por conversa, por paciente e por clínica, e detectar regressão quando alguém aumenta o prompt sem perceber o efeito.

É medição barata de implementar e que praticamente ninguém faz no começo — até a primeira fatura surpreender. Instrumente desde o primeiro dia: o custo de não saber é sempre maior.