Vale a pena rodar LLM local? A conta na minha máquina

Rodar um LLM local raramente é uma decisão de custo, e na minha máquina a conta deixa isso escancarado. O gargalo não é preço de token, é banda de memória e tempo de parede, e é aí que a comparação com API deixa de ser sobre dinheiro. Fiz a conta com o hardware que eu tenho aqui e com o preço oficial de API na mesma data.

Qual é a máquina em que eu fiz a conta?

Não adianta comparar LLM local sem dizer em que máquina, porque a resposta muda inteira com o hardware. Esta é a minha, lida do próprio sistema:

É um desktop de trabalho comum, não é máquina de IA. E é exatamente por isso que ele serve de referência: a maioria de quem pergunta se vale rodar local tem uma máquina parecida com essa, não uma com placa de 24 GB.

Por que a placa de vídeo decide a conta antes de tudo?

Modelo roda rápido quando os pesos cabem na VRAM, e roda devagar quando não cabem. Um modelo de 7 bilhões de parâmetros quantizado em 4 bits ocupa por volta de 4,1 GB só de pesos, e ainda precisa de espaço para o contexto por cima disso.

A minha placa tem 4 GB. Ou seja, o modelo de 7B não cabe, e o que sobra é rodar na CPU usando a memória do sistema. Não é que fique um pouco mais lento, muda de categoria: a placa lê memória própria em centenas de GB/s e a CPU lê a RAM em dezenas.

Essa é a primeira pergunta que eu faço para quem quer começar, e ela elimina metade dos casos sem precisar instalar nada. Quanto de VRAM você tem? Se a resposta for 8 GB ou menos, você vai rodar na CPU na maior parte do tempo, e a conta é a de baixo.

Quantos tokens por segundo dá para esperar na CPU?

Inferência na CPU é limitada por leitura de memória, porque para cada token gerado o processo percorre os pesos inteiros do modelo. Então o teto é banda dividida pelo tamanho do modelo, e não tem otimização que fuja disso.

Com 42,7 GB/s de pico e um modelo de 4,1 GB, o teto absoluto fica em torno de 10 tokens por segundo. Na prática ninguém encosta no pico, e a faixa realista para essa classe de máquina é algo entre 5 e 8. Deixo claro que esse número é cálculo, não medição: eu derivei da banda da memória, não rodei o modelo aqui para cronometrar, e se você quiser o número exato da sua máquina só medindo nela.

Para efeito de comparação, uma resposta de 500 tokens sai em pouco mais de um minuto nesse ritmo. Não é inutilizável, é bem diferente de instantâneo.

E quanto custa a mesma coisa por API?

Aqui os números são públicos e datados, então dá para fazer conta de verdade:

Pega o modelo mais barato da tabela e imagina um volume redondo de um milhão de tokens de saída. Pela API isso custa cinco dólares e sai em minutos, com paralelismo.

Na minha máquina, um milhão de tokens a 7 por segundo dá aproximadamente 40 horas de máquina ligada, gerando um token de cada vez. O custo em energia é baixo, na casa de poucos reais, e é justamente isso que revela onde está o verdadeiro preço: não é a conta de luz, são as 40 horas.

Então nunca vale a pena rodar local?

Vale, e eu uso, só que por outros motivos que não economia. São três casos em que a resposta muda aqui no meu processo.

O primeiro é dado que não pode sair da máquina. Documento de cliente, base com dado pessoal, contrato sob acordo de confidencialidade. Nesse caso a pergunta nem é quanto custa, é se pode, e local resolve uma coisa que nenhum preço de API resolve.

O segundo é volume grande de trabalho que não tem pressa. Classificar dez mil registros de madrugada, sem ninguém esperando, é justamente onde 40 horas de máquina deixam de ser um problema. Trabalho assíncrono compra tempo barato.

O terceiro é aprender como a coisa funciona por dentro. Rodar local ensina sobre quantização, contexto e memória de um jeito que usar API nunca ensina, e isso vale por si só.

O que muda se eu comprar uma placa melhor?

Muda a velocidade, não muda a lógica da comparação. Uma placa com 12 ou 16 GB coloca o modelo inteiro na VRAM, a banda pula de dezenas para centenas de GB/s, e a geração vai de single para duas casas de tokens por segundo.

Só que aí entra o custo do hardware, e ele precisa ser dividido pelo uso. Se você gasta cinco dólares por mês em API, uma placa de mil e poucos reais leva anos para se pagar em token, e nesse meio tempo o modelo de API que você usaria ficou melhor de graça. A placa se paga quando o motivo é privacidade, volume ou aprendizado, e não quando o motivo é economia.

Que modelo cabe em cada quantidade de memória?

Uma régua grosseira que eu uso para decidir sem instalar nada, considerando quantização em 4 bits, que é a mais comum:

Some sempre um espaço a mais para o contexto, porque o que estoura na prática não é o peso, é o peso mais a conversa. Modelo que cabe justinho começa a engasgar assim que o prompt cresce.

Como eu decidiria no seu lugar?

Faço três perguntas, nessa ordem, e a primeira que der resposta clara já decide.

O dado pode sair da sua máquina? Se não pode, rode local e pare de comparar preço, porque não é comparável. Se pode, siga.

Alguém está esperando a resposta na tela? Se está, e você não tem placa dedicada com folga, API vai ganhar sempre, porque a diferença entre dois segundos e um minuto muda o produto inteiro. Se ninguém espera, local vira uma opção real.

Quanto você gasta hoje em API por mês? Se a resposta é menos de vinte dólares, e é o caso da maioria, comprar hardware para economizar é conta que não fecha. Isso varia para cada um, e o ideal é medir o seu gasto real de um mês antes de decidir, e não estimar de cabeça.

O que perguntam sobre rodar LLM local?

Modelo local chega perto do modelo de API? Para tarefa fechada, tipo classificar, extrair campo e resumir texto curto, chega perto o bastante. Para raciocínio longo, código e instrução complexa, a diferença ainda é grande, e ela aparece justamente quando você mais precisa.

Preciso de placa da NVIDIA? Ajuda muito, porque o suporte é mais maduro, mas dá para rodar em CPU e em placa AMD. O que decide não é a marca, é quanto de memória rápida você tem para o modelo caber.

Dá para usar os dois, local e API? Dá, e é o que faz mais sentido na maioria dos casos. Uso local no que é volumoso, repetitivo e sensível, e API no que precisa de qualidade e resposta rápida. O gateway unificado ajuda nisso, porque troca o destino sem mexer no código.

Vale rodar em notebook? Depende da memória e da refrigeração, e a segunda derruba mais gente que a primeira. Notebook fino segura poucos minutos de carga total antes de reduzir a frequência, e aí o número que você mediu no primeiro minuto não vale mais.