Ollama: como rodar LLMs localmente e avaliar se vale a pena

Ollama resolve um problema específico: rodar modelos de linguagem no seu próprio hardware, sem mandar dados para nenhuma API externa. A pergunta que vale fazer antes de qualquer setup é sempre a mesma. Quando isso de fato importa?

O que é o Ollama e para que serve

Ollama é uma ferramenta open source que empacota modelos como LLaMA, Mistral, Gemma e Phi para rodar localmente, com uma interface de linha de comando simples e uma API REST compatível com o padrão OpenAI. Você instala, baixa o modelo e já tem um endpoint local funcionando.

O que diferencia o Ollama de outras opções de inferência local é o foco em simplicidade operacional. Sem configuração complexa de servidor, sem CUDA manual na maioria dos casos. Funciona em Mac (Apple Silicon e Intel), Linux e Windows, com suporte a GPU onde disponível.

Quando a inferência local faz sentido

Antes de listar casos de uso, o critério que guia a decisão:

• Você processa dados que não podem sair da sua infraestrutura (dados de saúde, financeiros, jurídicos)
• O volume de requests é alto o suficiente para o custo por token de APIs externas ser relevante em escala
• Você precisa de latência baixa sem depender de disponibilidade de rede
• O ambiente de produção não tem acesso à internet (edge, on-premise, air-gapped)

Na minha experiência, o caso mais sólido é o primeiro. Quando você tem restrição regulatória ou contratual sobre onde os dados podem trafegar, a inferência local deixa de ser opção e vira requisito.

Quando não faz sentido usar inferência local

Spoiler: a maioria dos casos de uso não precisa.

Se o volume é baixo, a tarefa é variada demais para um modelo menor resolver bem, ou você precisa da capacidade de modelos maiores como GPT-4o ou Claude Sonnet, a API externa vai ganhar na maioria das comparações quando você coloca hardware e manutenção na conta.

Um modelo de 7B rodando localmente não bate um modelo grande bem promtado para tarefas abertas. A diferença aparece quando a tarefa é bem definida, o modelo foi ajustado para ela, e o volume justifica o investimento.

Como configurar o Ollama do zero

A instalação é direta. Você precisa de pelo menos 8 GB de RAM para modelos de 7B e 16 GB para os de 13B.

Comandos básicos para começar:

• curl -fsSL https://ollama.com/install.sh | sh
• ollama pull llama3.2
• ollama run llama3.2
• ollama list

O comando ollama run sobe um servidor local na porta 11434 com API REST compatível com o formato OpenAI. Você pode apontar qualquer cliente que usa a API da OpenAI para http://localhost:11434 com pequenos ajustes de configuração.

Detalhe importante: o primeiro pull baixa o modelo inteiro, de 2 GB a 40 GB dependendo do tamanho. Garante espaço em disco antes de começar.

Quais modelos escolher e como decidir

A escolha depende de três variáveis:

• Hardware disponível: RAM define o tamanho máximo que você consegue rodar sem degradação severa de performance
• Tipo de tarefa: classificação e extração de entidades funcionam bem com modelos menores; raciocínio complexo precisa de mais parâmetros
• Janela de contexto necessária: verifique o contexto máximo do modelo antes de escolher, especialmente se você processa documentos longos

Para hardware de 16 GB de RAM sem GPU dedicada, Llama 3.2 3B ou Mistral 7B são pontos de partida razoáveis. Phi-3.5 Mini é uma opção surpreendentemente capaz para o tamanho.

Com GPU de 24 GB de VRAM, Llama 3.1 70B quantizado (Q4) começa a ser relevante para tarefas mais complexas, mas o ganho de qualidade precisa ser medido contra o custo de infraestrutura.

Como medir se o Ollama está entregando valor

Aqui é onde a maioria dos setups para. Instalam, rodam alguns prompts, acham "parece bom" e vão para produção sem medir nada.

Antes de passar para produção, você precisa de três coisas:

• Benchmark de qualidade contra a tarefa real: compare as saídas do modelo local com as do modelo que você usaria via API em 50 a 100 exemplos da sua tarefa específica. O mesmo framework que uso para avaliação de LLM em produção se aplica diretamente aqui. A ferramenta mudou, o critério não.
• Latência real no hardware alvo: meça o request end-to-end no ambiente onde vai rodar, não no seu laptop de desenvolvimento
• Custo total de propriedade: soma hardware amortizado, energia, manutenção e tempo de engenharia. Compare com o custo de API para o mesmo volume

O que justifica a troca quase sempre é o custo por request em escala ou a restrição de privacidade. Se nenhum dos dois está presente, reavalie antes de comprometer infraestrutura.

Privacidade de dados: o argumento concreto

Esse ponto costuma ser tratado de forma vaga. Então vamos ser diretos.

Quando você manda dados para uma API externa, você está transferindo dados para um terceiro. Dependendo da natureza dos dados e da jurisdição, isso tem implicações de LGPD, contratos com clientes e política interna. O contrato de uso de qualquer API tem cláusulas que precisam ser lidas antes da decisão.

Não é paranoia. É saber o que você está concordando e ter documentação de que dados sensíveis nunca saíram da sua infraestrutura. Em contextos com auditoria, essa documentação é obrigatória.

Se você ainda usa APIs externas em paralelo, o post sobre gestão de segredos em produção cobre a camada de credenciais que você vai precisar organizar de qualquer forma.

Perguntas frequentes

O Ollama funciona sem GPU?

Funciona, mas com limitações de velocidade. Em CPU pura, modelos de 7B geram 5 a 10 tokens por segundo dependendo do hardware. Para uso interativo é aceitável; para pipelines que processam muitos documentos em batch, o throughput vira gargalo.

Dá para usar o Ollama com múltiplos usuários simultâneos?

Dá, com ressalvas. O Ollama por padrão processa um request por vez. Para carga concorrente você precisa rodar múltiplas instâncias ou usar uma camada de proxy na frente. Esse overhead de operação precisa entrar no cálculo de custo total antes de qualquer decisão de escala.

Como saber se o modelo local é suficientemente bom para a tarefa?

Meça. Cria um conjunto de 50 a 100 exemplos anotados da sua tarefa real, roda os dois modelos (local e API) e compara as saídas com o critério de qualidade que você já definiu. Se não tem critério definido, é por aí que começa, não pelo Ollama.

O Ollama suporta fine-tuning?

Não diretamente. O Ollama serve modelos já treinados. Para fine-tuning você usa ferramentas como Unsloth ou axolotl e converte o resultado para o formato GGUF. Antes de entrar nesse fluxo, vale entender quando o fine-tuning de fato justifica o investimento, porque o custo de preparar dados e treinar costuma surpreender.

O que levar para o próximo passo

Ollama é uma ferramenta boa para o problema certo. Restrição de privacidade, volume que justifica infraestrutura própria, ou inferência offline são os critérios que fazem a conta fechar. Se nenhum está presente, uma API bem monitorada com controle de custo e latência é mais simples de operar e mais fácil de escalar.

A documentação oficial do Ollama tem a lista atualizada de modelos suportados e os requisitos de hardware por modelo. É o primeiro lugar para checar antes de escolher qual modelo baixar para o seu caso.