Neste artigo
Se você usa modelos de linguagem no dia a dia mas ainda não sabe bem o que acontece entre o seu prompt e a resposta, esse artigo é pra você. Não vou fazer um curso de deep learning — vou explicar o que é útil saber na prática para usar essas ferramentas melhor.
O que é um token (e por que importa)
Modelos de linguagem não processam texto palavra por palavra. Eles processam tokens, que são fragmentos de texto — às vezes palavras inteiras, às vezes pedaços de palavras, às vezes só pontuação.
Exemplos práticos: “desenvolvedor” pode ser 3 tokens, “API” é 1, um emoji pode ser 2 ou 3. Em inglês os textos são mais eficientes em tokens do que em português — o mesmo conteúdo em português ocupa mais tokens e custa mais na API.
Por que isso importa para você:
- O limite de contexto é em tokens, não em palavras
- O custo da API é calculado por token
- Textos com muito espaço em branco e formatação decorativa desperdiçam tokens
Contexto: o que o modelo vê
O modelo não tem memória entre conversas. O que ele vê é exatamente o conteúdo da janela de contexto atual — o histórico da conversa, o system prompt, a mensagem atual. Nada mais.
Janela de contexto é o limite de tokens que o modelo consegue processar de uma vez. Claude Sonnet tem contexto de 200k tokens. GPT-4o tem 128k. Isso é muito — mas não ilimitado.
O que acontece quando o contexto enche depende da implementação: a maioria das ferramentas começa a remover mensagens antigas. Se você está numa conversa longa e o modelo parece esquecer coisas que disse antes, é isso que está acontecendo.
Como o modelo gera texto
O processo básico: dado o contexto atual — todos os tokens anteriores — o modelo calcula uma distribuição de probabilidade sobre o próximo token. Essencialmente, quão provável é cada palavra ou fragmento vir a seguir. Depois escolhe um token dessa distribuição e repete o processo até terminar.
O parâmetro temperatura controla quão determinista essa escolha é. Com temperatura zero, o modelo sempre escolhe o token mais provável. Com temperatura alta, ele dá mais chance para tokens menos prováveis — o que gera mais variedade, mas também mais chance de incoerência.
Isso explica um comportamento que todo mundo já viu: perguntar a mesma coisa duas vezes e receber respostas diferentes. O modelo não está “escolhendo” — está amostrando de uma distribuição probabilística.
Por que modelos alucinam
Alucinação é quando o modelo gera informação que soa plausível mas é falsa. O motivo técnico: o modelo foi treinado para gerar texto que continua de forma coerente, não para verificar a veracidade do que gera.
Se o contexto que leva a uma resposta errada é mais comum nos dados de treinamento do que o contexto que leva à resposta certa, o modelo vai errar. E ele não tem como saber que errou — não tem acesso ao mundo real, só ao texto que processou durante o treinamento.
Isso explica por que alucinação é mais frequente em:
- Informações específicas de datas e números
- Nomes menos comuns de pessoas e empresas
- Eventos recentes, após a data de corte de treinamento
- Detalhes técnicos muito específicos de versões de software
A mitigação prática: fornecer a informação no contexto em vez de pedir que o modelo a recupere da memória. Retrieval-Augmented Generation (RAG) existe exatamente para isso.
System prompt e instruções de sistema
Quando você usa o Claude ou o ChatGPT via interface, existe um system prompt que você não vê — instruções definidas pela empresa que configuram o comportamento do modelo. Via API, você define o seu próprio.
O system prompt tem peso maior que as mensagens de usuário na maioria dos modelos. É onde você coloca identidade, restrições permanentes e contexto que deve se manter em toda a conversa.
Uma analogia útil: o system prompt é o contrato de trabalho, a mensagem do usuário é a tarefa do dia. O modelo tenta cumprir a tarefa dentro dos limites do contrato.
Fine-tuning vs prompting
Fine-tuning é o processo de continuar o treinamento de um modelo base com dados específicos do seu domínio. O resultado é um modelo que internalizou padrões específicos — estilo de escrita, vocabulário de nicho, formato de saída consistente.
Quando vale a pena: quando você tem centenas ou milhares de exemplos do comportamento que quer, e quando prompting não consegue capturar esse comportamento de forma consistente.
Quando não vale: a maioria dos casos de uso corporativo resolve com bom prompting e RAG. Fine-tuning adiciona complexidade operacional real — manutenção do modelo, re-treinamento quando o modelo base atualiza, custo de inferência próprio.
Modelos são snapshots, não sistemas vivos
O conhecimento de um modelo tem data de corte — o ponto no tempo até onde os dados de treinamento chegam. Qualquer evento depois disso o modelo não conhece, a menos que você coloque no contexto.
Isso é crítico em tecnologia, onde linguagens, frameworks e ferramentas mudam rápido. Confiar no modelo para saber a sintaxe atual de uma biblioteca que mudou recentemente é pedir para errar. Fornecer a documentação no contexto é a solução.
O que isso muda na prática
Entender como o modelo funciona muda algumas coisas concretas no uso:
- Você para de tratar o modelo como um banco de dados de fatos e passa a usar retrieval quando precisar de informação específica
- Você entende por que conversas longas degradam qualidade e começa a usar sessões mais curtas e focadas
- Você para de achar que o modelo “aprendeu” algo que você ensinou na conversa — ele não aprende, ele processa o contexto atual
- Você calibra a temperatura certa para o tipo de tarefa em vez de deixar no padrão
Não precisa entender matemática de transformers para usar bem — mas entender o básico do que acontece faz diferença real na qualidade do trabalho.
