Token

O pedaço de texto (palavra, parte de palavra ou símbolo) com que um LLM trabalha. É também a unidade em que você paga a API.

Um modelo não lê letras nem palavras inteiras: o texto é quebrado em tokens por um tokenizador. Em português, uma palavra costuma virar mais de um token. Tudo gira em torno dessa unidade: o modelo prevê o próximo token, a janela de contexto é medida em tokens e a conta da API também.

A real: “economizar tokens” com formato milagroso raramente é o seu gargalo. Meça antes de otimizar.

Veja também: LLM (Large Language Model), Engenharia de contexto