O que são tokens?
Tokens são a unidade básica que modelos de IA processam. Entender tokens ajuda a otimizar custos e resultados.
Entendendo o conceito
Modelos de linguagem não leem palavras inteiras — eles processam "tokens", pedaços de texto que podem ser palavras, sílabas ou caracteres. Em inglês, 1 token ≈ 0,75 palavras. Em português, textos tendem a ter mais tokens. A janela de contexto de um modelo (quantos tokens ele "lembra" de uma vez) determina o tamanho máximo de uma conversa ou documento.
🔍Exemplo prático
O texto "inteligência artificial" equivale a aproximadamente 4-5 tokens. Um documento de 10 páginas tem cerca de 4.000-5.000 tokens. Um livro inteiro pode ter 100.000-200.000 tokens.
Aplicação para empresas
Ao automatizar processos com IA, entender tokens permite calcular custos antes de escalar. Um processo que analisa 1.000 contratos por mês pode custar US$ 5 ou US$ 500 dependendo de como o prompt é otimizado.