Uma janela de contexto é o texto máximo, em tokens, que um LLM processa de uma só vez. Saiba como funciona, os seus limites e por que importa para a visibilidade na pesquisa com IA.

A janela de contexto é a quantidade máxima de texto, medida em tokens, que um grande modelo de linguagem consegue considerar de uma só vez ao gerar uma resposta. Tudo conta para ela: as instruções de sistema, a mensagem do utilizador, qualquer histórico da conversa, os documentos recuperados e a resposta que o modelo produz. Quando o limite é atingido, o conteúdo mais antigo tem de ser descartado ou resumido.
Pense nela como a memória de trabalho do modelo, e não como armazenamento de longo prazo. Tudo o que está fora da janela é simplesmente invisível para o modelo nesse pedido, e é por isso que o tamanho e a gestão da janela de contexto moldam o que um assistente de IA consegue de facto fazer.
Uma janela de contexto define quanta informação um modelo consegue manter à vista em simultâneo. Não é memória persistente; é o espaço de trabalho ativo para um único pedido. Quando a conversa ou o conjunto de documentos excede a janela, o sistema ou trunca as partes mais antigas ou comprime-as num resumo, já que os tokens em bruto deixam de caber.
É por isso que um chatbot pode parecer esquecer o início de uma conversa longa. As mensagens mais antigas deslizaram para fora da janela, a menos que tenham sido explicitamente retidas. Compreender esta fronteira explica grande parte de como e por que os assistentes de IA se comportam da forma como o fazem.
As janelas de contexto são medidas em tokens, e não em palavras ou caracteres. Um token pode ser um caractere, parte de uma palavra, uma palavra inteira ou um símbolo curto, produzido por um tokenizador que usa tipicamente codificação por pares de bytes. Como regra grosseira, um token é cerca de quatro caracteres ou cerca de três quartos de uma palavra em inglês, embora isto varie consoante a língua e o tokenizador.
Como a faturação e os limites são denominados em tokens, a mesma ideia expressa de forma concisa custa menos da janela do que uma versão verbosa. Para documentos longos e conversas longas, a eficiência de tokens determina diretamente quanto cabe e quanto espaço resta para o raciocínio e a resposta do modelo.
Os modelos transformadores processam todos os tokens da janela de uma só vez usando um mecanismo de atenção, em que cada token pode potencialmente atender a todos os outros tokens. Isto é poderoso mas dispendioso: a atenção escala com o quadrado do comprimento da sequência, por isso 10.000 tokens implicam cerca de 100 milhões de comparações e 100.000 tokens implicam cerca de 10 mil milhões.
Dois constrangimentos adicionais definem o teto prático. A cache de chave-valor cresce com cada token gerado e consome memória da GPU, e a largura de banda da memória entre a memória rápida e a lenta torna-se um estrangulamento. Em conjunto, estes fatores explicam por que as janelas de contexto são limitadas e por que as janelas maiores custam mais a executar. O desenho subjacente é coberto na arquitetura transformadora.
Os tamanhos das janelas cresceram depressa. As configurações anteriores do GPT-4 ofereciam 8.192 tokens, enquanto o GPT-4o atinge 128.000. Os modelos Claude ofereceram 200.000 tokens e, em versões mais recentes, até 1.000.000, e o Gemini 1.5 Pro foi documentado em até 2.000.000 tokens. Os modelos abertos como o Llama 3.1 suportam comummente 128.000.
Estes números são máximos anunciados, e não garantias de qualidade ao longo de toda a gama. Uma janela maior permite-lhe encaixar mais, mas, como a secção seguinte mostra, encaixar mais não é o mesmo que o modelo usar tudo bem. Os números aqui vêm de fontes publicadas de fornecedores e analistas, e não de estimativas.
As janelas maiores degradam-se de forma documentada. O efeito do perdido no meio significa que os modelos atendem bem ao início e ao fim da sua entrada mas perdem rigor para a informação colocada no centro. As análises reportam perda de qualidade mensurável para os modelos de contexto longo a começar por volta dos 32.000 tokens, e um modelo de 200.000 tokens pode mostrar degradação bem antes do seu limite.
A conclusão prática, como quem pratica a coloca, é não confiar na ficha técnica e fazer um benchmark do seu caso de uso real no seu comprimento alvo. Contextos pequenos e focados mantêm uma atenção mais estável do que os muito grandes recheados de texto marginalmente relevante. Mais tokens podem até acrescentar ruído que reduz a qualidade do raciocínio.
Como as janelas maiores são dispendiosas e imperfeitas, os sistemas de produção raramente dependem só delas. A geração aumentada por recuperação vai buscar apenas as passagens mais relevantes e injeta-as, mantendo o prompt pequeno e focado. A cache semântica reutiliza respostas a consultas semelhantes, e os sistemas de memória dos agentes separam a conversa de curto prazo do conhecimento de longo prazo.
É também por isso que o fracionamento de conteúdo importa para os editores. Dividir o conteúdo em secções limpas e autocontidas torna mais fácil para um sistema de recuperação extrair a passagem certa para uma janela limitada, em vez de forçar o modelo a vadear por uma página inteira.
Para a otimização para motores generativos, a janela de contexto é o espaço pelo qual o seu conteúdo compete dentro de uma resposta de IA. Quando um assistente como o ChatGPT, o Perplexity ou o Gemini recupera fontes, apenas um número limitado de tokens entra na janela, por isso passagens concisas e bem estruturadas que respondem à pergunta diretamente são mais propensas a ser usadas.
Isto recompensa o fracionamento claro, a escrita com a resposta à cabeça e a relevância apertada, os mesmos instintos por trás do conteúdo pronto para LLM. O conteúdo que desperdiça tokens com enchimento é menos propenso a sobreviver à recuperação e à síntese, enquanto o conteúdo que entrega a resposta de forma compacta conquista o seu lugar na janela e, com ele, uma hipótese de citação.
Uma janela de contexto é o orçamento de tokens que um modelo usa para ler um prompt e escrever uma resposta, funcionando como memória de trabalho em vez de armazenamento permanente. É limitada pelo custo da atenção, pela memória da cache e pela largura de banda, e mesmo as janelas grandes sofrem o efeito do perdido no meio, por isso encaixar mais não é o mesmo que usar mais.
Para os editores, a lição é escrever conteúdo compacto, bem fracionado e com a resposta à cabeça que sobreviva à recuperação para uma janela limitada, apoiado por técnicas como a geração aumentada por recuperação e um fracionamento de conteúdo limpo. Fontes de referência: Redis e Bitfern.
É a quantidade máxima de texto, medida em tokens, que um modelo consegue processar num pedido. Inclui o prompt de sistema, a entrada do utilizador, o histórico da conversa, quaisquer documentos recuperados e a resposta gerada. Atua como memória de trabalho, por isso tudo o que ultrapassa o limite é descartado ou resumido e torna-se invisível para o modelo.
Não. Uma janela maior permite-lhe encaixar mais texto, mas o rigor degrada-se muitas vezes devido ao efeito do perdido no meio, em que os modelos atendem bem ao início e ao fim mas falham o centro. Muitos modelos de contexto longo mostram perda de qualidade mensurável por volta dos 32.000 tokens, por isso fazer um benchmark do seu caso de uso real importa mais do que o máximo anunciado.
Quando um assistente de IA responde a uma pergunta, apenas um número limitado de tokens das fontes recuperadas cabe na sua janela de contexto. Passagens concisas e bem estruturadas que respondem à consulta diretamente são mais propensas a ser extraídas e citadas. O conteúdo recheado de enchimento desperdiça o orçamento de tokens e é menos propenso a sobreviver à recuperação e à síntese.