Limite de saída de tokens: por que a resposta corta
Todo modelo tem dois limites distintos: quanto ele consegue ler e quanto consegue escrever numa resposta. Confundir os dois leva a diagnosticar o problema errado.
Dois números, dois problemas
O contexto limita a soma do que entra com o que sai. O limite de saída limita apenas a resposta. Se a resposta para no meio de uma frase, o limite atingido foi o de saída, e aumentar o contexto não resolve.
O que fazer quando a edição não cabe
Peça a mudança em partes nomeadas, em vez de uma edição única. Um pedido como altere apenas a função X e mostre as linhas alteradas produz uma resposta curta e verificável. Reescrever o arquivo inteiro é o padrão que estoura o limite com mais frequência.
Escolher o modelo pelo teto de saída
O catálogo mostra o teto de saída de cada modelo. Se o seu fluxo gera arquivos grandes, esse número pesa mais que o preço por token: uma resposta truncada custa uma segunda chamada, e a segunda chamada custa mais que a diferença de preço entre os modelos.