O uso de ferramentas agora suporta streaming granular para valores de parâmetros, permitindo que os desenvolvedores façam streaming de parâmetros de uso de ferramentas sem buffering/validação JSON.
fine-grained-tool-streaming-2025-05-14
a uma solicitação de uso de ferramenta e ative o streaming.
Aqui está um exemplo de como usar streaming de ferramentas granular com a API:
make_file
sem buffering para validar se o parâmetro lines_of_text
é JSON válido. Isso significa que você pode ver o parâmetro fazer streaming conforme chega, sem ter que esperar que todo o parâmetro seja armazenado em buffer e validado.
max_tokens
for atingido, o stream pode terminar no meio de um parâmetro e pode estar incompleto. Você geralmente terá que escrever suporte específico para lidar com quando max_tokens
for atingido.