도구 사용에서 매개변수 값에 대한 세밀한 스트리밍을 지원하여 대용량 매개변수 수신 시작 지연 시간을 줄입니다.
fine-grained-tool-streaming-2025-05-14
를 추가하고 스트리밍을 켜기만 하면 됩니다.
다음은 API에서 세밀한 도구 스트리밍을 사용하는 방법의 예시입니다:
lines_of_text
매개변수가 유효한 JSON인지 검증하기 위해 버퍼링하지 않고 긴 시의 줄들을 도구 호출 make_file
로 스트리밍할 수 있게 합니다. 이는 전체 매개변수가 버퍼링되고 검증될 때까지 기다릴 필요 없이 매개변수가 도착하는 대로 스트림을 볼 수 있음을 의미합니다.
max_tokens
에 도달하면 스트림이 매개변수 중간에 끝날 수 있으며 불완전할 수 있습니다. 일반적으로 max_tokens
에 도달했을 때를 처리하기 위한 특별한 지원을 작성해야 합니다.