English
Türkçe
FrançaisÜretimde kesintisiz kullanım
Yüksek hacimli trafik için istemci tarafında uygulanacak kurallar. Sunucunun kuyruk, backoff ve hata kodlarıyla uyumlu çalışır.
1. Retry disiplini
429 yanıtındaki retry_after (saniye) ve reason alanlarını oku. retry_after dolmadan tekrar deneme; en fazla 2-3 deneme yap ve aralara jitter ekle. 5xx hatalarında toplam süre bütçeli exponential backoff kullan.
2. Eşzamanlılık sınırı
Kullanıcı başına eşzamanlı istek sınırı ücretsiz planda 4, ücretli planlarda 8'dir. Sınırı aşan istek 429 alır; taşan işleri istemcide kuyruğa al, paralel fan-out yapma.
3. Terminal olaylar
Chat akışında data: [DONE], Responses akışında response.completed gelmeden yanıtı tamamlanmış sayma. response.failed veya hata çerçevesi gelirse code alanına bak: 429 ise retry_after kadar bekleyip aynı isteği tekrar gönder; başka kod ise logla ve bekle. Kodsuz kopmalarda isteği, X-Request-ID değeriyle birlikte destek ekibine ilet.
4. Bağlam diyeti
Her turda tüm geçmişi aynen göndermek token tüketimini katlar. Eski turları özetle, büyük dosya çıktılarını ilgili satırlara indir, görselleri gerektiğinde düşür.
5. Zaman aşımları
İstemci timeout'unu uzun akışları yarıda kesmeyecek kadar cömert tut. Uzun reasoning boşluklarında bağlantıyı kapatma, heartbeat satırlarını yoksay.
6. Taşma modeli
Birincil model kota reddi verirse aynı isteği daha sakin bir modele yönlendir. Desteklenen modeller ve limitler için GET /v1/models ve paneldeki plan tablosuna bak.