Türkçe
Français
AzərbaycancaÜretimde kesintisiz kullanım
Yüksek hacimli agent trafiğini sorunsuz taşımak için istemci tarafında uygulanacak kurallar. Sunucu tarafı kuyruk, backoff ve hata kodlarıyla uyumlu çalışır; aşağıdaki disiplin olmadan kota fiziği aşılamaz.
1. Retry disiplini
429 yanıtındaki retry_after (saniye) ve reason alanlarını oku. retry_after kadar beklemeden tekrar vurma; en fazla 2-3 deneme yap ve aralara jitter ekle. Anında retry fırtınası kotayı daha da kilitler. 5xx hatalarında toplam süre bütçeli (örn. 120 sn) exponential backoff kullan.
2. Eşzamanlılık sınırı
Anahtar başına en fazla 2 eşzamanlı akış tut. Üçüncü akışı kuyruğa al, paralel fan-out yapma. 200k+ token bağlamlarda turlar arası bekleme bırak.
3. Terminal olaylar
Chat akışında data: [DONE], Responses akışında response.completed gelmeden yanıtı tamamlanmış sayma. response.failed veya hata çerçevesi gelirse code alanına bak: 429 ise retry_after kadar bekleyip aynı isteği tekrar gönder; başka kod ise logla ve bekle. Kodsuz kopmalarda isteği, X-Request-ID değeriyle birlikte destek ekibine ilet.
4. Bağlam diyeti
Her turda tüm geçmişi aynen göndermek token tüketimini katlar. Eski turları özetle, büyük dosya çıktılarını ilgili satırlara indir, görselleri gerektiğinde düşür. 200k+ token istekler paylaşımlı kotada herkesi yavaşlatır.
5. Zaman aşımları
İstemci timeout'unu en az 300 sn tut; 100 sn altı timeout uzun akışları yarıda keser. Uzun reasoning boşluklarında bağlantıyı kapatma, heartbeat yorumlarını yok say.
6. Taşma modeli
Birincil model kota reddi verirse aynı isteği daha sakin bir modele yönlendir. Desteklenen modeller ve limitler için GET /v1/models ve paneldeki plan tablosuna bak.