İstek Kontrolü ve Toplu Çeviri
Token Bucket, burst request, LLM toplama, yeniden deneme, tekil fallback ve düşük kota ayarları.
Sayfa için Ayarlar → Çeviri → İstek Kontrolü; video için Ayarlar → Video Altyazıları altında bağımsız değerler vardır.
Varsayılanlar
| Ayar | Değer | Kapsam |
|---|---|---|
| Saniyede ortalama istek | 8 | O akıştaki tüm providers |
| Maksimum burst istek | 60 | O akıştaki tüm providers |
| Toplu maksimum karakter | 1000 | Yalnız LLM |
| Toplu maksimum paragraf | 4 | Yalnız LLM |
Token Bucket
Bucket capacity kadar token ile dolu başlar. Her istek bir token tüketir ve ortalama rate sürekli yeniler. Token bulunduğunda sırası gelen istekler başlayabilir.
Bu nedenle burst capacity eşzamanlılık sınırı değildir. 60, dolu bucket'ın en fazla 60 bekleyen isteği hemen bırakabilmesi demektir; yalnızca 60 ağ isteği çalışacağını garanti etmez.
Ondalıklar geçerlidir: 0.25 dört saniyede bir, 0.5 iki saniyede bir token ekler.
“Dakikada istek” değerini saniye alanına doğrudan yazmayın. 60'a bölün ve kısa burst sınırını da kontrol edin.
Temkinli başlangıçlar
| Kota | Başlangıç |
|---|---|
| 60/dk, burst belirtilmemiş | rate 1, capacity 1 |
| 15/dk | rate 0.25, capacity 1 |
| 10 saniyede 1 | rate 0.1, capacity 1 |
| Hızlı yerel model | 8 / 60 ile başlayıp bellek ve gecikmeyi izleyin |
429 alırsanız önce capacity'yi 1 yapın, ardından rate'i sürdürülebilir kotaya indirin. LLM toplama toplam istek sayısını azaltır; aşırı ilk burst'ü güvenli yapmaz.
LLM toplu isteği ne zaman gönderilir?
Yalnız LLM providers gruplanır. Provider, kaynak/hedef dil ve bağlam aynı olmalıdır. Şu koşullarda gönderilir:
- sonraki öğe karakter sınırını aşacaksa;
- paragraf/altyazı sayısı sınıra ulaştıysa;
- mevcut karakter sayısı sınıra ulaştıysa;
- yaklaşık
100ms toplama penceresi bittiyse.
1000/4, tasarruf ve yapılandırılmış çıktı güvenilirliğini dengeler. Büyük paket çağrıları azaltır ama hata etkisini ve model sınırı riskini büyütür.
Yeniden deneme ve fallback
LLM her giriş için bir çeviri döndürmelidir. Sayı yanlışsa Read Frog üç kez dener, ardından öğeleri tek tek çevirir. Normal ağ hataları kuyruk retry politikasıyla işlenir.
Devam eden tekrarlar birleştirilir, başarılı sonuçlar önbellekten kullanılır. İstatistikler özgün ve toplu istekleri karşılaştırır.
Sıkı ücretsiz kota için capacity 1, rate 0.1–1, 600–1000 karakter ve 2–4 paragraf kullanın. Yapılandırılmış çıktı kararsızsa 500–800 ve 2'ye düşürün. Yerel model de büyük burst ile aşırı yüklenebilir.