Управление запросами и пакетный перевод
Token Bucket, burst requests, LLM-пакеты, повторы, индивидуальный fallback и настройки для малых квот.
Для страницы откройте Настройки → Перевод → Управление запросами. У субтитров отдельные значения в Настройки → Видеосубтитры.
Значения по умолчанию
| Настройка | Значение | Применение |
|---|---|---|
| Среднее запросов/сек | 8 | Все providers этого потока |
| Максимальный burst | 60 | Все providers этого потока |
| Символов в пакете | 1000 | Только LLM |
| Абзацев в пакете | 4 | Только LLM |
Token Bucket
Bucket начинается заполненным до capacity. Каждый старт запроса расходует один token, а средняя скорость непрерывно пополняет их. При наличии tokens ожидающие запросы могут стартовать.
Поэтому burst capacity — не лимит параллельности. При 60 полный bucket может сразу выпустить до 60 запросов; это не гарантия максимум 60 активных соединений.
Допустимы дроби: 0.25 пополняет один token каждые четыре секунды, 0.5 — каждые две.
Не копируйте «запросов в минуту» в поле запросов в секунду. Разделите на 60 и проверьте кратковременный burst-лимит.
Консервативные варианты
| Квота | Начальные значения |
|---|---|
| 60/мин, burst не указан | rate 1, capacity 1 |
| 15/мин | rate 0.25, capacity 1 |
| 1 за 10 секунд | rate 0.1, capacity 1 |
| Быстрая локальная модель | начать с 8 / 60, следить за памятью и задержкой |
При 429 сначала установите capacity 1, затем снизьте rate до устойчивой квоты. LLM-пакеты уменьшают общее число запросов, но не делают чрезмерный начальный burst безопасным.
Когда отправляется LLM-пакет
Пакеты применяются только к LLM providers. Совпадать должны provider, исходный/целевой язык и контекст. Отправка происходит, когда:
- следующий элемент превысит лимит символов;
- достигнут лимит абзацев/сегментов;
- достигнут текущий лимит символов;
- закончилось окно сбора около
100ms.
1000/4 балансируют экономию и надёжный структурированный ответ. Большой пакет экономит вызовы, но увеличивает влияние ошибки и риск превышения лимита модели.
Повторы и fallback
LLM должен вернуть один перевод на каждый вход. При неверном количестве Read Frog повторяет до трёх раз, затем переводит элементы отдельно. Обычные сетевые ошибки обрабатываются retry-политикой очереди.
Дубликаты в обработке объединяются, успешные результаты берутся из кэша. В Статистике сравниваются исходные и фактические пакетные запросы.
Для строгой бесплатной квоты: capacity 1, rate 0.1–1, 600–1000 символов, 2–4 абзаца. При нестабильной структуре уменьшите до 500–800 и 2. Большой burst способен перегрузить и локальную модель.