Control de solicitudes y traducción por lotes
Entiende Token Bucket, burst requests, lotes LLM, reintentos, fallback individual y ajustes para APIs limitadas.
La página se configura en Opciones → Traducción → Control de solicitudes. Los subtítulos tienen valores independientes en Opciones → Subtítulos de vídeo.
Valores predeterminados
| Opción | Valor | Se aplica a |
|---|---|---|
| Solicitudes medias por segundo | 8 | Todos los providers de ese flujo |
| Máximo de solicitudes burst | 60 | Todos los providers de ese flujo |
| Caracteres máximos por lote | 1000 | Solo LLM |
| Párrafos máximos por lote | 4 | Solo LLM |
Token Bucket
El bucket empieza lleno con tantos tokens como su capacidad. Cada solicitud consume uno y la tasa media los repone continuamente. Cuando hay tokens, las solicitudes vencidas de la cola pueden comenzar.
Por eso, la capacidad burst no es un límite de concurrencia. Con 60, un bucket lleno puede liberar hasta 60 solicitudes inmediatamente; no garantiza que solo haya 60 en curso.
Se aceptan decimales: 0.25 repone una solicitud cada cuatro segundos y 0.5 cada dos.
No copies “solicitudes por minuto” en el campo por segundo. Divide entre 60 y comprueba también el límite de ráfaga del provider.
Puntos de partida conservadores
| Cuota | Configuración inicial |
|---|---|
| 60/min sin burst documentado | rate 1, capacity 1 |
| 15/min | rate 0.25, capacity 1 |
| 1 cada 10 segundos | rate 0.1, capacity 1 |
| Modelo local rápido | empezar en 8 / 60 y observar memoria/latencia |
Ante HTTP 429, pon capacity en 1 y baja rate al límite sostenido. Los lotes LLM reducen el número total, pero no vuelven segura una ráfaga inicial excesiva.
Cuándo se envía un lote LLM
Solo se agrupan providers LLM. Los elementos deben compartir provider, idiomas y contexto. El lote se envía cuando:
- el siguiente elemento superaría el límite de caracteres;
- se alcanza el límite de párrafos/segmentos;
- se alcanza el límite actual de caracteres;
- termina la ventana de agrupación de unos
100ms.
Los valores 1000/4 equilibran ahorro y salida estructurada fiable. Un lote mayor ahorra llamadas, pero amplía el impacto de un error y puede exceder límites del modelo.
Reintentos y fallback
El LLM debe devolver una traducción por entrada. Si el número es incorrecto, Read Frog reintenta hasta tres veces y después traduce esos elementos individualmente. Los errores de red normales usan la política de reintento de la cola.
Las entradas duplicadas en curso se deduplican y los éxitos se reutilizan desde caché. Estadísticas compara las solicitudes originales con las solicitudes agrupadas.
Para una cuota gratuita estricta usa capacity 1, rate 0.1–1, 600–1000 caracteres y 2–4 párrafos. Si la salida estructurada falla, baja a 500–800 caracteres y 2 párrafos. Incluso un modelo local puede saturarse con un burst grande.