요청 제어 및 일괄 번역
Token Bucket, burst request, LLM 배치, 재시도, 개별 fallback과 낮은 API quota 설정을 설명합니다.
페이지 설정은 설정 → 번역 → 요청 제어, 동영상 자막은 설정 → 동영상 자막에 독립적으로 있습니다.
기본값
| 설정 | 기본값 | 적용 대상 |
|---|---|---|
| 초당 평균 요청 | 8 | 해당 번역 흐름의 모든 provider |
| 최대 burst 요청 수 | 60 | 해당 번역 흐름의 모든 provider |
| 배치당 최대 문자 | 1000 | LLM 전용 |
| 배치당 최대 문단 | 4 | LLM 전용 |
Token Bucket
버킷은 capacity만큼 token이 채워진 상태로 시작합니다. 요청 하나를 시작할 때 token 하나를 사용하고, 평균 속도에 따라 계속 보충합니다. token이 있으면 대기 중인 요청을 시작할 수 있습니다.
따라서 burst capacity는 동시 요청 상한이 아닙니다. 기본 60은 가득 찬 버킷에서 최대 60개의 대기 요청을 즉시 내보낼 수 있다는 의미입니다.
소수도 유효합니다. 0.25는 4초마다 token 하나, 0.5는 2초마다 하나입니다.
provider의 “분당 요청 수”를 초당 필드에 그대로 넣지 마세요. 60으로 나누고 단기 burst 제한도 확인하세요.
보수적인 시작값
| API 제한 | 시작값 |
|---|---|
| 분당 60회, burst 미기재 | rate 1, capacity 1 |
| 분당 15회 | rate 0.25, capacity 1 |
| 10초당 1회 | rate 0.1, capacity 1 |
| 빠른 로컬 모델 | 8 / 60부터 지연과 메모리 관찰 |
429가 발생하면 먼저 capacity를 1로 하고 지속 quota에 맞춰 rate를 낮춥니다. LLM 배치는 전체 요청 수를 줄이지만 과도한 초기 burst를 안전하게 만들지는 않습니다.
LLM 배치 조건
배치는 LLM provider에만 적용됩니다. provider, 소스/대상 언어, 컨텍스트가 같은 항목이 모이며 다음 중 하나면 전송됩니다.
- 다음 항목을 넣으면 문자 제한 초과
- 문단/자막 수 제한 도달
- 현재 문자 제한 도달
- 약
100ms 수집 시간 종료
기본 1000자/4문단은 요청 절감과 구조화 출력 안정성의 균형입니다. 큰 배치는 효율적이지만 실패 영향과 모델 한도 초과 위험도 커집니다.
재시도와 개별 fallback
LLM은 입력마다 번역 하나를 반환해야 합니다. 개수가 맞지 않으면 Read Frog가 최대 세 번 재시도하고, 이후 각 항목을 개별 번역합니다. 일반 네트워크 오류는 요청 큐의 재시도 정책으로 처리됩니다.
진행 중인 중복 항목은 합쳐지고 성공 결과는 캐시됩니다. 통계에서 원래 문단 요청과 실제 배치 요청을 비교할 수 있습니다.
엄격한 무료 quota는 capacity 1, rate 0.1–1, 600–1000자, 2–4문단부터 시작하세요. 구조화 출력이 불안정하면 500–800자/2문단으로 줄입니다. 로컬 모델도 큰 burst로 과부하될 수 있습니다.