Kiểm soát yêu cầu và dịch theo lô
Hiểu Token Bucket, burst request, lô LLM, retry, fallback từng mục và cấu hình cho API quota thấp.
Trang web dùng Cài đặt → Dịch → Kiểm soát yêu cầu. Phụ đề có bộ độc lập tại Cài đặt → Phụ đề video.
Giá trị mặc định
| Cài đặt | Giá trị | Áp dụng |
|---|---|---|
| Yêu cầu trung bình/giây | 8 | Tất cả providers trong luồng đó |
| Số yêu cầu burst tối đa | 60 | Tất cả providers trong luồng đó |
| Ký tự tối đa mỗi lô | 1000 | Chỉ LLM |
| Đoạn tối đa mỗi lô | 4 | Chỉ LLM |
Token Bucket
Bucket bắt đầu đầy theo capacity. Mỗi yêu cầu bắt đầu tiêu thụ một token; rate trung bình liên tục nạp lại. Khi có token, yêu cầu đến hạn trong hàng đợi có thể chạy.
Vì vậy, burst capacity không phải giới hạn đồng thời. Với 60, bucket đầy có thể thả ngay tối đa 60 yêu cầu đang chờ; không đảm bảo chỉ có 60 yêu cầu mạng đang chạy.
Số thập phân hợp lệ: 0.25 nạp một token mỗi bốn giây, 0.5 mỗi hai giây.
Không chép “yêu cầu mỗi phút” thẳng vào ô mỗi giây. Hãy chia cho 60 và kiểm tra giới hạn burst ngắn hạn.
Điểm bắt đầu thận trọng
| Quota | Cấu hình đầu tiên |
|---|---|
| 60/phút, không nêu burst | rate 1, capacity 1 |
| 15/phút | rate 0.25, capacity 1 |
| 1 mỗi 10 giây | rate 0.1, capacity 1 |
| Model cục bộ nhanh | bắt đầu 8 / 60, theo dõi bộ nhớ và độ trễ |
Khi gặp 429, đặt capacity 1 trước rồi hạ rate theo quota bền vững. Batch LLM giảm tổng số yêu cầu nhưng không làm burst ban đầu quá lớn trở nên an toàn.
Khi nào gửi lô LLM
Chỉ LLM providers được gom. Các mục cần cùng provider, ngôn ngữ nguồn/đích và context. Lô được gửi khi:
- thêm mục tiếp theo sẽ vượt giới hạn ký tự;
- đạt số đoạn/phụ đề tối đa;
- đạt số ký tự tối đa;
- cửa sổ gom khoảng
100ms kết thúc.
Mặc định 1000/4 cân bằng tiết kiệm và output có cấu trúc ổn định. Lô lớn giảm cuộc gọi nhưng tăng ảnh hưởng khi lỗi và nguy cơ vượt giới hạn model.
Retry và fallback
LLM phải trả một bản dịch cho mỗi input. Nếu số lượng sai, Read Frog thử lại tối đa ba lần rồi dịch riêng từng mục. Lỗi mạng thông thường do chính sách retry của hàng đợi xử lý.
Nội dung trùng đang chạy được gộp và kết quả thành công được dùng lại từ cache. Thống kê so sánh yêu cầu đoạn gốc và yêu cầu theo lô thực tế.
Quota miễn phí nghiêm ngặt: capacity 1, rate 0.1–1, 600–1000 ký tự, 2–4 đoạn. Nếu output cấu trúc không ổn định, giảm còn 500–800 và 2. Model cục bộ cũng có thể quá tải vì burst lớn.