LM Studio

LM Studio là gì?

LM Studio là một ứng dụng dành cho máy tính để bàn để tải xuống, quản lý và chạy cục bộ các mô hình ngôn ngữ lớn. Máy chủ cục bộ của nó hiển thị các mô hình cục bộ thông qua API tương thích OpenAI, vì vậy Read Frog có thể kết nối với LM Studio thông qua nhà cung cấp tùy chỉnh tương thích OpenAI để dịch và đọc cục bộ.

Các ví dụ chính thức tương thích với OpenAI của LM Studio sử dụng http://localhost:1234/v1. Phần 1234 là cổng Máy chủ cục bộ. Trong thiết lập của riêng bạn, hãy luôn khớp với cổng được định cấu hình trong cài đặt Máy chủ cục bộ của LM Studio.

Định cấu hình LM Studio Máy chủ cục bộ

1. Tải xuống và cài đặt LM Studio

Tải xuống LM Studio từ official website, cài đặt nó và tải xuống mẫu phù hợp với phần cứng của bạn.

Đối với việc dịch thuật, mô hình nhỏ hơn và nhanh hơn thường tốt hơn. Đối với các tính năng đọc, tóm tắt hoặc đầu ra có cấu trúc của Read Frog, hãy chọn một mô hình hỗ trợ đầu ra có cấu trúc.

2. Khởi động máy chủ cục bộ

Trong LM Studio, mở Nhà phát triển -> Máy chủ cục bộ, đảm bảo mô hình đã được tải rồi khởi động máy chủ.

Bạn cũng có thể khởi động máy chủ bằng LM Studio CLI:

lms server start --port 1234 --cors

Nếu bạn sử dụng một cổng khác trong giao diện người dùng, chẳng hạn như 3000, thì URL cơ sở trong Read Frog cũng phải được đổi thành http://localhost:3000/v1.

3. Định cấu hình cài đặt máy chủ

Trong Nhà phát triển -> Máy chủ cục bộ -> Cài đặt máy chủ, thiết lập được đề xuất là:

4. Tạo mã thông báo API

Mở Cài đặt máy chủ, bật Yêu cầu xác thực, sau đó nhấp vào Quản lý mã thông báo để tạo mã thông báo API mới.

Sao chép mã thông báo ngay sau khi tạo. LM Studio chỉ hiển thị một lần. Sau đó dán mã thông báo này vào trường Khóa API của Read Frog.

Bạn nên luôn bật xác thực và dán Mã thông báo LM Studio API thực vào Read Frog. Điều này ngăn các máy khách trái phép gọi đến máy chủ cục bộ của bạn khi quyền truy cập CORS hoặc LAN được bật.

Định cấu hình LM Studio trong Read Frog

1. Mở trang Nhà cung cấp API

1. Nhấp vào biểu tượng tiện ích mở rộng Read Frog trên thanh công cụ của trình duyệt
2. Nhấp vào Tùy chọn
3. Mở trang cài đặt Nhà cung cấp mô hình / Nhà cung cấp API
4. Thêm nhà cung cấp tùy chỉnh tương thích OpenAI

2. Điền vào cài đặt kết nối

Nếu Máy chủ cục bộ LM Studio của bạn sử dụng cổng 1234 mặc định:

{
  "baseURL": "http://localhost:1234/v1",
  "apiKey": "Paste the API Token created in LM Studio",
  "model": "Select a model with Read Frog's Fetch Models action"
}

Nếu cổng Máy chủ cục bộ của bạn không phải là 1234, hãy cập nhật URL cơ sở:

{
  "baseURL": "http://localhost:XXXXX/v1"
}

Sau khi định cấu hình URL cơ sở và Khóa API, hãy nhấp vào Tìm nạp mô hình trong Read Frog để đọc danh sách mô hình được LM Studio Máy chủ cục bộ hiển thị, sau đó chọn mô hình bạn muốn sử dụng.

Nếu bạn cần xác minh danh sách mô hình theo cách thủ công, bạn cũng có thể sử dụng:

curl http://localhost:1234/v1/models \
  -H "Authorization: Bearer YOUR_LM_STUDIO_TOKEN"

Nếu xác thực bị tắt, hãy xóa tiêu đề Authorization.

3. Kiểm tra kết nối

Sau khi lưu nhà cung cấp, hãy nhấp vào Kiểm tra kết nối. Nếu thất bại, hãy kiểm tra:

• LM Studio Máy chủ cục bộ đang chạy
• URL cơ sở kết thúc bằng /v1
• Cổng khớp với Cổng máy chủ trong LM Studio
• Enable CORS đang được bật
• Nếu Yêu cầu xác thực được bật, Khóa API là mã thông báo LM Studio của bạn
• Mã định danh mô hình đã tải là chính xác

Tắt chế độ suy nghĩ

Một số mô hình hỗ trợ chế độ tư duy/lý luận, chẳng hạn như mô hình Qwen. Khi được bật, mô hình có thể xuất nội dung suy luận trước câu trả lời cuối cùng. Điều này có thể hữu ích cho việc trò chuyện, nhưng nó có thể ảnh hưởng đến kết quả có cấu trúc của Read Frog và khiến thông tin dịch không được trả về chính xác.

Nếu bản dịch chứa văn bản lý luận, định dạng đầu ra không ổn định hoặc phân tích cú pháp JSON không thành công, hãy tắt nó trong LM Studio:

1. Mở bảng cấu hình cho mô hình đã tải
2. Đi tới Thông số mẫu -> Trường tùy chỉnh
3. Tắt Bật suy nghĩ
4. Lưu nó dưới dạng cài đặt trước không cần suy nghĩ
5. Tải lại mô hình hoặc áp dụng cấu hình khi được nhắc

Tên trường chính xác có thể khác nhau tùy theo kiểu máy. Nếu bạn không thấy Enable Thought thì mô hình hoặc thời gian chạy hiện tại có thể không hiển thị tùy chọn này.

Khắc phục sự cố

Tiện ích mở rộng của trình duyệt không thể kết nối

Đảm bảo Máy chủ cục bộ đang chạy và Bật CORS được bật. Tiện ích mở rộng trình duyệt thường cần hỗ trợ CORS khi gọi dịch vụ localhost cục bộ.

401 hoặc lỗi xác thực

Nếu Yêu cầu xác thực được bật, các yêu cầu phải bao gồm Authorization: Bearer <token>. Trong Read Frog, dán mã thông báo LM Studio vào trường Khóa API.

Không thể truy cập cổng

http://localhost:1234/v1 chỉ hoạt động khi cổng máy chủ là 1234. Nếu bạn đã định cấu hình Cổng máy chủ khác trong LM Studio, hãy cập nhật URL cơ sở tương ứng.

Thiết bị LAN không thể truy cập máy chủ

Nếu một thiết bị khác cần truy cập LM Studio, hãy bật Phục vụ trên Mạng cục bộ và sử dụng IP LAN của máy đang chạy LM Studio, chẳng hạn như http://192.168.1.10:1234/v1. Điều này làm tăng khả năng hiển thị, vì vậy Yêu cầu xác thực cũng phải được bật.

Đầu ra đọc có định dạng không hợp lệ

Trước tiên, hãy thử tắt chế độ Suy nghĩ, sau đó chuyển sang mô hình có hỗ trợ đầu ra có cấu trúc tốt hơn. Một số mô hình nguồn mở có độ tin cậy ở định dạng JSON yếu hơn và có thể yêu cầu một mô hình khác hoặc yêu cầu đầu ra đơn giản hơn.

Tài liệu tham khảo

• LM Studio Server Settings
• LM Studio Authentication
• LM Studio OpenAI Compatibility
• LM Studio CLI server start