LM Studio

LM Studio이란 무엇입니까?

LM Studio은 대규모 언어 모델을 로컬에서 다운로드, 관리 및 실행하기 위한 데스크톱 앱입니다. 로컬 서버는 OpenAI 호환 API을 통해 로컬 모델을 노출하므로 Read Frog은 로컬 번역 및 읽기를 위해 OpenAI 호환 사용자 정의 공급자를 통해 LM Studio에 연결할 수 있습니다.

LM Studio의 공식 OpenAI 호환 예제에서는 http://localhost:1234/v1을 사용합니다. 1234 부분은 로컬 서버 포트입니다. 자체 설정에서는 항상 LM Studio의 로컬 서버 설정에 구성된 포트와 일치하십시오.

LM Studio 로컬 서버 구성

1. LM Studio 다운로드 및 설치

official website에서 LM Studio을 다운로드하여 설치하고 하드웨어에 맞는 모델을 다운로드하세요.

번역의 경우 일반적으로 더 작고 빠른 모델이 더 좋습니다. Read Frog의 읽기, 요약 또는 구조화된 출력 기능의 경우 구조화된 출력을 지원하는 모델을 선택하세요.

2. 로컬 서버 시작

LM Studio에서 개발자 -> 로컬 서버를 열고 모델이 로드되었는지 확인한 다음 서버를 시작합니다.

LM Studio CLI를 사용하여 서버를 시작할 수도 있습니다.

lms server start --port 1234 --cors

UI에서 3000과 같은 다른 포트를 사용하는 경우 Read Frog의 기본 URL도 http://localhost:3000/v1로 변경해야 합니다.

3. 서버 설정 구성

개발자 -> 로컬 서버 -> 서버 설정에서 권장되는 설정은 다음과 같습니다.

4. API 토큰 생성

서버 설정을 열고 인증 필요를 활성화한 다음 토큰 관리를 클릭하여 새 API 토큰을 만듭니다.

토큰 생성 후 즉시 토큰을 복사하세요. LM Studio은 한 번만 표시합니다. 그런 다음 이 토큰을 Read Frog의 API 키 필드에 붙여넣습니다.

항상 인증을 활성화하고 실제 LM Studio API 토큰을 Read Frog에 붙여넣는 것이 좋습니다. 이렇게 하면 CORS 또는 LAN 액세스가 활성화된 경우 승인되지 않은 클라이언트가 로컬 서버를 호출하는 것을 방지할 수 있습니다.

Read Frog에서 LM Studio 구성

1. API 제공자 페이지를 엽니다.

1. 브라우저 도구 모음에서 Read Frog 확장 아이콘을 클릭하세요.
2. 옵션을 클릭하세요.
3. API 제공자/모델 제공자 설정 페이지를 엽니다.
4. OpenAI 호환 사용자 정의 공급자 추가

2. 연결 설정을 입력하세요

LM Studio 로컬 서버가 기본 1234 포트를 사용하는 경우:

{
  "baseURL": "http://localhost:1234/v1",
  "apiKey": "Paste the API Token created in LM Studio",
  "model": "Select a model with Read Frog's Fetch Models action"
}

로컬 서버 포트가 1234이 아닌 경우 기본 URL을 업데이트하세요.

{
  "baseURL": "http://localhost:XXXXX/v1"
}

기본 URL 및 API 키를 구성한 후 Read Frog에서 Fetch Models를 클릭하여 LM Studio 로컬 서버에서 공개된 모델 목록을 읽은 다음 사용하려는 모델을 선택합니다.

모델 목록을 수동으로 확인해야 하는 경우 다음을 사용할 수도 있습니다.

curl http://localhost:1234/v1/models \
  -H "Authorization: Bearer YOUR_LM_STUDIO_TOKEN"

인증이 비활성화된 경우 Authorization 헤더를 제거합니다.

3. 연결 테스트

공급자를 저장한 후 연결 테스트를 클릭합니다. 실패하면 다음을 확인하세요.

• LM Studio 로컬 서버가 실행 중입니다.
• 기본 URL은 /v1로 끝납니다.
• 포트가 LM Studio의 서버 포트와 일치합니다.
• CORS 활성화가 켜져 있습니다.
• 인증 필요가 활성화된 경우 API 키는 LM Studio 토큰입니다.
• 로드된 모델 식별자가 정확합니다.

사고 모드 비활성화

Qwen 모델과 같은 일부 모델은 사고/추론 모드를 지원합니다. 활성화되면 모델은 최종 답변 전에 추론 콘텐츠를 출력할 수 있습니다. 이는 채팅에 유용할 수 있지만 Read Frog의 구조화된 출력을 방해하고 번역 정보가 올바르게 반환되지 않도록 할 수 있습니다.

번역에 추론 텍스트가 포함되어 출력 형식이 불안정해지거나 JSON 구문 분석이 실패하는 경우 LM Studio에서 비활성화합니다.

1. 로드된 모델의 구성 패널을 엽니다.
2. 모델 매개변수 -> 사용자 정의 필드로 이동합니다.
3. 사고 활성화를 끄세요.
4. 아무 생각 없이 프리셋으로 저장해 보세요
5. 모델을 다시 로드하거나 메시지가 표시되면 구성을 적용합니다.

정확한 필드 이름은 모델에 따라 다를 수 있습니다. 사고 활성화가 표시되지 않으면 현재 모델이나 런타임에서 이 옵션을 노출하지 않을 수 있습니다.

문제 해결

브라우저 확장 프로그램을 연결할 수 없습니다

로컬 서버가 실행 중이고 CORS 활성화가 켜져 있는지 확인하세요. 브라우저 확장은 일반적으로 로컬 localhost 서비스를 호출할 때 CORS 지원이 필요합니다.

401 또는 인증 오류

인증 필요가 활성화된 경우 요청에는 Authorization: Bearer <token>이 포함되어야 합니다. Read Frog에서 LM Studio 토큰을 API 키 필드에 붙여넣습니다.

포트에 연결할 수 없습니다.

http://localhost:1234/v1은 서버 포트가 1234인 경우에만 작동합니다. LM Studio에서 다른 서버 포트를 구성한 경우 그에 따라 기본 URL을 업데이트하십시오.

LAN 장치가 서버에 액세스할 수 없습니다.

다른 장치가 LM Studio에 액세스해야 하는 경우 로컬 네트워크에서 서비스를 활성화하고 http://192.168.1.10:1234/v1과 같은 LM Studio을 실행하는 컴퓨터의 LAN IP를 사용하세요. 이로 인해 노출이 증가하므로 인증 필요도 활성화해야 합니다.

판독 결과의 형식이 잘못되었습니다.

먼저 사고 모드를 비활성화한 다음 구조화된 출력을 더 잘 지원하는 모델로 전환해 보세요. 일부 오픈 소스 모델은 JSON 형식의 신뢰성이 약하고 다른 모델이나 더 간단한 출력 요구 사항이 필요할 수 있습니다.

참고자료

• LM Studio Server Settings
• LM Studio Authentication
• LM Studio OpenAI Compatibility
• LM Studio CLI server start