LM Studio

Что такое LM Studio?

LM Studio — это настольное приложение для загрузки, управления и локального запуска больших языковых моделей. Его локальный сервер предоставляет локальные модели через OpenAI-совместимый API, поэтому Read Frog может подключаться к LM Studio через OpenAI-совместимый специальный поставщик для локальной трансляции и чтения.

В официальных примерах OpenAI, совместимых с LM Studio, используется http://localhost:1234/v1. Часть 1234 — это порт локального сервера. В вашей собственной настройке всегда используйте порт, настроенный в настройках локального сервера LM Studio.

Настройте локальный сервер LM Studio

1. Загрузите и установите LM Studio.

Загрузите LM Studio с official website, установите его и загрузите модель, подходящую для вашего оборудования.

Для перевода обычно лучше использовать меньшую и более быструю модель. Для функций чтения, сводки или структурированного вывода Read Frog выберите модель, поддерживающую структурированный вывод.

2. Запустите локальный сервер.

В LM Studio откройте Разработчик -> Локальный сервер, убедитесь, что модель загружена, затем запустите сервер.

Вы также можете запустить сервер с помощью CLI LM Studio:

lms server start --port 1234 --cors

Если вы используете другой порт в пользовательском интерфейсе, например 3000, базовый URL-адрес в Read Frog также необходимо изменить на http://localhost:3000/v1.

3. Настройте параметры сервера.

В разделе Разработчик -> Локальный сервер -> Настройки сервера рекомендуемая настройка:

4. Создайте токен API.

Откройте Настройки сервера, включите Требовать аутентификацию, затем нажмите Управление токенами, чтобы создать новый токен API.

Скопируйте токен сразу после создания. LM Studio показывает его только один раз. Затем вставьте этот токен в поле API Key Read Frog.

Рекомендуется всегда включать аутентификацию и вставлять настоящий токен LM Studio API в Read Frog. Это предотвращает вызов неавторизованных клиентов на ваш локальный сервер, когда включен доступ CORS или LAN.

Настройте LM Studio в Read Frog.

1. Откройте страницу поставщиков API.

1. Нажмите значок расширения Read Frog на панели инструментов браузера.
2. Нажмите Параметры.
3. Откройте страницу настроек API Поставщики/поставщики моделей.
4. Добавьте OpenAI-совместимый пользовательский поставщик.

2. Заполните настройки подключения

Если ваш локальный сервер LM Studio использует порт 1234 по умолчанию:

{
  "baseURL": "http://localhost:1234/v1",
  "apiKey": "Paste the API Token created in LM Studio",
  "model": "Select a model with Read Frog's Fetch Models action"
}

Если порт вашего локального сервера не 1234, обновите базовый URL-адрес:

{
  "baseURL": "http://localhost:XXXXX/v1"
}

После настройки базового URL-адреса и ключа API нажмите Выбрать модели в Read Frog, чтобы прочитать список моделей, предоставляемый локальным сервером LM Studio, а затем выберите модель, которую хотите использовать.

Если вам нужно проверить список моделей вручную, вы также можете использовать:

curl http://localhost:1234/v1/models \
  -H "Authorization: Bearer YOUR_LM_STUDIO_TOKEN"

Если аутентификация отключена, удалите заголовок Authorization.

3. Проверьте соединение

После сохранения провайдера нажмите Проверить соединение. Если это не помогло, проверьте:

• LM Studio Локальный сервер работает
• Базовый URL-адрес заканчивается на /v1.
• Порт соответствует порту сервера в LM Studio.
• Включить CORS включено
• Если включена опция «Требовать аутентификацию», ключ API является вашим токеном LM Studio.
• Идентификатор загруженной модели верен.

Отключить режим мышления

Некоторые модели поддерживают режим мышления/рассуждения, например модели Qwen. Если этот параметр включен, модель может выводить обоснование перед окончательным ответом. Это может быть полезно для чата, но может помешать структурированному выводу Read Frog и помешать правильному возврату информации о переводе.

Если перевод содержит аргументирующий текст, формат вывода становится нестабильным или не удается выполнить синтаксический анализ JSON, отключите его в LM Studio:

1. Откройте панель конфигурации загруженной модели.
2. Перейдите в раздел Параметры модели -> Настраиваемые поля.
3. Отключите Включить мышление
4. Сохраните его как пресет без размышлений.
5. Перезагрузите модель или примените конфигурацию при появлении соответствующего запроса.

Точное имя поля может отличаться в зависимости от модели. Если вы не видите Включить мышление, возможно, текущая модель или среда выполнения не поддерживают эту опцию.

Устранение неполадок

Расширение браузера не может подключиться

Убедитесь, что локальный сервер запущен и параметр Включить CORS включен. Расширениям браузера обычно требуется поддержка CORS при вызове локальной службы localhost.

401 или ошибки аутентификации

Если включен параметр Требовать аутентификацию, запросы должны включать Authorization: Bearer <token>. В Read Frog вставьте токен LM Studio в поле API Key.

Порт недоступен

http://localhost:1234/v1 работает только тогда, когда порт сервера — 1234. Если вы настроили другой порт сервера в LM Studio, обновите базовый URL соответствующим образом.

Устройства локальной сети не могут получить доступ к серверу

Если другому устройству необходим доступ к LM Studio, включите Служба в локальной сети и используйте IP-адрес локальной сети компьютера, на котором работает LM Studio, например http://192.168.1.10:1234/v1. Это увеличивает риск заражения, поэтому следует также включить параметр Требовать аутентификацию.

Выходные данные чтения имеют неверный формат

Попробуйте сначала отключить режим мышления, а затем переключиться на модель с лучшей поддержкой структурированного вывода. Некоторые модели с открытым исходным кодом имеют более низкую надежность формата JSON и могут требовать другой модели или более простых требований к выходным данным.

Ссылки

• LM Studio Server Settings
• LM Studio Authentication
• LM Studio OpenAI Compatibility
• LM Studio CLI server start