Ollama

Read Frog может использовать локально развернутый сервер Ollama для реализации возможностей автономного перевода ИИ, совершенно бесплатно использовать мощные модели ИИ на больших языках.

Что такое сервер Ollama?

Сервер Ollama — это легкая платформа времени выполнения моделей искусственного интеллекта с открытым исходным кодом, которая позволяет пользователям легко развертывать различные модели больших языков (LLM) и модели искусственного интеллекта локально без сложной настройки. Он действует как «менеджер моделей ИИ», упрощая утомительные процессы загрузки, настройки и выполнения модели с помощью всего лишь нескольких команд, что делает его доступным даже для новичков в развертывании ИИ.

Ollama Учебное пособие по локальному развертыванию

Загрузите установщик

Вы можете скачать установщик с ollama.ai.

Настройка поддержки перекрестного происхождения Ollama

Пожалуйста, установите следующие переменные среды:

Разрешить доступ из разных источников: OLLAMA_ORIGINS=*

macOS/Linux:
```
echo 'export OLLAMA_ORIGINS=*' >> ~/.zshrc
source ~/.zshrc
```
Windows (PowerShell в режиме администратора):
```
[System.Environment]::SetEnvironmentVariable('OLLAMA_ORIGINS', '*', 'User')
```
Если после установки переменной среды вы ранее запускали службу Ollama, сначала закройте ее, а затем перезапустите команду ollama serve. Если вы еще этого не начали, вы можете проигнорировать этот шаг.
Адрес прослушивания службы API: OLLAMA_HOST=127.0.0.1:11434 (это адрес по умолчанию, его можно оставить неизменным, но вы можете изменить его в соответствии со своими потребностями)

Общие команды Ollama

1. Проверьте версию Ollama и запустите сервер.

ollama version
ollama serve

Используйте эти команды, чтобы проверить текущую установленную версию Ollama, подтвердить успешную установку, просмотреть сведения о версии и запустить сервер Ollama.

2. Найдите доступные модели и установите их.

Вы можете найти доступные модели на сайте ollama.ai и установить их.

ollama pull [model-name]

Например, чтобы установить модель gemma3:4b:

ollama pull gemma3:4b

3. Список загруженных моделей

ollama list

Эта команда отображает все локально загруженные модели, включая имена, размеры и время создания, чтобы помочь пользователям управлять локальными ресурсами модели.

4. Запустите службу

ollama serve

5. Настройте поставщика Ollama в расширении.

В настройках расширения настройте провайдера Ollama и выберите модель.

Ollama Provider

Если вы не меняли адрес по умолчанию, вы можете оставить baseURL пустым или установить для него значение http://127.0.0.1:11434.

Если вы изменили адрес по умолчанию, вам необходимо установить baseURL на измененный адрес.

{
  "baseURL": "http://127.0.0.1:XXXXX/api"
}

Вы можете нажать кнопку «Проверить соединение», чтобы проверить, успешно ли установлено соединение.

6. Примечания

Не запускайте графический клиент Chat Ollama, он будет конкурировать с ollama serve за порт.
При настройке провайдера Ollama в расширении базовый URL-адрес по умолчанию равен http://127.0.0.1:11434. Если ваш OLLAMA_HOST является этим адресом, вы можете оставить его без изменений.

Устранение неполадок

Windows: ошибка 403 при подключении к Ollama

Если вы столкнулись с ошибкой 403, когда расширение пытается подключиться к Ollama в Windows, это может быть вызвано запуском PowerShell (или терминала) с правами администратора. Повышенные разрешения могут помешать расширению правильно получить доступ к службе Ollama.

Решение. Закройте PowerShell администратора и перезапустите ollama serve в обычном (не администраторском) окне PowerShell.

On this page