Ollama

Máy chủ Ollama là gì?

Máy chủ Ollama là một nền tảng thời gian chạy mô hình AI mã nguồn mở, nhẹ, cho phép người dùng dễ dàng triển khai cục bộ các mô hình ngôn ngữ lớn (LLM) và mô hình AI khác nhau mà không cần cấu hình phức tạp. Nó hoạt động như một "trình quản lý mô hình AI", đơn giản hóa các quy trình tải xuống, cấu hình và thời gian chạy mô hình tẻ nhạt chỉ bằng một vài lệnh—giúp người mới bắt đầu triển khai AI có thể truy cập được.

Ollama Hướng dẫn triển khai cục bộ

Tải xuống trình cài đặt

Bạn có thể tải xuống trình cài đặt từ ollama.ai.

Định cấu hình Hỗ trợ nhiều nguồn gốc của Ollama

Vui lòng đặt các biến môi trường sau:

• Cho phép truy cập nhiều nguồn gốc: OLLAMA_ORIGINS=*

  macOS / Linux:

  echo 'export OLLAMA_ORIGINS=*' >> ~/.zshrc
  source ~/.zshrc

  Windows (PowerShell ở chế độ Quản trị viên):

  [System.Environment]::SetEnvironmentVariable('OLLAMA_ORIGINS', '*', 'User')

  Sau khi đặt biến môi trường, nếu trước đó bạn đã khởi động dịch vụ Ollama, vui lòng đóng nó trước rồi khởi động lại lệnh ollama serve. Nếu bạn chưa bắt đầu, bạn có thể bỏ qua bước này.

• API địa chỉ nghe dịch vụ: OLLAMA_HOST=127.0.0.1:11434 (Đây là địa chỉ mặc định và có thể giữ nguyên, nhưng bạn có thể sửa đổi tùy theo nhu cầu của mình)

Các lệnh Ollama thông dụng

1. Kiểm tra phiên bản Ollama và khởi động máy chủ

ollama version
ollama serve

Sử dụng các lệnh này để kiểm tra phiên bản Ollama hiện được cài đặt, xác nhận cài đặt thành công, xem chi tiết phiên bản và khởi động máy chủ Ollama.

2. Tìm các mẫu có sẵn và cài đặt

Bạn có thể tìm các mẫu có sẵn từ ollama.ai và cài đặt chúng.

ollama pull [model-name]

Ví dụ: để cài đặt mô hình gemma3:4b:

ollama pull gemma3:4b

3. Liệt kê các mô hình đã tải xuống

ollama list

Lệnh này hiển thị tất cả các mô hình được tải xuống cục bộ, bao gồm tên, kích thước và thời gian tạo để giúp người dùng quản lý tài nguyên mô hình cục bộ.

4. Bắt đầu dịch vụ

ollama serve

5. Định cấu hình Nhà cung cấp Ollama trong Tiện ích mở rộng

Trong cài đặt tiện ích mở rộng, hãy định cấu hình nhà cung cấp Ollama và chọn một kiểu máy.

Nếu bạn không thay đổi địa chỉ mặc định, bạn có thể để trống baseURL hoặc đặt nó thành http://127.0.0.1:11434.

Nếu bạn thay đổi địa chỉ mặc định, bạn cần đặt baseURL thành địa chỉ bạn đã thay đổi.

{
  "baseURL": "http://127.0.0.1:XXXXX/api"
}

Bạn có thể nhấp vào nút "Kiểm tra kết nối" để xác minh xem kết nối có thành công hay không.

6. Ghi chú

• Đừng khởi động Ollama Ứng dụng khách đồ họa trò chuyện, nó sẽ cạnh tranh với ollama serve để giành được cổng.
• Khi định cấu hình nhà cung cấp Ollama trong tiện ích mở rộng, baseURL mặc định là http://127.0.0.1:11434, nếu OLLAMA_HOST của bạn là địa chỉ này, bạn có thể giữ nguyên.

Khắc phục sự cố

Windows: Lỗi 403 khi kết nối với Ollama

Nếu bạn gặp lỗi 403 khi tiện ích mở rộng cố gắng kết nối với Ollama trên Windows, nguyên nhân có thể là do chạy PowerShell (hoặc thiết bị đầu cuối) với đặc quyền của quản trị viên. Các quyền nâng cao có thể ngăn tiện ích mở rộng truy cập đúng cách vào dịch vụ Ollama.

Giải pháp: Đóng PowerShell của quản trị viên và khởi động lại ollama serve trong cửa sổ PowerShell thông thường (không phải quản trị viên).