Ollama

Ollama 서버란 무엇입니까?

Ollama 서버는 사용자가 복잡한 구성 없이 다양한 LLM(대형 언어 모델) 및 AI 모델을 로컬로 쉽게 배포할 수 있는 경량 오픈 소스 AI 모델 런타임 플랫폼입니다. 이는 "AI 모델 관리자" 역할을 하여 모델 다운로드, 구성 및 런타임의 지루한 프로세스를 단 몇 가지 명령으로 단순화하여 AI 배포 초보자도 액세스할 수 있도록 합니다.

Ollama 로컬 배포 튜토리얼

설치 프로그램 다운로드

ollama.ai에서 설치 프로그램을 다운로드할 수 있습니다.

Ollama의 교차 출처 지원 구성

다음 환경 변수를 설정해 주세요.

• 교차 출처 액세스 허용: OLLAMA_ORIGINS=*

  맥OS/리눅스:

  echo 'export OLLAMA_ORIGINS=*' >> ~/.zshrc
  source ~/.zshrc

  Windows(관리자 모드의 PowerShell):

  [System.Environment]::SetEnvironmentVariable('OLLAMA_ORIGINS', '*', 'User')

  환경 변수를 설정한 후, 이전에 Ollama 서비스를 시작했다면 먼저 해당 서비스를 닫은 후 ollama serve 명령을 다시 시작하세요. 아직 시작하지 않았다면 이 단계를 무시해도 됩니다.

• API 서비스 수신 주소: OLLAMA_HOST=127.0.0.1:11434(기본 주소이며 변경하지 않고 그대로 둘 수 있지만 필요에 따라 수정할 수 있습니다.)

일반적인 Ollama 명령

1. Ollama 버전 확인 및 서버 시작

ollama version
ollama serve

이 명령을 사용하여 현재 설치된 Ollama 버전을 확인하고, 성공적인 설치를 확인하고, 버전 세부 정보를 보고, Ollama 서버를 시작합니다.

2. 사용 가능한 모델 찾기 및 설치

ollama.ai에서 사용 가능한 모델을 찾아 설치할 수 있습니다.

ollama pull [model-name]

예를 들어, gemma3:4b 모델을 설치하려면:

ollama pull gemma3:4b

3. 다운로드한 모델 목록

ollama list

이 명령은 이름, 크기, 생성 시간을 포함하여 로컬로 다운로드된 모든 모델을 표시하여 사용자가 로컬 모델 리소스를 관리하는 데 도움을 줍니다.

4. 서비스 시작

ollama serve

5. 확장에서 Ollama 공급자 구성

확장 설정에서 Ollama 공급자를 구성하고 모델을 선택하세요.

기본 주소를 변경하지 않은 경우 baseURL을 비워 두거나 http://127.0.0.1:11434으로 설정할 수 있습니다.

기본 주소를 변경한 경우 baseURL을 변경한 주소로 설정해야 합니다.

{
  "baseURL": "http://127.0.0.1:XXXXX/api"
}

"연결 테스트" 버튼을 클릭하여 연결이 성공했는지 확인할 수 있습니다.

6. 메모

• Ollama 채팅 그래픽 클라이언트를 시작하지 마십시오. 포트에 대해 ollama serve과 경쟁하게 됩니다.
• 확장에서 Ollama 공급자를 구성할 때 baseURL의 기본값은 http://127.0.0.1:11434입니다. OLLAMA_HOST이 이 주소인 경우 변경하지 않고 그대로 둘 수 있습니다.

문제 해결

Windows: Ollama에 연결할 때 403 오류 발생

확장 프로그램이 Windows에서 Ollama에 연결을 시도할 때 403 오류가 발생하는 경우 관리자 권한으로 PowerShell(또는 터미널)을 실행했기 때문에 발생할 수 있습니다. 높은 권한으로 인해 확장 프로그램이 Ollama 서비스에 제대로 액세스하지 못할 수 있습니다.

해결 방법: 관리자 PowerShell을 닫고 일반(비관리자) PowerShell 창에서 ollama serve을 다시 시작합니다.