Ollama 서버에 외부에서 접속하는 방법: OS별 가이드

Ollama 서버에 외부에서 접속하는 방법: OS별 가이드

Ollama는 강력한 로컬 LLM(Large Language Model) 서버입니다. 기본적으로 로컬 환경에서만 접근 가능하지만, 적절한 설정을 통해 외부에서도 접속할 수 있습니다. 아래와 같이 macOS, Ubuntu, Windows 각 운영체제별로 Ollama 서버를 외부에서 접속 가능하게 만드는 방법을 살펴보겠습니다.

1. macOS

1. 터미널을 열고 Ollama 설정 파일을 엽니다:

nano ~/.ollama/config

2. 다음 줄을 추가하여 모든 인터페이스에서 리스닝하도록 설정합니다:

OLLAMA_HOST=0.0.0.0

3. 파일을 저장하고 닫습니다 (Ctrl+X, Y, Enter).

4. Ollama 서비스를 재시작합니다:

ollama serve

5. 방화벽 설정에서 11434 포트를 열어줍니다 (시스템 환경설정 > 보안 및 개인 정보 보호 > 방화벽).

2. Ubuntu

1. 터미널을 열고 Ollama 설정 파일을 생성합니다:

sudo nano /etc/systemd/system/ollama.service

2. 다음 내용을 파일에 추가합니다:

[Unit]
Description=Ollama Service
After=network.target
   
[Service]
ExecStart=/usr/local/bin/ollama serve
Environment="OLLAMA_HOST=0.0.0.0"
Restart=always
User=root

[Install]
WantedBy=multi-user.target

3. 파일을 저장하고 닫습니다.

4. systemd를 리로드하고 Ollama 서비스를 시작합니다:

sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama

5. UFW 방화벽을 사용 중이라면 11434 포트를 열어줍니다:

sudo ufw allow 11434/tcp

3. Windows

1. 명령 프롬프트를 관리자 권한으로 실행합니다.

2. Ollama 설치 디렉토리로 이동합니다 (기본값: C:\Program Files\Ollama).

3. 다음 명령어로 Ollama 서비스를 중지합니다:

ollama.exe stop

4. 환경 변수를 설정합니다:

setx OLLAMA_HOST 0.0.0.0

5. Ollama 서비스를 다시 시작합니다:

ollama.exe start

6. Windows 방화벽에서 11434 포트를 열어줍니다 (제어판 > 시스템 및 보안 > Windows Defender 방화벽 > 고급 설정).

Ollama를 더 편하게 사용하는 도구들

올라마를 설치하고 LLM가지 설치하면 프롬프트에서 질문을 입력 받을 준비가 됩니다. 하지만 프롬프트에서 LLM의 모든 기능을 사용하기에는 어려움이 많습니다. 맥락을 이어가는 대화도 어렵고, 대화를 저장하거나, 지침을 전달하는것도 불가능합니다. 이럴때 사용하는 올라마 전용 오픈소스 UI 도구를 소개 합니다.

  1. 브라우저 기반 – https://github.com/open-webui/open-webui
  2. 맥 전용 클라이언트 – https://github.com/bipark/mac_ollama_client
  3. 아이폰 클라이언트 – https://github.com/bipark/my_ollama_app
,