Ollama 서버에 외부에서 접속하는 방법: OS별 가이드

Ollama는 강력한 로컬 LLM(Large Language Model) 서버입니다. 기본적으로 로컬 환경에서만 접근 가능하지만, 적절한 설정을 통해 외부에서도 접속할 수 있습니다. 아래와 같이 macOS, Ubuntu, Windows 각 운영체제별로 Ollama 서버를 외부에서 접속 가능하게 만드는 방법을 살펴보겠습니다.

1. macOS

1. 터미널을 열고 Ollama 설정 파일을 엽니다:

nano ~/.ollama/config

2. 다음 줄을 추가하여 모든 인터페이스에서 리스닝하도록 설정합니다:

OLLAMA_HOST=0.0.0.0

3. 파일을 저장하고 닫습니다 (Ctrl+X, Y, Enter).

4. Ollama 서비스를 재시작합니다:

ollama serve

5. 방화벽 설정에서 11434 포트를 열어줍니다 (시스템 환경설정 > 보안 및 개인 정보 보호 > 방화벽).

2. Ubuntu

1. 터미널을 열고 Ollama 설정 파일을 생성합니다:

sudo nano /etc/systemd/system/ollama.service

2. 다음 내용을 파일에 추가합니다:

[Unit]
Description=Ollama Service
After=network.target
   
[Service]
ExecStart=/usr/local/bin/ollama serve
Environment="OLLAMA_HOST=0.0.0.0"
Restart=always
User=root

[Install]
WantedBy=multi-user.target

3. 파일을 저장하고 닫습니다.

4. systemd를 리로드하고 Ollama 서비스를 시작합니다:

sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama

5. UFW 방화벽을 사용 중이라면 11434 포트를 열어줍니다:

sudo ufw allow 11434/tcp

3. Windows

1. 명령 프롬프트를 관리자 권한으로 실행합니다.

2. Ollama 설치 디렉토리로 이동합니다 (기본값: C:\Program Files\Ollama).

3. 다음 명령어로 Ollama 서비스를 중지합니다:

ollama.exe stop

4. 환경 변수를 설정합니다:

setx OLLAMA_HOST 0.0.0.0

5. Ollama 서비스를 다시 시작합니다:

ollama.exe start

6. Windows 방화벽에서 11434 포트를 열어줍니다 (제어판 > 시스템 및 보안 > Windows Defender 방화벽 > 고급 설정).