만든 곳 Ollama
명령 한 줄로 오픈 LLM을 로컬에서 실행 — 오프라인·프라이빗 에이전트를 위한 OpenAI 호환 API
문서버전 1.0 · 업데이트
Ollama는 오픈 가중치 모델(Llama·Qwen·Gemma 등)을 명령 한 줄로 내 컴퓨터에서 실행하고,
localhost:11434에 OpenAI 호환 API를 띄웁니다.
에이전트를 위한 로컬·무키 선택지입니다 — 무료·프라이빗·오프라인이며, 모델 문자열만 바꾸면 LiteLLM 기반 앱에 그대로 들어갑니다.
flowchart LR app[your app] --> srv[Ollama server] srv --> model[(local model)] model --> reply[reply]
코드 샘플 탭에는 CLI와 LiteLLM 경유 예시가 있습니다 — 선택기에서 골라 비교해 보세요.
오프라인으로 개발하거나, 데이터를 기기 안에 두거나, API 비용을 피하고 싶을 때 Ollama를 쓰세요.
에이전트가 도구 호출이 필요하면 LiteLLM에서 ollama_chat/ prefix를 쓰세요.
오픈소스라 로컬에서 모델을 무료로 실행합니다. Ollama Cloud는 Free·Pro $20/월·Max $100/월
출처 ↗ · 기준일 2026-06-27
flowchart LR cli[ollama run] --> srv[Ollama server] srv --> model[(local model)]
# Pull a model and chat locally — no API key, runs offline.
ollama pull qwen3.5:9b
ollama run qwen3.5:9b "Summarize Ollama in one line."
같은 에이전트 코드를 로컬 모델과 클라우드 모델에서 모두 돌리려면 Ollama를 LiteLLM으로 라우팅하세요.
ollama_chat/<model>이 로컬 서버를 호출합니다. 도구 호출에는 generate가 아닌
chat 엔드포인트(ollama_chat/)를 쓰세요.
flowchart LR app[your app] --> lite[LiteLLM] lite -->|ollama_chat/| srv[Ollama server]
import os
from litellm import completion
# ollama_chat/ uses Ollama's /api/chat endpoint, which supports tool calling.
resp = completion(
model="ollama_chat/qwen3.5:9b",
messages=[{"role": "user", "content": "Summarize Ollama in one line."}],
api_base=os.environ.get("OLLAMA_API_BASE", "http://localhost:11434"),
)
print(resp.choices[0].message.content)
DooD를 쓰는 devcontainer에서는 OLLAMA_API_BASE=http://host.docker.internal:11434로 호스트 Ollama에 접근합니다.
실제로 실행 가능한 미니 프로젝트입니다. 받아서 Docker로 실행해 보세요.
2026년 6월 28일
Ollama — LiteLLM으로 로컬 LLM 호출로컬 Ollama 서버에서 도는 모델을 LiteLLM으로 호출하는 아주 작은
스크립트입니다 — API 키도, 클라우드도 필요 없습니다. LiteLLM을 거치므로 MODEL만
바꾸면 같은 코드가 클라우드 모델에서도 돕니다.
cd samples/ollama_1
cp .env.sample .env
먼저 호스트에서 모델을 받아두세요 — ollama pull qwen3.5:9b(또는 ollama run qwen3.5:9b). API 키는 필요 없습니다. .env는 MODEL과 OLLAMA_API_BASE를
설정하며, DooD를 쓰는 devcontainer에서는 컨테이너가 호스트의 Ollama에
http://host.docker.internal:11434로 접근합니다 — .env.sample의 기본값입니다.
도구 호출에는
ollama/가 아니라ollama_chat/prefix(Ollama의 chat 엔드포인트)와 도구 지원 모델이 필요합니다.
cd samples/ollama_1
docker build -t aas-ollama .
docker run --rm --env-file .env aas-ollama "Summarize Ollama in one line."
호스트 Docker 데몬과 통신하는 dev container(Docker-outside-of-Docker)에서는 위의
포그라운드 docker run이 종종 아무것도 출력하지 않고 exit 0으로 끝납니다. 하지만
실행 자체는 성공한 것입니다. 스크립트는 끝까지 실행되고 출력도 Docker가 모두
캡처하는데, 실시간 attach 스트림만 그 출력을 VM 경계에서 흘려버립니다.
detached로 실행하고 로그를 따라가세요:
cd samples/ollama_1
docker build -t aas-ollama .
docker logs -f "$(docker run -d --env-file .env aas-ollama \
"Summarize Ollama in one line.")"
cd samples/ollama_1
pip install -r requirements.txt
# 로컬 Ollama로 지정(도커 없이): http://localhost:11434
OLLAMA_API_BASE=http://localhost:11434 python app.py "Summarize Ollama in one line."
모델과 실행마다 결과가 달라집니다 — LLM은 비결정적이라 표현이 매번 다릅니다. 아래는
ollama_chat/qwen3.5:9b로 실행한 한 예입니다.
Ollama allows users to easily run open-source large language models locally on
their own devices, enabling private and offline access to AI without relying on
external servers or internet connectivity.
파일
# Copy this file to `.env`.
# cp .env.sample .env
#
# No API key needed — Ollama runs locally. Pull the model first on the host:
# ollama pull qwen3.5:9b
# Use a tool-capable model and the ollama_chat/ prefix (chat endpoint).
MODEL=ollama_chat/qwen3.5:9b
# Where the Ollama server runs:
# Local, no Docker: http://localhost:11434
# Docker / DooD on the host: http://host.docker.internal:11434
OLLAMA_API_BASE=http://host.docker.internal:11434
# Local config — keep the committed template only
.env
!.env.sample
"""Ollama: a local LLM call routed through LiteLLM.
Calls a model running in a local Ollama server — no API key. Routing through
LiteLLM means the same code also works against cloud models by changing MODEL.
Run (with Ollama running on the host):
docker build -t aas-ollama .
docker run --rm --env-file .env aas-ollama "Summarize Ollama in one line."
"""
import os
import sys
from dotenv import load_dotenv
from litellm import completion
# Load .env when running locally; in Docker the config comes from --env-file.
load_dotenv()
# ollama_chat/ uses Ollama's /api/chat endpoint (supports tool calling).
MODEL = os.environ.get("MODEL", "ollama_chat/qwen3.5:9b")
def main() -> None:
prompt = " ".join(sys.argv[1:]) or "Summarize what Ollama does in one sentence."
resp = completion(
model=MODEL,
messages=[{"role": "user", "content": prompt}],
api_base=os.environ.get("OLLAMA_API_BASE", "http://localhost:11434"),
)
print(resp.choices[0].message.content)
if __name__ == "__main__":
main()
# Minimal image for the Ollama sample.
FROM python:3.13-slim
ENV PYTHONUNBUFFERED=1
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY app.py .
# Provide your config at run time (.env is NOT baked into the image):
# docker run --rm --env-file .env aas-ollama "<prompt>"
ENTRYPOINT ["python", "app.py"]
litellm>=1.80,<2
python-dotenv>=1.2,<2