LiteLLM

만든 곳 BerriAI

100개 이상의 LLM API를 하나의 OpenAI 스타일 인터페이스로 호출하고, 라우팅·폴백·비용 추적 프록시까지 제공합니다.

v1.93.02026-07-19PythonMIT

54.5k 오픈소스 유료

문서버전 1.0 · 업데이트 2026년 6월 28일

개요

LiteLLM은 여러 모델 제공자(Anthropic, OpenAI, Bedrock, Vertex, 로컬 모델 등) 위에 얇은 추상화를 씌워 하나의 OpenAI 호환 호출로 노출합니다.
SDK뿐 아니라 프록시 서버가 LLM 게이트웨이 역할을 합니다 — 로드 밸런싱, 자동 폴백, 재시도, 예산, 키별 비용 추적까지.
덕분에 에이전트는 코드 변경 없이 모델을 교체할 수 있습니다.

flowchart LR
  agent[agent code] -->|OpenAI-style call| litellm[LiteLLM]
  litellm --> claude[Anthropic]
  litellm --> openai[OpenAI]
  litellm --> gemini[Gemini]

코드 샘플 탭에는 LiteLLM을 쓰는 두 가지 방식이 있습니다 — 선택기에서 SDK 호출과 Router 폴백을 비교해 보세요.

언제 쓰면 좋은가

에이전트가 제공자에 종속되지 않아야 하거나, 모델 간 폴백이 필요하거나, 예산을 강제하고 지출을 추적할 중앙 게이트웨이가 필요할 때 LiteLLM을 사용하세요.

예제

SDK · completion()

언제 쓰나

프로바이더에 종속되지 않는 단일 호출만 필요할 때 SDK를 쓰세요. 모델 문자열만 바꾸면 제공자가 바뀝니다.

흐름

LiteLLM이 OpenAI 스타일 요청을 대상 제공자의 API로 변환하고, 응답을 다시 정규화해 돌려줍니다.

구조

flowchart LR
  app[your code] -->|completion| litellm[LiteLLM]
  litellm --> prov[(any provider)]

from litellm import completion

# One call shape for every provider — switch by editing only the model string.
resp = completion(
    model="anthropic/claude-opus-4-8",
    messages=[{"role": "user", "content": "Summarize litellm in one line."}],
)
print(resp.choices[0].message.content)

이 호출을 실제로 돌려보려면 구현 샘플 탭의 litellm_1을 보세요.

언제 쓰나

가용성이 중요할 때 Router를 쓰세요. 기본 모델이 실패하면 자동으로 대체 모델로 폴백하고, 여러 배포본에 걸쳐 로드 밸런싱도 합니다.

흐름

primary 호출이 실패하면 Router가 fallbacks 매핑을 따라 backup으로 재시도합니다.

구조

flowchart LR
  app[your code] --> router[Router]
  router -->|primary| A[claude-opus-4-8]
  router -.->|on error| B[gpt-4o]

from litellm import Router

# Try the primary model; if it errors, fall back to the next one.
router = Router(
    model_list=[
        {"model_name": "primary", "litellm_params": {"model": "anthropic/claude-opus-4-8"}},
        {"model_name": "backup",  "litellm_params": {"model": "openai/gpt-4o"}},
    ],
    fallbacks=[{"primary": ["backup"]}],
)

resp = router.completion(
    model="primary",
    messages=[{"role": "user", "content": "ping"}],
)
print(resp.choices[0].message.content)

예제

LiteLLM — 하나의 인터페이스, 모든 제공자

실제로 실행 가능한 미니 프로젝트입니다. 받아서 Docker로 실행해 보세요.

GitHub에서 samples/litellm_1 보기 ↗

2026년 6월 28일

LiteLLM — 하나의 인터페이스, 모든 제공자

아주 작은 LiteLLM 스크립트입니다. 프롬프트 하나를 litellm.completion()으로 보내고 응답을 출력합니다. 같은 호출이 Anthropic Claude, OpenAI, Google AI Studio (Gemini) 에서 모두 동작합니다 — 코드는 그대로 두고 .env의 MODEL만 바꾸면 됩니다.

설정

cd samples/litellm_1
cp .env.sample .env
# .env 편집: MODEL과 해당 제공자의 키를 설정

MODEL이 제공자를 결정합니다:

제공자	`MODEL` 예시	`.env`의 키
Anthropic Claude	`claude-opus-4-8`	`ANTHROPIC_API_KEY`
OpenAI	`gpt-4o`	`OPENAI_API_KEY`
Google AI Studio	`gemini/gemini-2.5-flash`	`GEMINI_API_KEY`
Ollama (local)	`ollama_chat/qwen3.5:9b`	`OLLAMA_API_BASE`

.env는 gitignore 처리되어 있고, .env.sample만 커밋됩니다.

Ollama (로컬 모델): 먼저 호스트에서 모델을 받아두세요 — ollama pull qwen3.5:9b(또는 ollama run qwen3.5:9b)를 실행합니다. 그다음 MODEL=ollama_chat/qwen3.5:9b로 설정하고 OLLAMA_API_BASE를 서버 주소로 지정하세요 — API 키는 필요 없습니다. DooD를 쓰는 devcontainer에서는 컨테이너가 호스트의 Ollama에 http://host.docker.internal:11434로 접근하고, 로컬 실행 시에는 http://localhost:11434를 씁니다.

Docker로 실행

cd samples/litellm_1
docker build -t aas-litellm .
docker run --rm --env-file .env aas-litellm "Summarize litellm in one line."

Docker로 실행 (DooD를 쓰는 devcontainer에서)

호스트 Docker 데몬과 통신하는 dev container(Docker-outside-of-Docker)에서는 위의 포그라운드 docker run이 종종 아무것도 출력하지 않고 exit 0으로 끝납니다. 하지만 실행 자체는 성공한 것입니다. 스크립트는 끝까지 실행되고 출력도 Docker가 모두 캡처하는데, 실시간 attach 스트림만 그 출력을 VM 경계에서 흘려버립니다. 같은 컨테이너에 docker logs를 실행하면 전체 출력이 그대로 보이고, 컨테이너는 exit 0으로 끝나며 OOM도 아닙니다. detached로 실행하고 로그를 따라가세요:

cd samples/litellm_1
docker build -t aas-litellm .
docker logs -f "$(docker run -d --env-file .env aas-litellm \
  "Summarize litellm in one line.")"

로컬에서 실행

cd samples/litellm_1
pip install -r requirements.txt
python app.py "Summarize litellm in one line."

python-dotenv가 .env를 자동으로 불러옵니다. 키는 다음에서 발급받으세요: Anthropic, OpenAI, Google AI Studio.

실행 결과

모델과 실행마다 결과가 달라집니다 — LLM은 비결정적이라 표현(그리고 에이전트의 구체적 단계)이 매번 다릅니다. 아래는 claude-opus-4-8로 실행한 한 예입니다.

LiteLLM is an open-source library that provides a unified interface to call 100+ LLM APIs (OpenAI, Anthropic, Azure, Cohere, etc.) using the OpenAI format.

파일

.env.sample

# Copy this file to `.env` and fill in the key for the provider you want.
#   cp .env.sample .env
#
# One codebase, many providers — LiteLLM routes the request based on MODEL.

# Pick the model. Examples:
#   claude-opus-4-8              Anthropic Claude   -> needs ANTHROPIC_API_KEY
#   gpt-4o                       OpenAI             -> needs OPENAI_API_KEY
#   gemini/gemini-2.5-flash      Google AI Studio   -> needs GEMINI_API_KEY
#   ollama_chat/qwen3.5:9b       Ollama (local)     -> needs OLLAMA_API_BASE, no key
MODEL=claude-opus-4-8

# Set only the key for the provider you chose; leave the rest blank.
ANTHROPIC_API_KEY=
OPENAI_API_KEY=
GEMINI_API_KEY=

# Ollama only — where the Ollama server runs (pull the model first, e.g.
# `ollama pull qwen3.5:9b`). Other providers ignore this line.
#   Local, no Docker:           http://localhost:11434
#   Docker / DooD on the host:  http://host.docker.internal:11434
OLLAMA_API_BASE=http://host.docker.internal:11434

app.py

"""LiteLLM: one provider-agnostic call for every model.

LiteLLM exposes 100+ providers behind a single OpenAI-style `completion()`
call. Pick the model with MODEL in `.env` (claude-opus-4-8, gpt-4o,
gemini/gemini-2.5-flash, …) and the calling code never changes — LiteLLM routes
the request to the right provider and normalizes the response back.

Run:
    docker build -t aas-litellm .
    docker run --rm --env-file .env aas-litellm "Summarize litellm in one line."
"""

import os
import sys

import litellm
from dotenv import load_dotenv

# Load .env when running locally; in Docker the keys come from --env-file.
load_dotenv()

# Drop params a given provider doesn't support, so one call works everywhere.
litellm.drop_params = True


DEFAULT_PROMPT = "Summarize what LiteLLM does in one sentence."


def main() -> None:
    prompt = " ".join(sys.argv[1:]) or DEFAULT_PROMPT

    # MODEL chooses the provider (claude-opus-4-8 / gpt-4o / gemini/gemini-2.5-flash).
    model = os.environ.get("MODEL", "claude-opus-4-8")

    resp = litellm.completion(
        model=model,
        messages=[{"role": "user", "content": prompt}],
    )
    print(resp.choices[0].message.content)


if __name__ == "__main__":
    main()

Dockerfile

# Minimal image for the LiteLLM sample.
FROM python:3.13-slim

# Stream stdout/stderr unbuffered so the output appears live.
ENV PYTHONUNBUFFERED=1

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY app.py .

# Provide your config at run time (.env is NOT baked into the image):
#   docker run --rm --env-file .env aas-litellm "<prompt>"
ENTRYPOINT ["python", "app.py"]

LiteLLM

관련 개념

개요

언제 쓰면 좋은가

가격

언제 쓰나

흐름

언제 쓰나

흐름

설정

Docker로 실행

Docker로 실행 (DooD를 쓰는 devcontainer에서)

로컬에서 실행

실행 결과