NeMo Guardrails

만든 곳 NVIDIA

LLM 앱을 위한 프로그래밍형 레일 — Colang 흐름으로 대화를 안전하고 주제·정책에 맞게 유지합니다.

v0.23.02026-07-01PythonApache-2.0

6.8k 완전 무료 오픈소스

문서버전 1.0 · 업데이트 2026년 6월 28일

개요

NeMo Guardrails는 LLM 기반 대화 앱에 프로그래밍형 가드레일을 더하는 오픈소스 툴킷입니다.
입력·대화·검색·출력 검사를 Colang으로 정의하면, 라이브러리가 모든 모델 호출 전후에 이를 적용해 응답이 안전하고 주제를 벗어나지 않게 유지합니다.

flowchart LR
  user[user] --> rails[NeMo Guardrails]
  rails --> policy[Colang rails]
  rails --> llm[LLM]
  llm --> safe[on-topic reply]

코드 샘플 탭에는 설정을 불러와 가드된 응답을 생성하는 예시가 있습니다.

언제 쓰면 좋은가

프롬프트 지시에만 기대지 않고 LLM 대화를 프로그래밍 가능하고 테스트 가능하게 제어해야 할 때 — 주제를 벗어나거나 안전하지 않은 턴을 막고 대화 흐름을 유도하려면 — NeMo Guardrails를 선택하세요.

예제

Python · add rails

언제 쓰나

LLM 앱이 주제와 정책을 벗어나지 않아야 할 때, 모델 앞뒤로 입력·대화·출력 레일을 적용하려면 NeMo Guardrails를 쓰세요.

흐름

RailsConfig가 Colang 레일을 불러오고, generate가 사용자 턴을 레일과 LLM에 통과시켜 검증된 주제 내 응답을 돌려줍니다.

구조

flowchart LR
  user[user] --> rails[NeMo Guardrails]
  rails --> policy[Colang rails]
  rails --> llm[LLM]
  llm --> safe[on-topic reply]

from nemoguardrails import LLMRails, RailsConfig

# Load config.yml + Colang flows from a directory.
config = RailsConfig.from_path("./config")
rails = LLMRails(config)

response = rails.generate(messages=[
    {"role": "user", "content": "Tell me about your refund policy."},
])
print(response["content"])

예제

NeMo Guardrails — 구현 샘플

실제로 실행 가능한 미니 프로젝트입니다. 받아서 Docker로 실행해 보세요.

GitHub에서 samples/nemo-guardrails_1 보기 ↗

2026년 6월 28일

NeMo Guardrails — 구현 샘플

아주 작은 NeMo Guardrails 샘플입니다. Colang으로 쓴 인사 레일을 불러와 응답을 생성하므로, 봇은 자유 형식 대신 정해진 승인 메시지로 답합니다. 메인·임베딩 모델 모두 OpenAI라 로컬 모델 다운로드가 없습니다.

설정

cd samples/nemo-guardrails_1
cp .env.sample .env
# .env 편집: OPENAI_API_KEY 설정(메인·임베딩 모델에 사용)

Docker로 실행

cd samples/nemo-guardrails_1
docker build -t aas-nemo .
docker run --rm --env-file .env aas-nemo

Docker로 실행 (DooD를 쓰는 devcontainer에서)

Docker-outside-of-Docker에서는 포그라운드 docker run이 아무것도 출력하지 않을 수 있습니다 — detached로 실행하고 로그를 따라가세요:

docker logs -f "$(docker run -d --env-file .env aas-nemo)"

로컬에서 실행

cd samples/nemo-guardrails_1
pip install -r requirements.txt
python app.py

실행 결과

인사 레일이 사용자의 "hi there"를 정해진 봇 메시지로 매핑하므로, 응답은 매번 동일합니다:

bot: Hello! I'm a guardrailed assistant — I only respond through approved rails.

파일

.env.sample

# Copy to `.env` and add your OpenAI API key (used for the main + embedding models).
#   cp .env.sample .env
OPENAI_API_KEY=

MODEL=gpt-4o-mini

app.py

"""NeMo Guardrails: put programmable rails around an LLM.

Loads a tiny rails config — a greeting flow written in Colang — and generates a
reply. The rail maps a user greeting to a fixed, safe bot message instead of
free-form output, showing how rails steer a conversation. Both the main and the
embedding model are OpenAI, so only OPENAI_API_KEY is needed (no local download).

Run:
    docker build -t aas-nemo .
    docker run --rm --env-file .env aas-nemo
"""

import os

from dotenv import load_dotenv
from nemoguardrails import LLMRails, RailsConfig

load_dotenv()

MODEL = os.environ.get("MODEL", "gpt-4o-mini")

YAML_CONFIG = f"""
models:
  - type: main
    engine: openai
    model: {MODEL}
  - type: embeddings
    engine: openai
    model: text-embedding-3-small
"""

COLANG_CONFIG = """
define user express greeting
  "hello"
  "hi there"
  "hey"

define bot express greeting
  "Hello! I'm a guardrailed assistant — I only respond through approved rails."

define flow greeting
  user express greeting
  bot express greeting
"""


def main() -> None:
    config = RailsConfig.from_content(
        yaml_content=YAML_CONFIG,
        colang_content=COLANG_CONFIG,
    )
    rails = LLMRails(config)

    response = rails.generate(messages=[{"role": "user", "content": "hi there"}])
    print("bot:", response["content"])


if __name__ == "__main__":
    main()

Dockerfile

FROM python:3.12-slim

ENV PYTHONUNBUFFERED=1

WORKDIR /app

# NeMo Guardrails pulls `annoy`, which ships no wheels and compiles from source.
RUN apt-get update \
    && apt-get install -y --no-install-recommends build-essential \
    && rm -rf /var/lib/apt/lists/*

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY app.py .

ENTRYPOINT ["python", "app.py"]