samples/nemo-guardrails_1 — awesome-ai-stack

예제

NeMo Guardrails — 구현 샘플

실제로 실행 가능한 미니 프로젝트입니다. 받아서 Docker로 실행해 보세요.

GitHub에서 samples/nemo-guardrails_1 보기 ↗

2026년 6월 28일

NeMo Guardrails — 구현 샘플

아주 작은 NeMo Guardrails 샘플입니다. Colang으로 쓴 인사 레일을 불러와 응답을 생성하므로, 봇은 자유 형식 대신 정해진 승인 메시지로 답합니다. 메인·임베딩 모델 모두 OpenAI라 로컬 모델 다운로드가 없습니다.

설정

cd samples/nemo-guardrails_1
cp .env.sample .env
# .env 편집: OPENAI_API_KEY 설정(메인·임베딩 모델에 사용)

Docker로 실행

cd samples/nemo-guardrails_1
docker build -t aas-nemo .
docker run --rm --env-file .env aas-nemo

Docker로 실행 (DooD를 쓰는 devcontainer에서)

Docker-outside-of-Docker에서는 포그라운드 docker run이 아무것도 출력하지 않을 수 있습니다 — detached로 실행하고 로그를 따라가세요:

docker logs -f "$(docker run -d --env-file .env aas-nemo)"

로컬에서 실행

cd samples/nemo-guardrails_1
pip install -r requirements.txt
python app.py

실행 결과

인사 레일이 사용자의 "hi there"를 정해진 봇 메시지로 매핑하므로, 응답은 매번 동일합니다:

bot: Hello! I'm a guardrailed assistant — I only respond through approved rails.

.env.sample

# Copy to `.env` and add your OpenAI API key (used for the main + embedding models).
#   cp .env.sample .env
OPENAI_API_KEY=

MODEL=gpt-4o-mini

app.py

"""NeMo Guardrails: put programmable rails around an LLM.

Loads a tiny rails config — a greeting flow written in Colang — and generates a
reply. The rail maps a user greeting to a fixed, safe bot message instead of
free-form output, showing how rails steer a conversation. Both the main and the
embedding model are OpenAI, so only OPENAI_API_KEY is needed (no local download).

Run:
    docker build -t aas-nemo .
    docker run --rm --env-file .env aas-nemo
"""

import os

from dotenv import load_dotenv
from nemoguardrails import LLMRails, RailsConfig

load_dotenv()

MODEL = os.environ.get("MODEL", "gpt-4o-mini")

YAML_CONFIG = f"""
models:
  - type: main
    engine: openai
    model: {MODEL}
  - type: embeddings
    engine: openai
    model: text-embedding-3-small
"""

COLANG_CONFIG = """
define user express greeting
  "hello"
  "hi there"
  "hey"

define bot express greeting
  "Hello! I'm a guardrailed assistant — I only respond through approved rails."

define flow greeting
  user express greeting
  bot express greeting
"""


def main() -> None:
    config = RailsConfig.from_content(
        yaml_content=YAML_CONFIG,
        colang_content=COLANG_CONFIG,
    )
    rails = LLMRails(config)

    response = rails.generate(messages=[{"role": "user", "content": "hi there"}])
    print("bot:", response["content"])


if __name__ == "__main__":
    main()

Dockerfile

FROM python:3.12-slim

ENV PYTHONUNBUFFERED=1

WORKDIR /app

# NeMo Guardrails pulls `annoy`, which ships no wheels and compiles from source.
RUN apt-get update \
    && apt-get install -y --no-install-recommends build-essential \
    && rm -rf /var/lib/apt/lists/*

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY app.py .

ENTRYPOINT ["python", "app.py"]