samples/ragas_1 — awesome-ai-stack

예제

Ragas — 구현 샘플

실제로 실행 가능한 미니 프로젝트입니다. 받아서 Docker로 실행해 보세요.

GitHub에서 samples/ragas_1 보기 ↗

2026년 6월 28일

Ragas — 구현 샘플

아주 작은 Ragas 샘플입니다. RAG 답을 충실도와 응답 관련성으로 채점하며, OpenAI 모델과 임베딩이 채점을 맡습니다.

설정

cd samples/ragas_1
cp .env.sample .env
# .env 편집: OPENAI_API_KEY 설정(채점 LLM과 임베딩)

Docker로 실행

cd samples/ragas_1
docker build -t aas-ragas .
docker run --rm --env-file .env aas-ragas

Docker로 실행 (DooD를 쓰는 devcontainer에서)

Docker-outside-of-Docker에서는 포그라운드 docker run이 아무것도 출력하지 않을 수 있습니다 — detached로 실행하고 로그를 따라가세요:

docker logs -f "$(docker run -d --env-file .env aas-ragas)"

로컬에서 실행

cd samples/ragas_1
pip install -r requirements.txt
python app.py

실행 결과

점수는 LLM 채점을 쓰므로 실행마다 조금씩 달라집니다. gpt-4o-mini로 실행한 한 예입니다:

{'faithfulness': 1.0000, 'answer_relevancy': 0.9701}

.env.sample

# Copy to `.env` and add your OpenAI API key (judge LLM + embeddings).
#   cp .env.sample .env
OPENAI_API_KEY=

MODEL=gpt-4o-mini

app.py

"""Ragas: evaluate a RAG answer with reference-free metrics.

Scores one (question, answer, context) sample for faithfulness and response
relevancy, judged by an OpenAI model + embeddings (OPENAI_API_KEY).

Run:
    docker build -t aas-ragas .
    docker run --rm --env-file .env aas-ragas
"""

import os

from dotenv import load_dotenv
from ragas import EvaluationDataset, evaluate
from ragas.metrics import Faithfulness, ResponseRelevancy
from ragas.llms import LangchainLLMWrapper
from ragas.embeddings import LangchainEmbeddingsWrapper
from langchain_openai import ChatOpenAI, OpenAIEmbeddings

load_dotenv()

MODEL = os.environ.get("MODEL", "gpt-4o-mini")


def main() -> None:
    dataset = EvaluationDataset.from_list(
        [
            {
                "user_input": "What language is Qdrant written in?",
                "response": "Qdrant is written in Rust.",
                "retrieved_contexts": ["Qdrant is a vector database written in Rust."],
            }
        ]
    )
    llm = LangchainLLMWrapper(ChatOpenAI(model=MODEL))
    embeddings = LangchainEmbeddingsWrapper(OpenAIEmbeddings())

    result = evaluate(
        dataset,
        metrics=[Faithfulness(llm=llm), ResponseRelevancy(llm=llm, embeddings=embeddings)],
    )
    print(result)


if __name__ == "__main__":
    main()

Dockerfile

FROM python:3.13-slim

ENV PYTHONUNBUFFERED=1

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY app.py .

ENTRYPOINT ["python", "app.py"]

requirements.txt

ragas>=0.2,<1
# Pin: ragas still imports langchain_community.chat_models.vertexai, which was
# removed in langchain-community 0.4. Stay on 0.3.x so the import resolves.
langchain-community>=0.3,<0.4
langchain-openai>=0.2,<1
python-dotenv>=1.2,<2