Ragas

만든 곳 Exploding Gradients

RAG 파이프라인과 LLM 애플리케이션을 위한 오픈소스 평가 프레임워크

웹사이트 ↗ 저장소 ↗ 문서 ↗

6개월 이상 업데이트 없음v0.4.32026-01-13PythonApache-2.0

#evaluation #rag #metrics #python

15.0k 완전 무료 오픈소스

문서버전 1.0 · 업데이트 2026년 6월 28일

개요

Ragas는 RAG 파이프라인과 LLM 애플리케이션을 평가하는 오픈소스 프레임워크로, 충실도(faithfulness)·답 관련성·컨텍스트 정밀도 같은 레퍼런스 없는 지표를 제공합니다.
”이 RAG 시스템이 실제로 잘 동작하나?”를, CI에서 추적하고 변경 간 비교할 수 있는 수치로 바꿔줍니다.

flowchart LR
  qa[question / answer / context] --> r[Ragas]
  r --> judge[(LLM judge)]
  r --> scores[faithfulness / relevancy]

코드 샘플 탭에서 최소 RAG 평가를 보여줍니다.

언제 쓰면 좋은가

검색 품질이 중요하고 RAG 파이프라인에 대한 객관적·반복 가능한 지표를 원할 때 — 회귀를 잡고 리트리버·청킹·프롬프트를 비교하기 위해 Ragas를 고르세요.

예제

Python · evaluate RAG

언제 쓰나

RAG 품질을 채점할 때 — 답이 검색된 컨텍스트에 충실한지, 질문에 관련 있는지 측정합니다.

흐름

질문·답·컨텍스트를 주면 Ragas가 레퍼런스 없는 지표(대개 LLM 채점)를 돌려 지표별 점수를 반환합니다.

구조

flowchart LR
  qa[question / answer / context] --> r[Ragas]
  r --> judge[(LLM judge)]
  r --> scores[faithfulness / relevancy]

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy
from datasets import Dataset

data = Dataset.from_dict({
    "question": ["What language is Qdrant written in?"],
    "answer": ["Qdrant is written in Rust."],
    "contexts": [["Qdrant is a vector database written in Rust."]],
})
# Metrics use an LLM judge (set OPENAI_API_KEY or configure another).
print(evaluate(data, metrics=[faithfulness, answer_relevancy]))

예제

Ragas — 구현 샘플

실제로 실행 가능한 미니 프로젝트입니다. 받아서 Docker로 실행해 보세요.

GitHub에서 samples/ragas_1 보기 ↗

2026년 6월 28일

Ragas — 구현 샘플

아주 작은 Ragas 샘플입니다. RAG 답을 충실도와 응답 관련성으로 채점하며, OpenAI 모델과 임베딩이 채점을 맡습니다.

설정

cd samples/ragas_1
cp .env.sample .env
# .env 편집: OPENAI_API_KEY 설정(채점 LLM과 임베딩)

Docker로 실행

cd samples/ragas_1
docker build -t aas-ragas .
docker run --rm --env-file .env aas-ragas

Docker로 실행 (DooD를 쓰는 devcontainer에서)

Docker-outside-of-Docker에서는 포그라운드 docker run이 아무것도 출력하지 않을 수 있습니다 — detached로 실행하고 로그를 따라가세요:

docker logs -f "$(docker run -d --env-file .env aas-ragas)"

로컬에서 실행

cd samples/ragas_1
pip install -r requirements.txt
python app.py

실행 결과

점수는 LLM 채점을 쓰므로 실행마다 조금씩 달라집니다. gpt-4o-mini로 실행한 한 예입니다:

{'faithfulness': 1.0000, 'answer_relevancy': 0.9701}

파일

.env.sample

# Copy to `.env` and add your OpenAI API key (judge LLM + embeddings).
#   cp .env.sample .env
OPENAI_API_KEY=

MODEL=gpt-4o-mini

app.py

"""Ragas: evaluate a RAG answer with reference-free metrics.

Scores one (question, answer, context) sample for faithfulness and response
relevancy, judged by an OpenAI model + embeddings (OPENAI_API_KEY).

Run:
    docker build -t aas-ragas .
    docker run --rm --env-file .env aas-ragas
"""

import os

from dotenv import load_dotenv
from ragas import EvaluationDataset, evaluate
from ragas.metrics import Faithfulness, ResponseRelevancy
from ragas.llms import LangchainLLMWrapper
from ragas.embeddings import LangchainEmbeddingsWrapper
from langchain_openai import ChatOpenAI, OpenAIEmbeddings

load_dotenv()

MODEL = os.environ.get("MODEL", "gpt-4o-mini")


def main() -> None:
    dataset = EvaluationDataset.from_list(
        [
            {
                "user_input": "What language is Qdrant written in?",
                "response": "Qdrant is written in Rust.",
                "retrieved_contexts": ["Qdrant is a vector database written in Rust."],
            }
        ]
    )
    llm = LangchainLLMWrapper(ChatOpenAI(model=MODEL))
    embeddings = LangchainEmbeddingsWrapper(OpenAIEmbeddings())

    result = evaluate(
        dataset,
        metrics=[Faithfulness(llm=llm), ResponseRelevancy(llm=llm, embeddings=embeddings)],
    )
    print(result)


if __name__ == "__main__":
    main()

Dockerfile

FROM python:3.13-slim

ENV PYTHONUNBUFFERED=1

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY app.py .

ENTRYPOINT ["python", "app.py"]

requirements.txt

ragas>=0.2,<1
# Pin: ragas still imports langchain_community.chat_models.vertexai, which was
# removed in langchain-community 0.4. Stay on 0.3.x so the import resolves.
langchain-community>=0.3,<0.4
langchain-openai>=0.2,<1
python-dotenv>=1.2,<2