DeepEval

만든 곳 Confident AI

LLM용 Pytest 같은 오픈소스 — 모델·RAG 출력을 지표로 유닛 테스트

웹사이트 ↗ 저장소 ↗ 문서 ↗

v4.1.32026-07-12PythonApache-2.0

#evaluation #testing #metrics #python

17.1k 오픈소스 무료 티어 유료

문서버전 1.0 · 업데이트 2026년 6월 28일

개요

DeepEval은 LLM 테스트를 유닛 테스트처럼 다루는 오픈소스 평가 프레임워크입니다 — “LLM용 Pytest” — 관련성·충실도·환각·편향과 커스텀 기준을 위한 지표 라이브러리를 제공합니다.
로컬과 CI에서 돌아가며, 호스팅 대시보드·회귀 추적을 위한 Confident AI 플랫폼과 짝을 이룹니다.

flowchart LR
  case[test case] --> m[metric]
  m --> judge[(LLM judge)]
  m --> verdict[score + pass/fail]

코드 샘플 탭에서 단일 테스트 케이스 채점을 보여줍니다.

언제 쓰면 좋은가

평가를 테스트 워크플로에 엮고 싶을 때 — 모델·RAG 출력에 지표 기반 단언을 쓰고 CI를 그에 맞춰 게이트하며, 그 위에 선택적 호스팅 플랫폼을 얹고 싶을 때 DeepEval을 고르세요.

가격

DeepEval은 오픈소스(Apache-2.0)라 무료이고, Confident AI 플랫폼은 호스팅형 대시보드를 더합니다.

플랜	가격	비고
Starter	$0	무료 호스팅 대시보드
Premium	$19.99/사용자·월	상향된 한도
Growth	$49.99/사용자·월	팀·사용량 확대
Enterprise	문의	SSO·SLA·지원

출처 ↗ · 기준일 2026-06-27

예제

Python · evaluate a case

언제 쓰나

유닛 테스트처럼 느껴지는 LLM 평가를 원할 때 — 로컬과 CI에서 돌리는 단언과 지표.

흐름

LLMTestCase를 만들고 지표(관련성·충실도·환각 등)를 붙이면, evaluate가 각각을 채점합니다 — 테스트 스위트처럼 통과/실패로.

구조

flowchart LR
  case[test case] --> m[metric]
  m --> judge[(LLM judge)]
  m --> verdict[score + pass/fail]

from deepeval import evaluate
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

case = LLMTestCase(
    input="What language is Qdrant written in?",
    actual_output="Qdrant is written in Rust.",
)
# Metrics use an LLM judge (set OPENAI_API_KEY or configure another).
evaluate(test_cases=[case], metrics=[AnswerRelevancyMetric()])

예제

DeepEval — 구현 샘플

실제로 실행 가능한 미니 프로젝트입니다. 받아서 Docker로 실행해 보세요.

GitHub에서 samples/deepeval_1 보기 ↗

2026년 6월 28일

DeepEval — 구현 샘플

아주 작은 DeepEval 샘플입니다. Answer Relevancy 지표(LLM 채점)로 답을 채점합니다.

설정

cd samples/deepeval_1
cp .env.sample .env
# .env 편집: OPENAI_API_KEY 설정(채점 모델로 사용)

Docker로 실행

cd samples/deepeval_1
docker build -t aas-deepeval .
docker run --rm --env-file .env aas-deepeval

Docker로 실행 (DooD를 쓰는 devcontainer에서)

Docker-outside-of-Docker에서는 포그라운드 docker run이 아무것도 출력하지 않을 수 있습니다 — detached로 실행하고 로그를 따라가세요:

docker logs -f "$(docker run -d --env-file .env aas-deepeval)"

로컬에서 실행

cd samples/deepeval_1
pip install -r requirements.txt
python app.py

실행 결과

점수는 LLM 채점을 쓰므로 점수와 사유가 실행마다 조금씩 달라집니다. gpt-4o-mini로 실행한 한 예입니다:

answer_relevancy: 1.00
reason: The score is 1.00 because the response directly addresses the question about the programming language of Qdrant without any irrelevant statements.

파일

.env.sample

# Copy to `.env` and add your OpenAI API key (used as the judge model).
#   cp .env.sample .env
OPENAI_API_KEY=

MODEL=gpt-4o-mini

app.py

"""DeepEval: score an LLM answer with a metric (LLM-as-judge).

Builds one test case and runs the Answer Relevancy metric. The judge model uses
OPENAI_API_KEY. Output is a score (0-1) with a short reason.

Run:
    docker build -t aas-deepeval .
    docker run --rm --env-file .env aas-deepeval
"""

import os

from dotenv import load_dotenv
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

load_dotenv()

MODEL = os.environ.get("MODEL", "gpt-4o-mini")


def main() -> None:
    case = LLMTestCase(
        input="What language is Qdrant written in?",
        actual_output="Qdrant is written in Rust.",
    )
    metric = AnswerRelevancyMetric(model=MODEL)
    metric.measure(case)
    print(f"answer_relevancy: {metric.score:.2f}")
    print(f"reason: {metric.reason}")


if __name__ == "__main__":
    main()

Dockerfile

FROM python:3.13-slim

ENV PYTHONUNBUFFERED=1

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY app.py .

ENTRYPOINT ["python", "app.py"]