관측성 & 평가

AI 시스템이 프로덕션에서 돌기 시작하면 내부를 들여다봐야 합니다. 각 단계를 트레이싱하고 출력 품질을 평가하며 비용과 지연을 추적해, 사용자보다 먼저 회귀를 잡아내도록 돕는 도구입니다.

가격
라이선스
언어
최신 업데이트: 전체보기
정렬: 이름순

트레이싱 & 모니터링

에이전트 실행을 단계별로 기록·점검·모니터링

Arize Phoenix

Arize Phoenix

Arize AI

오픈소스 LLM·에이전트 관측성 — self-host 가능한 OpenTelemetry 트레이싱과 평가

arize-phoenix-evals-v3.3.02026-07-23PythonElastic-2.0
#tracing #eval #observability #opentelemetry
10.7k 오픈소스 무료 티어 유료
Helicone

Helicone

Helicone

한 줄 프록시로 붙이는 오픈소스 LLM 관측 — 로깅·캐싱·비용 추적

6개월 이상 업데이트 없음v2025.08.21-12025-08-21TypeScriptApache-2.0
#observability #proxy #logging #typescript
6.0k 오픈소스 무료 티어 유료
Langfuse

Langfuse

Langfuse

LLM·에이전트 애플리케이션을 위한 오픈소스 트레이싱·평가·분석 도구

v3.224.12026-07-23TypeScriptMIT
#tracing #eval #monitoring #analytics
31.7k 오픈소스 무료 티어 유료
LangSmith

LangSmith

LangChain

LLM·에이전트 앱의 트레이싱·평가·모니터링을 위한 LangChain의 호스팅 플랫폼 (LangChain 없이도 사용 가능)

SaaS / SDK독점
#tracing #eval #monitoring #prompts
무료 티어 유료
Opik

Opik

Comet

트레이싱·평가·모니터링을 한데 묶은 Comet의 오픈소스 LLM 플랫폼

v2.1.322026-07-17PythonApache-2.0
#observability #tracing #evaluation #python
20.8k 오픈소스 무료 티어 유료

평가

LLM·RAG 출력 품질을 채점하고 테스트

DeepEval

DeepEval

Confident AI

LLM용 Pytest 같은 오픈소스 — 모델·RAG 출력을 지표로 유닛 테스트

v4.1.32026-07-12PythonApache-2.0
#evaluation #testing #metrics #python
17.1k 오픈소스 무료 티어 유료
Ragas

Ragas

Exploding Gradients

RAG 파이프라인과 LLM 애플리케이션을 위한 오픈소스 평가 프레임워크

6개월 이상 업데이트 없음v0.4.32026-01-13PythonApache-2.0
#evaluation #rag #metrics #python
15.0k 완전 무료 오픈소스