Groq

만든 곳 Groq

전용 LPU 하드웨어에서 오픈 모델을 돌리는 초고속 추론 API

웹사이트 ↗ 문서 ↗

API독점

#llm #inference #fast #api

무료 티어 유료

문서버전 1.0 · 업데이트 2026년 6월 28일

개요

Groq는 자체 LPU 하드웨어에서 오픈소스 모델을 구동하는 추론 제공자로, 현존 최고 수준의 토큰 처리 속도를 제공합니다.
OpenAI 호환 API와 넉넉한 무료 개발자 티어를 제공해, LiteLLM이나 OpenAI SDK로 기존 코드에 그대로 끼워 넣을 수 있습니다.

flowchart LR
  prompt[prompt] --> groq[(Groq LPU)]
  groq --> fast[very fast tokens]

코드 샘플 탭에서 LiteLLM 경유 호출을 보여줍니다.

언제 쓰면 좋은가

속도가 최우선이고 오픈 모델(Llama·Qwen 등)이 과제에 맞을 때 — 특히 추론 단계마다 처리량이 시간을 좌우하는 실시간 에이전트에 Groq를 고르세요.

가격

무료 개발자 티어가 있고(카드 불필요, 속도 제한), 유료는 토큰 종량제입니다. 가격은 100만 토큰당 입력/출력 기준입니다.

플랜	가격	비고
개발자 (무료)	$0	속도 제한, 카드 불필요.
Llama 3.3 70B	$0.59 / $0.79	유료 예시 요금

출처 ↗ · 기준일 2026-06-27

예제

Python · via LiteLLM

언제 쓰나

지연이 중요한 상황 — 토큰 처리 속도가 병목인 대화형 에이전트와 채팅에 쓰세요.

from litellm import completion

# GROQ_API_KEY in the environment. Groq serves open models (Llama, etc.)
# on its LPU hardware — the same OpenAI-style call, just very fast.
resp = completion(
    model="groq/llama-3.3-70b-versatile",
    messages=[{"role": "user", "content": "Say hello in one short sentence."}],
)
print(resp.choices[0].message.content)

관련 도구

개요

언제 쓰면 좋은가

가격

언제 쓰나