태그 #inference

Groq

Groq

전용 LPU 하드웨어에서 오픈 모델을 돌리는 초고속 추론 API

vLLM

PyTorch Foundation

OpenAI 호환 API로 오픈 LLM을 구동하는 고처리량 서빙 엔진