태그 #serving

vLLM

PyTorch Foundation

OpenAI 호환 API로 오픈 LLM을 구동하는 고처리량 서빙 엔진