[260805] TIL

Today I Learned (2026-08-05)

vLLM

• vLLM은 학습이 끝난 LLM을 사용자 요청에 빠르게 응답하도록 서빙하는 엔진이다. 학습 도구가 아니라 추론 서버 쪽 도구다.
• 큰 모델은 양자화로 크기를 줄여 GPU 메모리에 올려서 서빙하기도 한다.