Fast LLM Serving with vLLM and PagedAttention https://youtu.be/5ZlavKF_98U?si=sjZ31eHwRAClmx7a 권우석(woosuk.kwon). Berkley Ph.D Student LLM 기반 Application이 많이 등장함. Chat, Programming, CopyWriting... 도메인은 다양하지만 결국 LLM Serving이 핵심인 서비스들. LLM Speed / Cost 영향을 크게 받는다. 따라서 Serve Fast / Cost effcient 가 중요한 과제가 되었음 지금 LLM은 굉장히 비싼 몸. High-End GPU를 '많이' 필요함. 각각의 GPU가 handling할 수 있는 request는 매우 적음 NVidia A10..
