수도리부트
  • 2024. 11. 16.
  • 시즌 1, 에피소드 2
  • 43분

LLM을 더 빠르게 서빙하는 법, KV 캐싱 & Speculative Decoding

수도리부트

LLM을 더 빠르게 서빙하는 법

- KV 캐싱

- Paged Attention

- vLLM

- Speculative Decoding

- OpenAI 프롬프트 캐싱

- OpenAI Predicted Outputs

Physical intelligence,

- AI 로봇

- Action 모델

에피소드 웹페이지

정보

  • 프로그램
    수도리부트
  • 주기
    격주 업데이트
  • 발행일
    2024년 11월 16일 오전 9:40 UTC
  • 길이
    43분
  • 시즌
    1
  • 에피소드
    2
  • 등급
    전체 연령 사용가