아마존 세이지메이커 인퍼런스, 프리픽스 인식 라우팅 기능 도입

아마존 세이지메이커 인퍼런스가 대규모 언어 모델의 지연 시간을 줄이기 위해 프리픽스 인식 라우팅 전략을 새롭게 지원한다. 이 기능은 동일한 프롬프트 접두사를 공유하는 요청을 동일한 인스턴스로 라우팅하여 KV 캐시가 활성 상태를 유지하도록 돕는다.

라마 3.1 70B 모델을 대상으로 한 벤치마크 테스트에서 해당 라우팅 방식을 적용한 결과, P50 첫 토큰 생성 시간(TTFT)이 최대 77%까지 감소한 것으로 나타났다.