모델 서빙 패턴¶
online, batch, 긴 비동기 job을 입력 크기와 latency 요구에 따라 분리합니다.
핵심¶
- API request와 response에 schema와 model version을 포함합니다.
- batch prediction도 online과 같은 model bundle을 사용합니다.
- retry 가능한 요청에는 idempotency key와 상태 조회 경계를 둡니다.
연습¶
- 하나의 fixture를 batch와 API로 실행해 결과가 같은지 검사합니다.