비용과 성능 최적화¶
최적화는 측정한 병목이 있을 때 정확도, latency, throughput과 비용의 trade-off로 진행합니다.
핵심¶
- profile로 CPU, memory, I/O와 model 연산 시간을 분리합니다.
- batching, caching, model compression은 동일한 workload에서 비교합니다.
- 월 비용과 요청당 비용을 성능 지표와 함께 기록합니다.
연습¶
- 대표 workload의 latency와 peak memory를 측정해 가장 큰 병목 하나를 줄입니다.