하이퍼파라미터 탐색

탐색은 test 성능을 반복 확인하는 과정이 아니라 validation budget을 배분하는 실험입니다.

핵심

• 작은 search space와 random search부터 시작합니다.
• 모든 후보에 같은 split과 metric을 사용합니다.
• 최고 점수뿐 아니라 runtime, variance와 선택 근거를 남깁니다.

연습

• baseline 하나에 제한된 budget의 random search를 실행합니다.

연결

• Baseline과 실험 설계
• 실험 추적과 모델 패키징