학습 최적화¶
학습 안정성은 optimizer 이름보다 learning rate, batch, normalization과 관측에 좌우됩니다.
핵심¶
- train·validation loss와 gradient 크기를 함께 봅니다.
- scheduler, early stopping과 regularization의 목적을 구분합니다.
- seed, device, precision과 dependency를 run metadata에 기록합니다.
연습¶
- learning rate 세 값으로 loss curve와 수렴 시간을 비교합니다.