신경망 기초

신경망은 여러 선형 변환과 비선형 활성화를 조합해 표현을 학습합니다.

핵심

• forward pass에서 tensor shape을 추적합니다.
• backpropagation은 chain rule로 parameter gradient를 계산합니다.
• parameter 수와 activation memory가 학습 자원을 결정합니다.

연습

• 작은 MLP의 각 layer 출력 shape과 parameter 수를 계산합니다.

연결

• 손실 함수와 최적화
• 학습 최적화