트리와 앙상블¶
tree 모델은 비선형 관계와 feature interaction을 다루지만 쉽게 과적합할 수 있습니다.
핵심¶
- depth, leaf size, feature sampling이 모델 복잡도를 결정합니다.
- random forest는 분산을 줄이고 boosting은 잔여 오류를 순차적으로 학습합니다.
- feature importance는 인과 효과로 해석하지 않습니다.
연습¶
- 단일 tree, random forest, boosting을 같은 split에서 비교합니다.