[Machine Learning]훈련 데이터 과대적합/과소적합(Overfitting/Underfitting)

과대적합(Overfitting)

원인 : train set에 잡음이 많거나 data set이 너무 작으면 잡음이 섞인 패턴을 감지

해결방법 : 파라미터 수가 적은 모델을 선택, 훈련 데이터의 특성 수를 줄이거나, 모델에 제약을 가하여 단순화시킴

모델을 단순하게 하고 과대적합의 위험을 감소시키기 위해 제약을 가하는 것 ->규제(regularization)

규제의 양은 하이퍼파라미터가 결정

 

과소적합(Underfitting)

원인 : 모델이 너무 단순해서 데이터의 내재된 구조를 학습하지 못할때 일어남

해결방법 : 모델 파라미터가 더 많은 강력한 모델을 선택, 학습 알고리즘에 더 좋은 특성을 제공, 모델의 제약을 줄임(규제 하이퍼파라미터 감소)