머신러닝 성능 개선

Train                               |  Test

Good                              |  Bad

학습은 잘하는데 시험은 못 보는 경우

train x test x -> underfit

train o test o -> fit

train o test x -> overfit

 

underfit, overfit 일 경우 학습을 잘 했는지 확인

학습을 잘 했으면 overfit, 학습도 못 했으면 underfit.

데이터 복잡도 > 모델 복잡도 : underfit

데이터 복잡도 < 모델 복잡도 : overfit

데이터 복잡도에 적절한 모델 복잡도를 가지고 있으면 fit 하다.

underfit 은 모델의 복잡도를 끌어올리면 된다.

overfit은 모델의 복잡도를 끌어내리면 된다.

모델의 복잡도를 올리거나 내리거나 하면 된다.

데이터 복잡도를 올리거나 내리는 것은 전처리.

 

어떻게 모델의 성능을 올리는가

overfit / underfit

데이터의 복잡도와 모델 복잡도 간의 mismatch 한 상황

두 개가 조화를 맞춰주면 된다.

                                                 

	데 < 모	데 > 모
	overfit	underfit
데이터 핸들링	데이터복잡도 높이기 - 데이터 양 증가 - 데이터 차원 감소	데이터복잡도 낮추기 - 데이터 차원 증가
모델 핸들링	모델 복잡도 낮추기 - 규제화 (cost재정의를 함으로써 모델복잡도에 제한을 건다) - 단순한 모델 선택	모델의 복잡도 높이기 - 규제화를 풀어주기 - 복잡한 모델 선택

Cost = 오차 + 모델복잡도

모델복잡도를 수치로 어떻게 표현할 수 있을까?

weight 크기는 모델이 복잡할수록 일반적으로 높다.

모델에는 weight가 여러개일 수 있는데 각각을 제곱해서 더해서 크기를 비교한다. : norm 

weight의 크기가 모델의 복잡도를 나타낸다.

 

 

 

 

 

 

출처: https://ardino.tistory.com/