Random Forest

다른 Decision Tree 들을 합쳐서 만든 것

다른 쪽에 편향된 decision tree를 종합해서 오히려 일반화가 된다. 경향을 파악하게 된다.

서로 다른 decision tree를 만들기 위해서 무작위성을 도입한 것.

 

Bagging

: Bootstrap aggregating의 줄임말

Bootstrap: (신발 등을 끌어올리려고 만든 스트랩) 끌어올리다 (원본을 끌어올려서 사본을 만들다)

aggregating: 합치다

서로 다른 데이터를 주입해서 서로 다른 학습기가 되도록 하는 것.

부트스트랩을 하고 -> 학습은 각각 하고 -> 모델을 합친다.(투표한다)

 

투표방식

1) 하드 보팅 

-> 다수결

2) 소프트 보팅

-> 확률로 구해서 평균을 내서 threshold를 넘느냐 안 넘느냐.

 

회귀분석은 평균을 내면 되고, 분류는 빈도수를 계산하면 된다.

 

부분만 추출하겠다 sub sampling

upsampling 데이터의 편차가 생긴다.

 

여러 개가 합쳐져 있는 모양이나 어떤 모델의 집단으로 이해하지 않고 하나의 방법론으로 하나의 모델로 간주하고 있는 단계다.

하나의 단일 모델은 어느정도는 overfit 된 상태가 낫다. underfit 보단.

앙상블은 편향된 애들끼리 모이는 것이 좋다. 

 

 

 

 

출처: https://ardino.tistory.com/