퍼셉트론은 선형분류기, 다층퍼셉트론은 비선형분류기

하나의 뉴런은 단순한 연산을 한다

단순한 연산 = 선형연산

선형모형은 분류 모형

하나의 뉴런은 단순한 분류기

단순한 분류기는 선형분류기로 이해할 수 있다.

 

퍼셉트론의 아이디어는 선형분류기

들어오는 입력 값에 대해 선형 연산을 해서 그 결과가 양수, 음수 인지 판단해서 activation(non-activation)을 한다.

하나의 퍼셉트론은 선형분류기다.

그런데 뉴럴 네트워크는 비선형 분류기

 

퍼셉트론은 선형분류기, 다층퍼셉트론은 비선형분류기

비선형성을 갖게 하는 게 활성화 함수

 

퍼셉트론 전체를 놓고 보았을 때는 활성화함수가 비선형연산을 하는 애다.

비선형 연산을 함에도 불구하고 logistic regression도 비선형적인 곡선을 통과하지 않냐.

왜 선형분류기라고 하냐면 경계선을 결정짓는 역할을 하는 게 아니라 분류하는 데 쓰이기 때문에

경계선을 결정짓는 데에 포함되지 않는다.

즉 선형분류기 비선형분류기를 결정짓는 것은 경계선이 선형이냐 비선형이냐 라는 것

경계선 여부에 따라 선형 비선형 이기 때문에

경계선을 결정짓는 방정식이 선형인지 비선형인지 봐야하는 것이다.

다층 퍼셉트론은 활성화 함수 이전의 애가 선형인지 비선형인지 보면 되는데,

활성화함수를 각각 갖고 있다. 다층이 되면서 원래는 분류기로써 쓰던 애가 분류기로써 작동이 아니라 경계선을 결정짓는데에 포함되게 된다.

경계선을 결정짓는 방정식에 활성화함수가 사용이 된다면 경계선은 비선형이 된다.

중간에 활성화함수가 포함되기 때문에 비선형 경계식을 만들어내게 된다.

 

 

 

출처: https://ardino.tistory.com/

Onds' ML Notes