활성화함수

하나의 뉴런은 단순한 연산을 한다 단순한 연산 = 선형연산 선형모형은 분류 모형 하나의 뉴런은 단순한 분류기 단순한 분류기는 선형분류기로 이해할 수 있다. 퍼셉트론의 아이디어는 선형분류기 들어오는 입력 값에 대해 선형 연산을 해서 그 결과가 양수, 음수 인지 판단해서 activation(non-activation)을 한다. 하나의 퍼셉트론은 선형분류기다. 그런데 뉴럴 네트워크는 비선형 분류기 퍼셉트론은 선형분류기, 다층퍼셉트론은 비선형분류기 비선형성을 갖게 하는 게 활성화 함수 퍼셉트론 전체를 놓고 보았을 때는 활성화함수가 비선형연산을 하는 애다. 비선형 연산을 함에도 불구하고 logistic regression도 비선형적인 곡선을 통과하지 않냐. 왜 선형분류기라고 하냐면 경계선을 결정짓는 역할을 하는 ..