Activation function? 입력신호를 출력신호로 변환해주는 함수 선형 분류의 한계로 non-linear 한 결과는 얻을 수 없었으나 활성함수로 선형 시스템을 비선형 분류기로 만들 수 있게 됨 입력 받은 신호를 얼마나 출력할지 결정하고 네트워크에 층을 쌓아 비선형성을 표현할 수 있도록 해준다. 수식 모양 범위, 평균 장점/단점 sigmoid [0, 1], 0.5 vanishing gradient no-zero centered tanh 하이퍼볼릭 탄젠트 [-1, 1], 0 zero-centered vanishing gradient Softmax MaxOut ReLU 장점 가짐, Dying ReLU 해결 전체 파라미터 2배 증가 ReLU vanishing gradient 해결, Sparsity Dy..
