nn.init.xavier_normal_

개요

등산을 해서 정상에 도착하려고 한다.

어디서 출발하는지에 따라서 보다 쉽게 혹은 어렵게 도착할 수도 있다.

어디서 출발하는지를 정해주는 게 가중치 초기화라고 보면 된다.

설명

• 가중치를 초기화한다. 
• Glorot initialization  라고도 부른다.
• 이전 노드와 다음 노드의 개수에 의존하는 방법이다.
• 비선형함수(ex. sigmoid, tanh)에서 효과적인 결과를 보여주나, ReLU함수에서 사용 시 출력 값이 0으로 수렴하게 되는 현상을 확인 할 수 있다.

출처: reniew's blog

사용

torch.nn.init.xavier_uniform_(linear1.weight)

 

References

https://supermemi.tistory.com/entry/CNN-%EA%B0%80%EC%A4%91%EC%B9%98-%EC%B4%88%EA%B8%B0%ED%99%94-Weight-Initialization-PyTorch-Code

[ CNN ] 가중치 초기화 (Weight Initialization) - PyTorch Code

https://reniew.github.io/13/

가중치 초기화 (Weight Initialization)