개요
등산을 해서 정상에 도착하려고 한다.
어디서 출발하는지에 따라서 보다 쉽게 혹은 어렵게 도착할 수도 있다.
어디서 출발하는지를 정해주는 게 가중치 초기화라고 보면 된다.
설명
- 가중치를 초기화한다.
- Glorot initialization 라고도 부른다.
- 이전 노드와 다음 노드의 개수에 의존하는 방법이다.
- 비선형함수(ex. sigmoid, tanh)에서 효과적인 결과를 보여주나, ReLU함수에서 사용 시 출력 값이 0으로 수렴하게 되는 현상을 확인 할 수 있다.
사용
torch.nn.init.xavier_uniform_(linear1.weight)
References
[ CNN ] 가중치 초기화 (Weight Initialization) - PyTorch Code
w = torch.empty(3, 5) nn.init.uniform_(w) [ CNN ] 가중치 초기화 (Weight Initialization) CNN이든 머신러닝이든 결국 우리는 목적함수의 값을 최적화하는 방향으로 학습을 시켜나가죠. 그래서 보통 역전파를 이
supermemi.tistory.com
가중치 초기화 (Weight Initialization)
An Ed edition
reniew.github.io
'공부' 카테고리의 다른 글
| RAdam (0) | 2023.05.18 |
|---|---|
| assert (0) | 2023.05.18 |
| @staticmethod (0) | 2023.05.18 |
| forward (0) | 2023.05.18 |
| GradualWarmupScheduler (0) | 2023.05.18 |
개요
등산을 해서 정상에 도착하려고 한다.
어디서 출발하는지에 따라서 보다 쉽게 혹은 어렵게 도착할 수도 있다.
어디서 출발하는지를 정해주는 게 가중치 초기화라고 보면 된다.
설명
- 가중치를 초기화한다.
- Glorot initialization 라고도 부른다.
- 이전 노드와 다음 노드의 개수에 의존하는 방법이다.
- 비선형함수(ex. sigmoid, tanh)에서 효과적인 결과를 보여주나, ReLU함수에서 사용 시 출력 값이 0으로 수렴하게 되는 현상을 확인 할 수 있다.
사용
torch.nn.init.xavier_uniform_(linear1.weight)
References
[ CNN ] 가중치 초기화 (Weight Initialization) - PyTorch Code
w = torch.empty(3, 5) nn.init.uniform_(w) [ CNN ] 가중치 초기화 (Weight Initialization) CNN이든 머신러닝이든 결국 우리는 목적함수의 값을 최적화하는 방향으로 학습을 시켜나가죠. 그래서 보통 역전파를 이
supermemi.tistory.com
가중치 초기화 (Weight Initialization)
An Ed edition
reniew.github.io
'공부' 카테고리의 다른 글
| RAdam (0) | 2023.05.18 |
|---|---|
| assert (0) | 2023.05.18 |
| @staticmethod (0) | 2023.05.18 |
| forward (0) | 2023.05.18 |
| GradualWarmupScheduler (0) | 2023.05.18 |
