설명
- Rectified Adam
- 가중치를 업데이트하기 위한 optimizer로, Adam 의 변형입니다.
- Adam이 가진 Bad local optima convergence problem(local optima에 너무 일찍 도달하여 학습이 거의 일어나지 않는 현상)을 개선하고자 하였습니다.
- Adam의 수식에 rectification(분산을 consistent하게 만들 수 있는 rectification term)을 곱해줌으로써 학습 초기에 일어날 수 있는 bad local optima problem을 해결하고, 학습 안정성을 높였다고 할 수 있습니다.
사용
optimizer = RAdam(model.parameters(), lr=learning_rate, betas=(0.9, 0.999), weight_decay=1e-4)References
https://zzaebok.github.io/deep_learning/RAdam/
RAdam 정리
zzaebok.github.io
https://github.com/LiyuanLucasLiu/RAdam/blob/master/radam/radam.py
GitHub - LiyuanLucasLiu/RAdam: On the Variance of the Adaptive Learning Rate and Beyond
On the Variance of the Adaptive Learning Rate and Beyond - GitHub - LiyuanLucasLiu/RAdam: On the Variance of the Adaptive Learning Rate and Beyond
github.com
728x90
반응형
'공부' 카테고리의 다른 글
| assert (0) | 2023.05.18 |
|---|---|
| @staticmethod (0) | 2023.05.18 |
| forward (0) | 2023.05.18 |
| nn.init.xavier_normal_ (0) | 2023.05.18 |
| GradualWarmupScheduler (0) | 2023.05.18 |
