RAdam

설명

• Rectified Adam
• 가중치를 업데이트하기 위한 optimizer로, Adam 의 변형입니다.
• Adam이 가진 Bad local optima convergence problem(local optima에 너무 일찍 도달하여 학습이 거의 일어나지 않는 현상)을 개선하고자 하였습니다.
• Adam의 수식에 rectification(분산을 consistent하게 만들 수 있는 rectification term)을 곱해줌으로써 학습 초기에 일어날 수 있는 bad local optima problem을 해결하고, 학습 안정성을 높였다고 할 수 있습니다.

사용

optimizer = RAdam(model.parameters(), lr=learning_rate, betas=(0.9, 0.999), weight_decay=1e-4)

References

https://zzaebok.github.io/deep_learning/RAdam/

RAdam 정리

https://github.com/LiyuanLucasLiu/RAdam/blob/master/radam/radam.py

GitHub - LiyuanLucasLiu/RAdam: On the Variance of the Adaptive Learning Rate and Beyond