radam

설명 Rectified Adam 가중치를 업데이트하기 위한 optimizer로, Adam 의 변형입니다. Adam이 가진 Bad local optima convergence problem(local optima에 너무 일찍 도달하여 학습이 거의 일어나지 않는 현상)을 개선하고자 하였습니다. Adam의 수식에 rectification(분산을 consistent하게 만들 수 있는 rectification term)을 곱해줌으로써 학습 초기에 일어날 수 있는 bad local optima problem을 해결하고, 학습 안정성을 높였다고 할 수 있습니다. 사용 optimizer = RAdam(model.parameters(), lr=learning_rate, betas=(0.9, 0.999), weight_d..