learning rate for more improving

reduce learning rate :

발산할 때도 써도 되겠지만,

loss 가 더 이상 감소하지 않을 때 learning rate를 줄이는 정책을 쓰게 됩니다.

멀리서 볼 때는 멈춰있는 것 같아 보이지만 확대해 보면 이 사이에서 진동하고 있을 가능성이 높다.

learning rate 줄여야 최저점으로 내려가게 된다.