Optimization, 최적화 알고리즘 (작성중)

최적화 알고리즘이란?

최적화 알고리즘은 딥러닝 학습과정에서 손실함수의 값을 최소화하는 함수로, 손실을 줄이기 위해 가중치 및 학습률과 같은 신경망의 속성을 변경하는 데에 사용된다. 모델의 가중치를 어떻게, 얼마나, 언제 변경하는 지를 함수에 따라 결정한다.

 

다음과 같이 다양한 최적화 알고리즘이 있으며 각각의 작동, 장단점을 이해하고 사용하는 것이 중요하다.

• Adagrad 
• Adam 
• Momentum
• Nestrov Accelerated Gradient(NAG)
• RMSProp 
• Gradient Descent 
• Stochastic Gradient Descent(SGD)
• Mini Batch Stochastic Gradient Descent (MB-SGD)
• SGD with momentum 

 

1. Adagrad 

Adagrad(Adaptive Gradient) 는 매개변수에 따라 학습률을 

 

 

참고자료 

• https://wikidocs.net/165136