오차 역전파1 DL #4 : 딥러닝 학습 Gradient Descent, Back Propagation (경사하강법, 오차역전파) 경사하강법 (Gradient Descent) 경사하강법은 오차가 작아지도록 최적화 하는 방법입니다. 오차가 낮아지는 방향으로 이동할 목적으로 현재 위치를 미분하는데, 미분을 통해서 기울기가 큰 방향을 찾아 탐색합니다. 이로써, 주어진 기준을 가장 잘 만족하는 것을 선택합니다. 경사하강법의 원리는 함수를 최소화하는 x, y 지점의 경사(기울기)가 0이 되도록 만드는 방법입니다. 우리가 고등학교 때 배운 바와 같이 Local minima 이던지 Global minimum 이던지 최소화 지점의 기울기는 0 입니다. 경사하강법 원리∂(x, y)/∂x = 0 , ∂(x, y)/∂y = 0 가중치 업데이트w+ = w - LearningRate * ∂e/∂we : errorw : weight 신경망 학습방법Stoch.. 2020. 5. 21. 이전 1 다음
