dropout2 DL #5 : 딥러닝 Overfitting 방지 방법 (오버피팅, 과적합) Overfitting (과적합) Overfitting은 학습데이터에 지나치게 맞는 모델을 학습함으로써 일반화 성능이 떨어지는 현상입니다. 학습이 계속 진행됨에 따라 학습데이터인 Training Dataset의 오차는 줄어들지만, 검증데이터인 Validation Dataset의 오차는 감소하다가 일정 시점이 지나면 증가하게 됩니다. 보통 이 시점에서 학습을 멈추어 일반화된 딥러닝 모델을 생성합니다. Overfitting 정의 및 학습 종료 시점Overfitting : 학습데이터에만 지나치게 Fitting학습종료시점 : Validation Data 오차 증가 시점 Overfitting 방지 방법 Overfitting을 방지하는 방법은 위에서 설명한 바와 같이 기본적으로 Validation Dataset 오차.. 2020. 5. 21. DL #4 : 딥러닝 학습 Gradient Descent, Back Propagation (경사하강법, 오차역전파) 경사하강법 (Gradient Descent) 경사하강법은 오차가 작아지도록 최적화 하는 방법입니다. 오차가 낮아지는 방향으로 이동할 목적으로 현재 위치를 미분하는데, 미분을 통해서 기울기가 큰 방향을 찾아 탐색합니다. 이로써, 주어진 기준을 가장 잘 만족하는 것을 선택합니다. 경사하강법의 원리는 함수를 최소화하는 x, y 지점의 경사(기울기)가 0이 되도록 만드는 방법입니다. 우리가 고등학교 때 배운 바와 같이 Local minima 이던지 Global minimum 이던지 최소화 지점의 기울기는 0 입니다. 경사하강법 원리∂(x, y)/∂x = 0 , ∂(x, y)/∂y = 0 가중치 업데이트w+ = w - LearningRate * ∂e/∂we : errorw : weight 신경망 학습방법Stoch.. 2020. 5. 21. 이전 1 다음
