기울기소실1 DL #7 : 딥러닝 기울기소실 문제 해결 방법 (Vanishing Gradient) Vanishing Gradient Problem 깊고 넓은 딥러닝 모델을 학습시키기는 과정에서 출력값과 멀어질수록 학습이 되지 않는 현상을 기울기소실이라고 합니다. 이러한 심층신경망에서 가중치를 Back Propagation으로 학습시키는 과정에서 가중치가 발산하거나 곡선의 기울기가 0이되는 기울기 소실(Vanishing Gradient Problem) 문제가 발생합니다. 해당 문제는 20년 동안 해결되지 못했는데 원인은 시그모이드 합수 입니다. 시그모이드 함수는 0~1을 표현합니다. 하지만 시그모이드의 미분 값은 0~0.25 사이의 값만 표현가능합니다. 역전파로 결과값에 대한 가중치 계산 시 전갈되는 값이 1/4 감소되는 현상이 발생합니다. 세번 이상 미분계산 반복 시 0에 가까운 값이 되어 학습되지 .. 2020. 5. 24. 이전 1 다음
