[모두의 딥러닝] 12. 기울기 소실(vanishing gradient) 문제, 활성화 함수(ReLU, softplus 등), 고급 경사 하강법(SGD, Adam 등)

기울기 소실(vanishing gradient) 문제 - 문제 : 은닉층이 늘어나면서 출력층에서 시작된 가중치 업데이트가 처음 층까지 전달되지 않음 - 원인 : 활성화 함수로 사용된 시그모이드 함수 미분 값의 최대치가 0.25이므로 계속 곱하다보면 0에 가까워진다는 것 - 해결책 : 활성화 함수로 시그모이드가 아닌 다른 함수 탐색 활성화 함수 - 딥러닝에서는 activation이라는 객체에 이름을 넣어 사용 하이퍼볼릭 탄젠트(hyperbolic tangent) : 시그모이드 함수의 범위를 -1에서 1로 확장 : but, 1보다 작은 값 존재하므로 여전히 기울기 소실 문제 존재 렐루(ReLU) : x가 0보다 작을 때는 모든 값을 0으로 처리하고, 0보다 큰 값은 x를 그대로 사용 : x가 0보다 크기만 ..

• format_list_bulleted AI/모두의 딥러닝
• · 2023. 5. 22.
• textsms

[모두의 딥러닝] 7. 머신 러닝 용어, 텐서플로(tensorflow), 케라스(keras) API

머신 러닝 용어 가설 함수(hypothesis) - H(x) : 문제를 해결하기 위해 가정하는 식 (ex.y = ax + b) 가중치(weight) : y = ax + b에서 변수 x에 어느 정도의 가중치를 곱하는지 결정하는 기울기 a 편향(bias) : y = ax + b에서 데이터의 특성에 따라 따로 부여되는 값 b 머신 러닝에서 y = ax + b => H(x) = wx + b 가중합 : 입력 값과 가중치를 모두 곱한 후 바이어스(bias)를 더한 값 활성화 함수(activation function) : 입력된 값을 다음 층으로 넘길 때 각 값을 어떻게 처리할지를 결정하는 함수 : 가중합의 결과를 0 또는 1로 판단하는 함수 손실 함수(loss function) : 실제 값과 예측 값 사이의 오차에..

• format_list_bulleted AI/모두의 딥러닝
• · 2023. 5. 18.
• textsms