[모두의 딥러닝] 11. 오차 역전파(back propagation)

오차 역전파(back propagation)

- 가중치와 바이어스를 조정하기 위해 사용하는 알고리즘

- 예측 출력과 실제 출력 사이의 오차를 계산한 다음, 이 오차를 계층별로 역방향으로 전파하여 가중치를 적절히 조정

※ 경사 하강법은 단일 퍼셉트론에서만 가능

 

 

• 구동 방식

1. 임의의 초기 가중치를 준 뒤 결과 계산

2. 계산 결과와 우리가 원하는 값 사이의 오차 계산

3. 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트

4. 1~3 과정을 더이상 오차가 줄어들지 않을 때까지 반복

 

 

 

'모두의 딥러닝 개정 3판'의 내용과 https://github.com/taehojo/deeplearning의 코드 참고