[모두의 딥러닝] 11. 오차 역전파(back propagation)

오차 역전파(back propagation) - 가중치와 바이어스를 조정하기 위해 사용하는 알고리즘 - 예측 출력과 실제 출력 사이의 오차를 계산한 다음, 이 오차를 계층별로 역방향으로 전파하여 가중치를 적절히 조정 ※ 경사 하강법은 단일 퍼셉트론에서만 가능 구동 방식 1. 임의의 초기 가중치를 준 뒤 결과 계산 2. 계산 결과와 우리가 원하는 값 사이의 오차 계산 3. 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트 4. 1~3 과정을 더이상 오차가 줄어들지 않을 때까지 반복 '모두의 딥러닝 개정 3판'의 내용과 https://github.com/taehojo/deeplearning의 코드 참고

• format_list_bulleted AI/모두의 딥러닝
• · 2023. 5. 22.
• textsms

[모두의 딥러닝] 10. 다층 퍼셉트론(multilayer perceptron), XOR 문제 해결

다층 퍼셉트론(multilayer perceptron) - 입력층과 출력층 사이에 한 개 이상의 은닉층(hidden layer)을 포함한 신경망 구조 - 퍼셉트론 두 개를 각각 처리하는 은닉층을 만들어 두 개를 한 번에 계산하면 XOR 문제 해결 가능 설계 : 입력 값인 x1과 x2에 각각 가중치(w)를 곱하고 바이어스(b)를 더해 은닉층(node)으로 전송 : 은닉층에 모인 값들은 활성화 함수(ex. 시그모이드 함수)를 통해 최종 값으로 결과 보냄 : 각각의 가중치(w)와 바이어스(b) 값 결정 XOR 문제 해결 - 각각의 가중치와 바이어스 값 설정 - x1 값과 x2 값을 입력해 원하는 y 값이 나오는지 확인 XOR 문제 해결 - 파이썬 코드로 구현 1. 가중치와 바이어스 선언 import numpy..

• format_list_bulleted AI/모두의 딥러닝
• · 2023. 5. 22.
• textsms

[모두의 딥러닝] 9. 인공 신경망(artificial neural network, ANN), XOR 문제

인공 신경망(artificial neural network, ANN) - 뇌의 동작 원리를 모방한 컴퓨터 알고리즘으로, 여러 층의 퍼셉트론들이 데이터를 처리하고 학습하는 모델 - 역전파라고 불리는 과정을 통해 뉴런들 사이의 연결의 무게를 조정함으로써 학습하며, 패턴을 인식하고 예측 퍼셉트론(perceptron) : 신경망을 이루는 기본 단위 : 입력과 가중치를 곱한 값을 활성화 함수에 적용하여 출력을 결정 아달라인(Adaline) : 퍼셉트론에 경사 하강법을 도입해 최적의 경계선을 그릴 수 있게 함 XOR 문제 - 네 점 사이에 직선을 그을 때, 한 쪽에는 검은 점만 있고 다른 한 쪽에는 흰 점만 있게끔 그을 수 있을까? - XOR 문제는 선형 분리(퍼셉트론, 아달라인)가 불가능한 문제로, 하나의 단층 ..

• format_list_bulleted AI/모두의 딥러닝
• · 2023. 5. 22.
• textsms

[모두의 딥러닝] 8. 로지스틱 회귀(logistic regression), 시그모이드 함수(sigmoid function), 교차 엔트로피 함수(cross entropy function)

로지스틱 회귀(logistic regression) - 입력 데이터를 기반으로 이진 분류를 수행하는 머신러닝 알고리즘 - 직선이 아닌 참(1)과 거짓(0) 사이를 구분하는 S자 형태의 선을 그어 주는 작업 로지스틱 회귀 예제 - 자격증 시험을 본 4명의 학생의 공부한 시간, 합격 여부 조사 - 독립 변수 : 공부한 시간 / 종속 변수 : 합격 여부 공부한 시간 2 4 6 8 10 12 14 합격 여부 불합격 불합격 불합격 합격 합격 합격 합격 # matplotlib 라이브러리 사용해서 그래프로 나타내기 import matplotlib.pyplot as plt x = [2, 4, 6, 8, 10, 12, 14] y = [0, 0, 0, 1, 1, 1, 1] plt.scatter(x, y) plt.xlabe..

• format_list_bulleted AI/모두의 딥러닝
• · 2023. 5. 19.
• textsms

[Python][Error] SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape

오류 발생 과정 업로드된 파일을 지정된 위치("C:\Users\Downloads\student1.wav")에 저장하려고 함 f.save("C:\Users\Downloads\student1.wav") ^ SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape SyntaxError : (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape 오류 발생 이유 - 유니코드 이스케이프(Unicode escape) 시퀀스가 올바르지 않을 때 발..

• format_list_bulleted IT 지식
• · 2023. 5. 19.
• textsms

[모두의 딥러닝] 7. 머신 러닝 용어, 텐서플로(tensorflow), 케라스(keras) API

머신 러닝 용어 가설 함수(hypothesis) - H(x) : 문제를 해결하기 위해 가정하는 식 (ex.y = ax + b) 가중치(weight) : y = ax + b에서 변수 x에 어느 정도의 가중치를 곱하는지 결정하는 기울기 a 편향(bias) : y = ax + b에서 데이터의 특성에 따라 따로 부여되는 값 b 머신 러닝에서 y = ax + b => H(x) = wx + b 가중합 : 입력 값과 가중치를 모두 곱한 후 바이어스(bias)를 더한 값 활성화 함수(activation function) : 입력된 값을 다음 층으로 넘길 때 각 값을 어떻게 처리할지를 결정하는 함수 : 가중합의 결과를 0 또는 1로 판단하는 함수 손실 함수(loss function) : 실제 값과 예측 값 사이의 오차에..

• format_list_bulleted AI/모두의 딥러닝
• · 2023. 5. 18.
• textsms

[모두의 딥러닝] 6. 다중 선형 회귀(multiple linear regression)

다중 선형 회귀(Multiple linear regression) - 2개 이상의 독립 변수로부터 종속 변수 예측 - 단순 선형 회귀보다 더 정확한 예측 가능 다중 선형 회귀 예제 - 파이썬 코드로 구현 - 중간고사를 본 4명의 학생의 공부한 시간, 과외 수업 횟수와 성적 조사 - 독립 변수 : 공부한 시간, 과외 수업 횟수 / 종속 변수 : 성적 공부한 시간 2 4 6 8 과외 수업 횟수 0 4 2 3 성적 71 93 91 97 1. 환경 및 데이터 준비 - 독립 변수 x1(공부 시간), x2(과외 시간)로 종속 변수 y(성적)를 만들 경우, 식은 y = a1x1 + a2x2 + b import numpy as np import matplotlib.pyplot as plt # 공부 시간 x1과 과외 시..

• format_list_bulleted AI/모두의 딥러닝
• · 2023. 5. 18.
• textsms