티스토리

잠 못 드는 개발자

검색하기

블로그 홈

잠 못 드는 개발자

codingmoding.tistory.com/m

밀린 공부 기록 업데이트 중...

구독자: 6

방명록 방문하기

주요 글 목록

[모두의 딥러닝] 24. 순환 신경망(RNN), LSTM(Long Short Term Memory) - 로이터 뉴스 카테고리 분류 데이터 순환 신경망(Recurrent Neural Network, RNN) - 여러 개의 데이터가 순서대로 입력되었을 때 앞서 입력받은 데이터를 잠시 기억해 놓는 방법 - 기억된 데이터가 얼마나 중요한지 판단하고 별도의 가중치를 주어 다음 데이터로 넘김 1. 다수 입력 단일 출력 ex) 문장을 읽고 뜻을 파악할 때 2. 단일 입력 다수 출력 ex) 사진의 캡션을 만들 때 3. 다수 입력 다수 출력 ex) 문장을 번역할 때 LSTM(Long Short Term Memory) - 반복되기 전에 다음 층으로 기억된 값을 넘길지 여부를 관리하는 단계를 하나 더 추가 - RNN의 기울기 소실 문제를 보완 LSTM 예제 - 로이터 뉴스 카테고리 분류 데이터 - 11,228개의 뉴스 기사를 읽고 이 데이터가 어떤 의미를 지.. 공감수 0 댓글수 0 2023. 6. 5.
[모두의 딥러닝] 23. 텍스트 전처리 - 원-핫 인코딩(one-hot encoding), 단어 임베딩(word embedding), 긍정 부정 예측 원-핫 인코딩(one-hot encoding) - 단어 또는 문장을 이진 벡터로 변환하여 각 단어 또는 문장 요소의 존재 여부를 표현 - 각 단어를 모두 0으로 바꾸고 원하는 단어만 1로 바꾸어 주는 것 나는 = [ 0 1 0 0 0 0 0 0 ] 그대만큼 = [ 0 0 1 0 0 0 0 0 ] 사랑스러운 = [ 0 0 0 1 0 0 0 0 ] 사람을 = [ 0 0 0 0 1 0 0 0 ] 본 = [ 0 0 0 0 0 1 0 0 ] 적이 = [ 0 0 0 0 0 0 1 0 ] 없다 =[ 0 0 0 0 0 0 0 1 ] ※ 맨 첫 번째는 0 인덱스 자리 1. 토큰화 및 인덱스 값 출력 text = '나는 그대만큼 사랑스러운 사람을 본 적이 없다' token = Tokenizer() token.fit_on_.. 공감수 0 댓글수 0 2023. 6. 3.
[모두의 딥러닝] 22. 텍스트 전처리 - 토큰화(tokenization), 빈도 수 세기 자연어 처리(Natural Language Processing, NLP) - 인간의 언어를 컴퓨터가 이해하고 처리할 수 있는 형태로 변환하는 기술 - 딥러닝을 하기 전 텍스트를 정제하는 텍스트 전처리 과정 필요 텍스트 토큰화(tokenization) - 토큰(token) : 텍스트 데이터를 작은 단위로 분할하는 과정에서 생성된 단어, 음절, 형태소와 같은 개별적인 단위 - 토큰화(tokenization) : 입력된 텍스트를 잘게 나누는 과정 text_to_word_sequence : 텍스트를 단어 단위로 나눔 : keras에 존재 # 케라스의 텍스트 전처리와 관련한 함수중 text_to_word_sequence 함수를 불러옴 from tensorflow.keras.preprocessing.text imp.. 공감수 0 댓글수 0 2023. 6. 2.
[모두의 딥러닝] 21. 컨볼루션 신경망(CNN), 풀링(Pooling), 드롭아웃(drop out), 플래튼(flatten) - MNIST 데이터 컨볼루션 신경망(CNN) - 입력된 이미지에서 다시 한 번 특징을 추출하기 위해 커널(슬라이딩 윈도)을 도입하는 기법 - 원래 있던 값 x 가중치 값 = 새로 추출된 값 ex. (1x1)+(0x0)+(0x0)+(1x1) = 2 - 커널을 한 칸씩 옮겨 모든 칸에 적용 - 새롭게 만들어진 층을 컨볼루션(합성곱)층이라고 함 - 입력 데이터가 가진 특징을 대략적으로 추출해서 학습 진행 Con2D() : 컨볼루션(합성곱) 층을 추가하는 함수 : keras에 존재 - 첫 번째 인자 : 커널을 몇 개 적용할지 결정 - kernel_size : 커널의 크기를 (행, 열) 형식으로 결정 - input_shape : 맨 커음 층에 입력되는 값을 (행, 열, 색상 또는 흑백) 형식으로 결정 - activation : 활성.. 공감수 0 댓글수 0 2023. 6. 2.
[모두의 딥러닝] 20. 이미지 인식, 데이터 전처리 - MNIST 데이터 MNIST 데이터 - 미국 국립표준기술원(NIST)이 고등학생과 인구조사국 직원 등이 쓴 손글씨를 이용해 만든 데이터 - 7만 개의 글자 이미지에 각각 0부터 9까지 이름표를 붙인 데이터셋 - keras API를 이용해 불러올 수 있음 이미지 인식 1. 데이터 준비 - X : 불러온 이미지 데이터 / y : 이미지에 0~9를 붙인 이름표 - X_train, y_train : 학습셋 / X_test, y_test : 테스트셋 from tensorflow.keras.datasets import mnist # MNIST 데이터셋을 불러와 학습셋과 테스트셋으로 저장 (X_train, y_train), (X_test, y_test) = mnist.load_data() # 학습셋과 테스트셋이 각각 몇 개의 이미지로.. 공감수 0 댓글수 2 2023. 5. 29.
[모두의 딥러닝] 19. 결측치 처리, 속성별 관련도 추출 - 부동산 가격 예측 데이터 부동산 가격 예측 데이터 분석 - 아이오와주 에임스 지역에서 2006년부터 2010년까지 거래된 실제 부동산 판매 기록을 보고 집의 가격 예측 - 빠진 부분, 범위에서 너무 벗어난 부분, 가격과는 관계 없는 정보 포함 1. 환경 및 데이터 준비 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt import seaborn as.. 공감수 0 댓글수 0 2023. 5. 29.
[모두의 딥러닝] 18. 에포크(epochs), 과적합 그래프, 학습 자동 중단 - 와인 품질 예측 데이터 와인 품질 예측 데이터 - 레드 와인과 화이트 와인에 대한 화학적 특성과 품질 등급을 통해 와인의 종류 예측 1. 환경 및 데이터 준비 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from sklearn.model_selection import train_test_split import pandas as pd # 데이터 입력 df = pd.read_csv('./data/wine.csv', header=None) # 데이터를 미리 봄 df.head() # 와인의 속성을 X로 와인의 분류를 y로 저장 X = df.iloc[:,0:12] y = df.iloc[:,12] 2. 검증셋 포함하여 모델 .. 공감수 0 댓글수 0 2023. 5. 29.
[모두의 딥러닝] 17. k겹 교차 검증(k-fold cross validation) - 초음파 광물 예측 데이터 k겹 교차 검증(k-fold cross validation) - 데이터셋을 여러 개로 나누어 하나씩 테스트셋으로 사용하고 나머지를 모두 합해서 학습셋으로 사용 - 가지고 있는 데이터의 100%를 학습셋으로 사용할 수 있고, 동시에 테스트셋으로도 사용 가능 - 데이터셋을 k개로 나눈 후 그 중 k-1개를 학습셋으로, 1개를 테스트셋으로 만들어 k번의 학습을 순차적으로 실시 5겹 교차 검증 예제 - 초음파 광물 예측 데이터 - 초음파 광물 예측 데이터 분석은 https://codingmoding.tistory.com/93 여기서 확인! 1. 환경 및 데이터 준비 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import.. 공감수 0 댓글수 2 2023. 5. 26.
[모두의 딥러닝] 16. 과적합(overfitting), 테스트셋 구분, 모델 저장과 재사용 - 초음파 광물 예측 데이터 초음파 광물 예측 데이터 - 수중 음파 탐지기로 쏜 결과를 보고 광석인지 일반 암석인지 구분 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense import pandas as pd df = pd.read_csv('./data/sonar3.csv', header=None) # 음파 관련 속성을 X로, 광물의 종류를 y로 저장 X = df.iloc[:,0:60] y = df.iloc[:,60] # 모델 설정 model = Sequential() model.add(Dense(24, input_dim=60, activation='relu')) model.add(Dense(10, activation='rel.. 공감수 0 댓글수 0 2023. 5. 26.
[모두의 딥러닝] 15. 원 - 핫 인코딩, 소프트맥스(softmax) - 아이리스(iris) 품종 데이터(다중 분류) 아이리스(iris) 품종 데이터 - 아이리스 꽃잎의 모양과 길이에 따라 세 가지 품종으로 나눈 데이터 - 여러 개의 답 중 하나를 고르는 다중 분류 사용 1. 환경 및 데이터 준비 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense import pandas as pd import seaborn as sns import matplotlib.pyplot as plt # 아이리스 데이터를 불러옴 df = pd.read_csv('./data/iris3.csv') 2. 상관도 그래프 - 시본(seaborn) 라이브러리 활용 pairplot() : 데이터프레임에 있는 모든 수치형 변수들 간의 관계를 시각화 :.. 공감수 0 댓글수 0 2023. 5. 25.
[모두의 딥러닝] 14. 피마 인디언 당뇨병 예측 데이터 분석(pandas, seaborn 라이브러리 사용) 피마 인디언 당뇨병 예측 데이터 - 피마 인디언을 대상으로 당뇨병 발병 여부를 예측 1. 환경 및 데이터 준비 - pandas와 seaborn 라이브러리가 설치되어 있지 않다면 '!pip install 라이브러리'로 먼저 설치 # 필요한 라이브러리 호출 import pandas as pd import matplotlib.pyplot as plt import seaborn as sns read_csv() : csv 파일을 불러오는 함수 : pandas에 존재 # 피마 인디언 당뇨병 데이터셋을 불러옴 df = pd.read_csv('./data/pima-indians-diabetes3.csv') 2. 데이터 조사 - 판다스(pandas) 활용 판다스(pandas) : 넘파이의 기능을 포함하면서도 다양한 포맷.. 공감수 1 댓글수 0 2023. 5. 24.
[모두의 딥러닝] 13. 폐암 수술 환자의 생존율 예측 데이터 분석 1. 환경 및 데이터 준비 # 텐서플로 라이브러리 안에 있는 케라스 API에서 필요한 함수들 호출 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense # 데이터를 다루는 데 필요한 라이브러리 호출 import numpy as np # 준비된 수술 환자 데이터를 불러옴 Data_set = np.loadtxt("./data/ThoraricSurgery3.csv", delimiter=",") X = Data_set[:,0:16] # 환자의 진찰 기록을 X로 지정 y = Data_set[:,16] # 수술 1년 후 사망/생존 여부를 y로 지정 2. 구조 결정 - 딥러닝의 구조를 짜고 층 설정 model =.. 공감수 0 댓글수 0 2023. 5. 24.
[모두의 딥러닝] 12. 기울기 소실(vanishing gradient) 문제, 활성화 함수(ReLU, softplus 등), 고급 경사 하강법(SGD, Adam 등) 기울기 소실(vanishing gradient) 문제 - 문제 : 은닉층이 늘어나면서 출력층에서 시작된 가중치 업데이트가 처음 층까지 전달되지 않음 - 원인 : 활성화 함수로 사용된 시그모이드 함수 미분 값의 최대치가 0.25이므로 계속 곱하다보면 0에 가까워진다는 것 - 해결책 : 활성화 함수로 시그모이드가 아닌 다른 함수 탐색 활성화 함수 - 딥러닝에서는 activation이라는 객체에 이름을 넣어 사용 하이퍼볼릭 탄젠트(hyperbolic tangent) : 시그모이드 함수의 범위를 -1에서 1로 확장 : but, 1보다 작은 값 존재하므로 여전히 기울기 소실 문제 존재 렐루(ReLU) : x가 0보다 작을 때는 모든 값을 0으로 처리하고, 0보다 큰 값은 x를 그대로 사용 : x가 0보다 크기만 .. 공감수 0 댓글수 0 2023. 5. 22.
[모두의 딥러닝] 11. 오차 역전파(back propagation) 오차 역전파(back propagation) - 가중치와 바이어스를 조정하기 위해 사용하는 알고리즘 - 예측 출력과 실제 출력 사이의 오차를 계산한 다음, 이 오차를 계층별로 역방향으로 전파하여 가중치를 적절히 조정 ※ 경사 하강법은 단일 퍼셉트론에서만 가능 구동 방식 1. 임의의 초기 가중치를 준 뒤 결과 계산 2. 계산 결과와 우리가 원하는 값 사이의 오차 계산 3. 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트 4. 1~3 과정을 더이상 오차가 줄어들지 않을 때까지 반복 '모두의 딥러닝 개정 3판'의 내용과 https://github.com/taehojo/deeplearning의 코드 참고 공감수 0 댓글수 2 2023. 5. 22.
[모두의 딥러닝] 10. 다층 퍼셉트론(multilayer perceptron), XOR 문제 해결 다층 퍼셉트론(multilayer perceptron) - 입력층과 출력층 사이에 한 개 이상의 은닉층(hidden layer)을 포함한 신경망 구조 - 퍼셉트론 두 개를 각각 처리하는 은닉층을 만들어 두 개를 한 번에 계산하면 XOR 문제 해결 가능 설계 : 입력 값인 x1과 x2에 각각 가중치(w)를 곱하고 바이어스(b)를 더해 은닉층(node)으로 전송 : 은닉층에 모인 값들은 활성화 함수(ex. 시그모이드 함수)를 통해 최종 값으로 결과 보냄 : 각각의 가중치(w)와 바이어스(b) 값 결정 XOR 문제 해결 - 각각의 가중치와 바이어스 값 설정 - x1 값과 x2 값을 입력해 원하는 y 값이 나오는지 확인 XOR 문제 해결 - 파이썬 코드로 구현 1. 가중치와 바이어스 선언 import numpy.. 공감수 0 댓글수 0 2023. 5. 22.
[모두의 딥러닝] 9. 인공 신경망(artificial neural network, ANN), XOR 문제 인공 신경망(artificial neural network, ANN) - 뇌의 동작 원리를 모방한 컴퓨터 알고리즘으로, 여러 층의 퍼셉트론들이 데이터를 처리하고 학습하는 모델 - 역전파라고 불리는 과정을 통해 뉴런들 사이의 연결의 무게를 조정함으로써 학습하며, 패턴을 인식하고 예측 퍼셉트론(perceptron) : 신경망을 이루는 기본 단위 : 입력과 가중치를 곱한 값을 활성화 함수에 적용하여 출력을 결정 아달라인(Adaline) : 퍼셉트론에 경사 하강법을 도입해 최적의 경계선을 그릴 수 있게 함 XOR 문제 - 네 점 사이에 직선을 그을 때, 한 쪽에는 검은 점만 있고 다른 한 쪽에는 흰 점만 있게끔 그을 수 있을까? - XOR 문제는 선형 분리(퍼셉트론, 아달라인)가 불가능한 문제로, 하나의 단층 .. 공감수 0 댓글수 0 2023. 5. 22.
[모두의 딥러닝] 8. 로지스틱 회귀(logistic regression), 시그모이드 함수(sigmoid function), 교차 엔트로피 함수(cross entropy function) 로지스틱 회귀(logistic regression) - 입력 데이터를 기반으로 이진 분류를 수행하는 머신러닝 알고리즘 - 직선이 아닌 참(1)과 거짓(0) 사이를 구분하는 S자 형태의 선을 그어 주는 작업 로지스틱 회귀 예제 - 자격증 시험을 본 4명의 학생의 공부한 시간, 합격 여부 조사 - 독립 변수 : 공부한 시간 / 종속 변수 : 합격 여부 공부한 시간 2 4 6 8 10 12 14 합격 여부 불합격 불합격 불합격 합격 합격 합격 합격 # matplotlib 라이브러리 사용해서 그래프로 나타내기 import matplotlib.pyplot as plt x = [2, 4, 6, 8, 10, 12, 14] y = [0, 0, 0, 1, 1, 1, 1] plt.scatter(x, y) plt.xlabe.. 공감수 0 댓글수 0 2023. 5. 19.
[모두의 딥러닝] 7. 머신 러닝 용어, 텐서플로(tensorflow), 케라스(keras) API 머신 러닝 용어 가설 함수(hypothesis) - H(x) : 문제를 해결하기 위해 가정하는 식 (ex.y = ax + b) 가중치(weight) : y = ax + b에서 변수 x에 어느 정도의 가중치를 곱하는지 결정하는 기울기 a 편향(bias) : y = ax + b에서 데이터의 특성에 따라 따로 부여되는 값 b 머신 러닝에서 y = ax + b => H(x) = wx + b 가중합 : 입력 값과 가중치를 모두 곱한 후 바이어스(bias)를 더한 값 활성화 함수(activation function) : 입력된 값을 다음 층으로 넘길 때 각 값을 어떻게 처리할지를 결정하는 함수 : 가중합의 결과를 0 또는 1로 판단하는 함수 손실 함수(loss function) : 실제 값과 예측 값 사이의 오차에.. 공감수 1 댓글수 0 2023. 5. 18.
[모두의 딥러닝] 6. 다중 선형 회귀(multiple linear regression) 다중 선형 회귀(Multiple linear regression) - 2개 이상의 독립 변수로부터 종속 변수 예측 - 단순 선형 회귀보다 더 정확한 예측 가능 다중 선형 회귀 예제 - 파이썬 코드로 구현 - 중간고사를 본 4명의 학생의 공부한 시간, 과외 수업 횟수와 성적 조사 - 독립 변수 : 공부한 시간, 과외 수업 횟수 / 종속 변수 : 성적 공부한 시간 2 4 6 8 과외 수업 횟수 0 4 2 3 성적 71 93 91 97 1. 환경 및 데이터 준비 - 독립 변수 x1(공부 시간), x2(과외 시간)로 종속 변수 y(성적)를 만들 경우, 식은 y = a1x1 + a2x2 + b import numpy as np import matplotlib.pyplot as plt # 공부 시간 x1과 과외 시.. 공감수 0 댓글수 0 2023. 5. 18.
[모두의 딥러닝] 5. 경사 하강법(gradient decent) 기울기와 오차의 관계 - y = ax + b에서 기울기 a와 오차는 이차 함수 관계 - 기울기를 너무 크게 잡거나 너무 작게 잡으면 오차 커짐 - 적절한 기울기(m)를 찾았을 때 오차 최소화 경사 하강법(gradient decent) - 오차의 변화에 따라 이차 함수 그래프를 만들고 적절한 학습률을 설정해 미분 값이 0인 지점을 구하는 것 계산법 1. 어느 한 점(a1)에서 미분을 구한다 2. 구한 기울기의 반대 방향(기울기가 +면 음의 방향, -면 양의 방향)으로 얼마간 이동시킨 점(a2)에서 미분을 구한다 3. 앞에서 구한 미분 값이 0이 아니면 1, 2번 반복 학습률(learning rate) : 매회 얼마의 강도로 업데이트 되어야 하는지 제어하는 척도 : 기울기를 바꿔 이동할 때 적절한 학습률을 .. 공감수 0 댓글수 0 2023. 5. 16.
[모두의 딥러닝] 4. 평균 제곱 오차(Mean Square Error, MSE) 평균 제곱 오차(Mean Square Error, MSE) - 실제 데이터와 예측 데이터 차이(=오차)의 제곱에 대해 평균을 취한 것 - 입력 값이 여러 개인 경우, 가설을 세우고 값이 조건에 충족하는지 판단해서 조금씩 수정해 나가면서 오차가 최소가 될 때까지 반복하는 방법 사용 - 값을 조금씩 수정해 나가는 과정에서 오차를 평가하는 방법이 평균 제곱 오차 - 평균 제곱 오차에서 구한 값을 바탕으로 오차 최소화되는 값 구해야 함 계산법 1. 각 데이터에서 오차를 구한다 2. 각 오차 값을 제곱한 후, 모두 더한다(부호가 있으면 정확한 오차 구하기 힘드므로 제곱 사용) 3. 오차의 제곱 합을 원소의 총 개수로 나눈다 예제에 적용 1. y = 3x + 76이라는 직선의 방정식을 가설로 세웠을 때, 오차는 공.. 공감수 0 댓글수 0 2023. 5. 16.
[모두의 딥러닝] 3. 선형 회귀(linear regression), 최소 제곱법(method of least squares) 선형 회귀(linear regression) 정의 - 독립 변수 x를 사용해 종속 변수 y의 움직임을 예측하고 설명 - 하나의 x값으로 y값을 설명할 수 있다면 단순 선형 회귀, x값이 여러 개 필요하면 다중 선형 회귀 독립 변수 : 'x값이 변함에 따라 y값이 변한다' 에서 독립적으로 변할 수 있는 x값 종속 변수 : 'x값이 변함에 따라 y값이 변한다' 에서 독립 변수에 따라 종속적으로 변하는 y값 단순 선형 회귀 예제 - 중간고사를 본 4명의 학생의 공부한 시간과 성적 조사 - 독립 변수 : 공부한 시간 / 종속 변수 : 성적 공부한 시간 2 4 6 8 성적 81 93 91 97 # maplotlib 라이브러리 사용해서 그래프로 나타내기 import matplotlib.pyplot as plt x .. 공감수 0 댓글수 0 2023. 5. 15.
[모두의 딥러닝] 2. 딥러닝을 위한 기초 수학 일차 함수 함수 : y = f(x) : 변수 x와 y가 있을 때, x가 변하면 이에 따라 y는 어떤 규칙으로 변하는지 나타냄 일차 함수 : y = ax + b (a ≠ 0) : y가 x에 관한 일차식으로 표현되는 함수(x가 일차로 남으려면 a는 0이 아니어야 함) 기울기 : y = ax + b : x 값이 증가할 때 y 값이 어느 정도 증가하는지에 따라 그래프가 기울어진 정도 y 절편 : y = ax + b : 그래프가 y축과 만나는 지점 이차 함수 이차 함수 : y = ax^2 (a ≠ 0) : y가 x에 관한 이차식으로 표현되는 함수 최솟값 : y = a(x-p)^2 + q에서 (p, q) : 포물선의 맨 아래에 위치한 지점 : 최소 제곱법 공식으로 쉽게 알아낼 수 있음 미분 순간 변화율(미분 계수).. 공감수 0 댓글수 0 2023. 5. 13.
[모두의 딥러닝] 1. 폐암 수술 환자의 생존율 예측 코드 맛보기 1. 환경 준비 - 딥러닝을 구동하거나 데이터를 다루는 데 필요한 라이브러리 호출 import : 라이브러리 호출하는 명령어 from (라이브러리명) import (함수명) : 라이브러리에 있는 모듈 중 일부만 호출하고 싶을 때 사용 import (라이브러리명) as (별명) : 불러온 라이브러리의 이름을 변경 from tensorflow.keras.models import Sequential # 텐서플로의 케라스 API에서 필요한 함수 호출 from tensorflow.keras.layers import Dense # 데이터를 다루는데 필요한 라이브러리 호출 import numpy as np 2. 데이터 준비 - 데이터를 불러와 사용할 수 있도록 준비 loadtxt() : csv 파일 불러옴 : 넘파이.. 공감수 0 댓글수 0 2023. 5. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.