https://youtu.be/viZrOnJclY0 Word Embedding - 단어를 인공 신경망 혹은 다른 머신러닝 알고리즘에 넣기 위해서는 단어를 숫자로 변환해야 함 - 비슷한 문맥에서 사용된 단어는 비슷한 숫자가 되도록 해야 함 - 같은 단어라도 다른 문맥에서 사용되면 먼 숫자가 되도록 해야 함 - Backpropagation을 이용하여 가중치 값 조정 Word2Vec - 더 많은 문맥을 포함하도록 하는 Word Embedding 방법 중 하나 ① Continuous Bag of Words : 주변 단어를 사용해서 중간 단어 예측 ② Skip Gram : 중간 단어를 사용해서 주변 단어 예측
https://www.youtube.com/watch?v=AsNTP8Kwu80 가상의 주식시장 설정 - 신경망은 우리가 예측에 사용하는 순차 데이터가 얼마나 많은지에 유연해야 함 - RNN은 다른 양을 가진 입력값을 처리할 수 있다 RNN - weight, biases, layers, activation functions, and feedback loops 가지고 있음 - feedback loop는 순차적인 입력값 사용 가능 주식 가격 예측 어제 가격 : 0 / 오늘 가격 : 0 일 때, 내일의 가격 예측 ① 어제의 값과 오늘의 값을 순차적으로 입력값에 대입 ② 어제의 값을 입력값에 넣고 w1, b1 activation function으로 중간값 y1 구함 = yesterday input * w1 + b..
오차 역전파(back propagation) - 가중치와 바이어스를 조정하기 위해 사용하는 알고리즘 - 예측 출력과 실제 출력 사이의 오차를 계산한 다음, 이 오차를 계층별로 역방향으로 전파하여 가중치를 적절히 조정 ※ 경사 하강법은 단일 퍼셉트론에서만 가능 구동 방식 1. 임의의 초기 가중치를 준 뒤 결과 계산 2. 계산 결과와 우리가 원하는 값 사이의 오차 계산 3. 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트 4. 1~3 과정을 더이상 오차가 줄어들지 않을 때까지 반복 '모두의 딥러닝 개정 3판'의 내용과 https://github.com/taehojo/deeplearning의 코드 참고
내 블로그 - 관리자 홈 전환 |
Q
Q
|
---|---|
새 글 쓰기 |
W
W
|
글 수정 (권한 있는 경우) |
E
E
|
---|---|
댓글 영역으로 이동 |
C
C
|
이 페이지의 URL 복사 |
S
S
|
---|---|
맨 위로 이동 |
T
T
|
티스토리 홈 이동 |
H
H
|
단축키 안내 |
Shift + /
⇧ + /
|
* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.