LSTM(Long Short-Term Memory)

LSTM(Long Short-Term Memory)

https://youtu.be/YCzL96nL7j0 LSTM(Long Short-Term Memory) - RNN의 기울기 폭등/소실 문제 해결하기 위해 만들어짐 - Long-Term Memory와 Short-Term Memory를 둘 다 사용하여 결과값 도출 - 시그모이드(Sigmoid) 함수와 하이퍼볼릭탄젠트(tanh) 함수 사용 시그모이드 함수 : x 값에 따라 y 값이 0과 1 사이로 나타남 : 어떤 입력값이 들어와도 0과 1 사이로 반환 하이퍼볼릭탄젠트 함수 : x 값에 따라 y 값이 -1과 1 사이로 나타남 : 어떤 입력값이 들어와도 -1과 1 사이로 반환 LSTM의 진행 과정 Long-Term Memory : 가중치와 편향 없음 => 기울기 폭등/소실 문제 해결 Short-Term Memor..

  • format_list_bulleted AI/NLP
  • · 2023. 7. 3.
  • textsms
RNN(Recurrent Neural Network)

RNN(Recurrent Neural Network)

https://www.youtube.com/watch?v=AsNTP8Kwu80 가상의 주식시장 설정 - 신경망은 우리가 예측에 사용하는 순차 데이터가 얼마나 많은지에 유연해야 함 - RNN은 다른 양을 가진 입력값을 처리할 수 있다 RNN - weight, biases, layers, activation functions, and feedback loops 가지고 있음 - feedback loop는 순차적인 입력값 사용 가능 주식 가격 예측 어제 가격 : 0 / 오늘 가격 : 0 일 때, 내일의 가격 예측 ① 어제의 값과 오늘의 값을 순차적으로 입력값에 대입 ② 어제의 값을 입력값에 넣고 w1, b1 activation function으로 중간값 y1 구함 = yesterday input * w1 + b..

  • format_list_bulleted AI/NLP
  • · 2023. 6. 29.
  • textsms
[모두의 딥러닝] 24. 순환 신경망(RNN), LSTM(Long Short Term Memory) - 로이터 뉴스 카테고리 분류 데이터

[모두의 딥러닝] 24. 순환 신경망(RNN), LSTM(Long Short Term Memory) - 로이터 뉴스 카테고리 분류 데이터

순환 신경망(Recurrent Neural Network, RNN) - 여러 개의 데이터가 순서대로 입력되었을 때 앞서 입력받은 데이터를 잠시 기억해 놓는 방법 - 기억된 데이터가 얼마나 중요한지 판단하고 별도의 가중치를 주어 다음 데이터로 넘김 1. 다수 입력 단일 출력 ex) 문장을 읽고 뜻을 파악할 때 2. 단일 입력 다수 출력 ex) 사진의 캡션을 만들 때 3. 다수 입력 다수 출력 ex) 문장을 번역할 때 LSTM(Long Short Term Memory) - 반복되기 전에 다음 층으로 기억된 값을 넘길지 여부를 관리하는 단계를 하나 더 추가 - RNN의 기울기 소실 문제를 보완 LSTM 예제 - 로이터 뉴스 카테고리 분류 데이터 - 11,228개의 뉴스 기사를 읽고 이 데이터가 어떤 의미를 지..

  • format_list_bulleted AI/모두의 딥러닝
  • · 2023. 6. 5.
  • textsms