2월 9일

Deep Learning. 

강의  :  lec 4 - Transformers

https://fullstackdeeplearning.com/spring2021/lecture-4/

Full Stack Deep Learning

이미 만들어있는거 가져와서 사용하는 방식.

 

 

https://hnsuk.tistory.com/31

[CNN] ResNet18

 

ResNet18

 

Skip-connection , Residual Learning -> Gradient vanishing (GV) 문제 해결

최소 기울기 1을 갖기 위해 미분값 1을 갖는 x 를 더해서 Gv 를 해결한다

error : 오차              모집단의 식,   실측 - 관측

residual : 잔차            표본집단의 식 , 실측 - 관측

 

 

 

1. NLp 는 단어이다.  딥러닝 할려면  vector.  : onehot encoding

단어가 많아 ? -> 백터가 커짐    -> densevector!

 

embedding 값을 찾는법 ?

 

1. tourch.nn embedding

2. learn a language model  : train   -> N gram ???

vector 계산을 이해한 비슷한 결과를 연결 짓는 방식 

 

 

NLP's ImageNetMoment

 

-ELMO

 

analyticsvidhya.com/blog/2019/03/learn-to-use-elmo-to-extract-features-from-text/

Embeddings from Language Models

 

data set :

SQuAD : 문장 속에 답이 있는 데이터 집단 

SNLI  :  문장과 가정 사이의 관계가 명시된 데이터 집단

GlUE : 9개의 분류 작업, 모델점수는 전체의 평균

 

-ULMFit