Attention for CNN&RNN 1. Seq2seq Sentence를 Input으로 받아서 sentence를 output으로 가지는 model이다. Encoder RNN + Decoder RNN Encoder RNN의 마지막 hidden state를 Decoder의 Input hidden state로 사용한다. Decoder RNN: Loss function: \( J = {1 \over k} \sum J_{k} \) Backpropagation operated end-to-end 여기서 볼 수 있듯이, Encoder RNN은 sentence에 대한 정보를 하나의 hidden state에 녹여서 Decoder로 보내게 된다. Long sentence에서 불리하며, Information bottle..

기말고사를 대비하기 위한 글이다. ML overview 1. Types of learning Supervised Unsupervised (self-supervised) Discrete Classification Clustering Continuous Regression Dimensionality Reduction 2. Classification 대표적인 모델은 K-NN, Logistic regression, SVM이 있다. K-NN f(x) = laber of the nearest training data Logistic regression 모델 결과값에 따라 분류한다. SVM 2개 class 분류를 잘하는 hyper-plane을 찾는 모델이다. * hyper-plane : \( w^{T}x+b \) *..

딥러닝(DL)을 잘하고 싶다면, 기계학습(Machine Learning, ML)에 대한 이해가 깊으면 도움이 된다. 기본적으로는 ML의 네트워크에서 layer를 3개 이상 쌓은 것들을 DL이라고 하기 때문이다. 구체적으로는 ML에서 사람이 feature extraction을 손수 진행했던 반면, DL에서는 feature도 학습 과정에서 알아서 찾길 원한다는 차이점이 존재한다. DL이 가장 많이 쓰이는 분야는 이미지 인식과 언어 인식이다. 이미지 인식(Image Recognition)은 이미지에서 객체를 식별하는 것이 주된 목표이고 언어 인식(National Language Processing, NLP)은 문장에서의 단어들을 가지고 해석하는 것이 주된 목표이다. DL에서 무엇을 하는지 알기 위해, 이미지 ..