Overfitting Training data의 feature에 과하게 특화되어 model이 전혀 다른 input에 올바르게 동작하지 못하는 상태를 말한다. 반대되는 개념으로 underfitting이 있다. Overfitting을 피하는 방법은 다음과 같다. (일반적으로 underfitting은 잘 일어나지 않는다. Underfitting이 발생하였다면, feature 수를 늘려주면 된다.) Training data 늘리기 Feature 수 줄이기 Regularization 적절한 Model 선택하기 Cross Validation Feature Selection/Extraction Feature 중 구분에 도움이 되는 feature를 선택하거나, 여러 feature의 조합으로 새로운 feature 하나를..

(light mode로 보는 것을 추천합니다) Classification Sample에 대해 class를 구분하는 과정이다. Logistic Regression Sigmoid function을 이용해 나타낼 수 있다. Decision Boundary Sample을 구분할 수 있게 해주는 경계면이다. Linear와 non-linear boundary가 존재한다. Cost function Linear regression에서는 cost function이 convex임을 가정하여 Gradient Descent 방식을 사용해 parameter $\theta$값을 찾았다. 하지만 classification에서 사용하는 함수는 non-convex한 것이 일반적이다. 대안으로서 사용하는 것이 다음의 logistic r..

1. Model representation Regression의 목표는 주어진 data(파란색)를 분석해서 새로운 Input에 대해 알맞은 결과를 예측하는 것이다. 그중 Linear regression은 결과를 연속적으로 예측할 수 있도록 빨간 선과 같은 알맞은 함수 모델을 찾는 것이 목표이다. 모델을 찾는 과정은 다음과 같다. 1. Function Hypothesis : \(h_{\theta}(x) = \theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + \cdots\) 2. Cost Function : \(J(\theta_{0},\theta_{1}) = {1 \over 2m} \sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}\) 3..

1. 개요 Supervised Learning - Linear regression - Logistic regression - Neural Network - Support vector machine - Ensemble learning, Adaboost - Decision Tree, Random Forest Unsupervised Learning - Clustering - EM algorithm - Auto-encoder - Principal component analysis - Collaborate filltering - Semi-supervised learning Sequential Learning - Hidden Markov Model Reinforcement Learning - 2. Supervise..