기록은 기억을 지배한다

#Neural Network기본적으로 위 그림처럼 Neural Network를 구성할 수 있다. 가장 첫 레이어는 Input Layer로 입력값을 넣는다.마지막 레이어는 Output Layer로 출력값을 반환한다.Input과 Output사이에 있는 모든 Layer는 보이지 않는다 하여 Hidden Layer로 불리운다. # 기본연산 컴퓨터의 기본 연산인 AND, OR, XOR을 Neural Network로 어떻게 구현할 수 있을까?그 중 XOR문제는 Linear하지 않기 때문에 쉽지 않아 보인다.XOR를 해결하기 전에 AND와 OR먼저 살펴보자. AND연산은 위와 같이 파라미터를 설정하면 한 Layer로 쉽게 구현이 가능하다.-30, +20, +20으로 00 01 10 11 조합을 모두 계산하고 Sigm..

#Classification위의 예제와 같이 Email에서의 Spam유무 확인, 악성종양의 유무 등 분류에 사용하는 방법이 Classification이다.이진 분류의 경우 Label Y는 0 또는 1의 값밖에 없으며 0은 negative, 1은 positive를 의미한다. 이진 분류 이외에 클래스가 여러개라면 y의 레이블 또한 추가할 수 있다. 기존 Linear Regression과 같은 방법으로 구분하면 어떻게 될까?위 그림에서 볼 수 있듯이 종양의 사이즈가 어느정도 이상 큰 경우 positive값을 가질 때에는임계값을 정하여 Linear한 1차 직선으로 구분하는 것이 가능하지만기존사이즈와 달리 매우 큰 종양이 하나라도 있으면 임계값이 바뀌어 Linear하게 구분하는 것이 어려워진다. 이를 방지하기 위..

#Multiple features 실제 딥러닝에서는 위와 같이 입력값의 feature가 여러개인 경우를 고려해야 한다. 예측 함수인 Hypothesis함수도 각각의 feature의 개수에 맞춰 세타n까지 있어야 한다. feature가 여러개인 경우 Gradient Descent를 하기 위해선 각각의 세타를 편미분하여 학습률을 곱하여 빼주면 된다.이 때 편미분하여 유도되는 식은 feature가 하나였을 때와 같다. (단 x0=1로 간주한다.) #Feature Scaling Feature Scaling은 매우 중요하다. 각각의 feature값의 범위가 매우 다를 경우 왼쪽 그림처럼 GD의 학습속도가 매우매우 느려질 수 있다.이를 방지하기 위해 각 feature의 max값으로 나눠주어 대략 범위가 0