흰고래의꿈

1. 개요 Tensorflow도 그렇고 Keras도 그렇고 공식적인 예제를 보면 모두 내장된 0~9까지의 숫자 사진에 대해 학습을 진행합니다. 글 작성에 앞서 CNN에 대해 어떤 구조를 가지고 있는지 공부하고 싶으시다면 김태영님의 블로그를 추천드립니다. 2. 이미지 파일 학습(입력) 데이터로 변경 이미지 파일들을 학습하기 위해서는 해당 이미지 파일들을 숫자 배열로 저장해야합니다. 당연히 여기서 숫자 배열을 픽셀을 의미합니다. 저 같은 경우 카테고리 별로 cnn_sample 폴더 내에 카테고리별로 폴더를 생성하고 각각 이미지들을 정리하였습니다. 소스 코드 내 categories 변수는 카테고리 명뿐만 아니라 폴더를 찾는 용도로 사용하기 때문에 해당 class의 이미지들이 들어가 있는 폴더명을 넣어주시면 됩..

1. DataSet(1) - 폐암 수술 환자의 생존률 데이터 폐암 수술 환자의 생존률 데이터()입니다. 17개의 속성과 1개의 결과가 있고 결과는 0 또는 1입니다. 책 모두의 딥러닝(저자-조태호)에서 가져온 셈플 데이터입니다. 2. Source Code of DataSet(1) 히든 레이어가 하나이며 결과가 0 또는 1, 즉 2개의 그룹중 하나가 선택되기 때문에 결과 레이어에 sigmoid 사용하였습니다. # Import necessary libraries from keras.models import Sequential from keras.layers import Dense import numpy import tensorflow as tf # Read Input Data Data_set = numpy...

1. 개요 가중치를 조절하는 방법으로 다들 경사 하강법을 알고 계실 것이라 생각합니다. 경사 하강법은 정확하게 가중치를 찾아가지만 가중치를 변경할때마다 전체 데이터에 대해 미분해야 하므로 계산량이 매우 많습니다. 즉 많은 계산량때문에 속도가 느리고, 추가적으로 최적해를 찾기 전 학습을 멈출 수도 있습니다. 이러한 점을 보안한 다양한 경사 하강법이 등장하였고 몇 가지를 소개하려고 합니다. 2. SGD(확률적 경사 하강법) 확률적 경사 하강법(Stochastic Gradient Descent)는 경사 하강법과 다르게 한번 학습할 때 모든 데이터에 대해 가중치를 조절하는 것이 아니라, 램덤하게 추출한 일부 데이터에 대해 가중치를 조절합니다. 결과적으로 속도는 개선되었지만 최적 해의 정확도는 낮습니다. 수식은 ..

1. Tensorflow 싸이트의 Decaying the learning rate 글을 작성하기전 Tensorflow에서 제공하고 있는 5개의 decay함수에 대한 정의가 들어있는 싸이트이다. ▪ tf.train.exponential_decay ▪ tf.train.inverse_time_decay ▪ tf.train.natural_exp_decay ▪ tf.train.piecewise_constant ▪ tf.train.polynomial_decay 2. tf.train.exponential_decay 사용법 사용법 설명은 맨 첫번재 decay 함수인 tf.train.exponential_decay를 설명할 것이다. 홈페이지에 명시되어 있는 파라메터는 다음과 같다. ▪ learning_rate: A sc..

1. 참고 싸이트 글을 작성하기 전 참고 했던 소스코드다. ▪ 서울대학교 최성준님 ▪ Aymeric Damien ▪ Nathan Lintz 2. Multilayer Perceptron MLP를 공부하기 전 다들 단일 Perceptron을 공부하였을 것이라 생각한다. 코드를 한번 보면 쉽게 알 수 있듯이 하나의 결과를 얻기 위해 Perceptron을 중복으로 수행한것이다. 즉 Input이 x이고 output을 y일때 단일 Perceptron은 f(x) = y, Multilater Perceptron은 f(g(x)) = y라고 표현할 수 있다. 다만 g(x)의 결과값이 활성함수로 인해 f(x)의 계산에 사용될지 사용되지 않을 지 정해진다. 그리고 Hidden Layer가 증가할수록 f(g(h(k(x)))=y..

1. Logistic Regression 이번 글 역시 이전 글과 똑같이 김성훈 교수님의 유튜브 강의를 기반으로 하여 작성하였다. 아래 사진을 클릭하면 동영상 싸이트로 갈 수 있다. 1. Logistic Regression(Classification) Logistic Regression의 결과는 yes/no, 1/0과 같이 2개 결과를 가진다. 예로 들어 하나의 변수 x가 있을 때 x의 값 50을 기준으로 작으면 0, 크면 1이라고 한다. 이러한 관계 때문에 데이터의 분포가 Linear Regression과 달라 지고 결과적으로 Linear Regression에서 사용한 Hypothesis(H(x) = Wx+b)를 사용할 수 없다. 강의에서는 수식을 사용할 수 없는 이유는 2가지를 제시하였다. 첫번째 이..

1. 개요 학습 모델을 선정하기에 앞서 학습할 데이터의 분포의 특징에 따라 어떠한 회귀법을 사용할지 선택해야한다. 회귀법을 선택할때 고려할 요소는 독립 변수이 수, 종속 변수의 유형 그리고 회귀선의 형태가 있다. 해당 글은 analyticsvidhya의 글을 번역한 것이라고 보면 된다. 2. Regression 종류 1. Linear Regression 가장 널리 알려진 모델링 기술 중 하나이며 종속 변수(Y)는 연속적이며 독립 변수(X)는 연속적이거나 이산적일 수 있으며 회귀선은 선형을 가진다. 방정식 Y = a + b*X로 표시되며, 여기서 a는 절편이고, b는 선의 기울기, e는 오차 항을 나타낸다. 단순 선형 회귀과 다중 선형 회귀의 차이점은 독립 변수(X)의 수에 따라 결정된다. 학습한 선에 대..

1. 개요 페이스북의 글을 읽던 중 Google Cloud Platform Korea User Group의 조대협님께서 작성하신 글을 보고 흥미가 있어 따라하게 되었고, 거기에 대한 과정을 작성한 내용입니다. 최종 목표는 CNN(Convolutional Neural Network)와 뎉서 플로우를 이용한 얼굴인식 서비스 구현까지입니다. 이번 글은 기나긴 여정의 첫번째이며, 원본 글의 첫번째 내용인 학습할 이미지 데이터를 받아오는 부분입니다. 원본 글을 조대협님의 Blog(http://bcho.tistory.com/1166)에 가시면 확인하실 수 있습니다. 2. 공개 데이터 다운 머신러닝을 하기위해서는 일정량 이상의 데이터가 필요한데 특정 인물의 사진을 적정량을 일일이 수집하기엔 많은 시간이 들어갑니다. ..

1. 개요 1982년 물리학자 존 홉필드가 제안한 신경망의 물리적 모델로써 최적화, 연상기억 등에 사용된다. 2. 용어 정의 - 연상기억(associative memory) : 입력된 일부분의 정보를 이용하여 완전한 정보나 연관된 정보를 추론하는 방법 - 양극화(bipolarization) : 0과 1로 표현된 데이터를 -1과 1로 변경하는 것 3. 알고리즘 구조 자기조직화맵(SOM)이나 인공신경망에서 가장 많이 사용되는 퍼셉트론(perceptron) 등은 연산이나 학습 과정에서 지속적으로 가중치(weight)가 변경되는 알고리즘이다. 다른 알고리즘과 다르게 홉필드 네트워크(Hopfield network)는 고정된 가중치를 이용하여 완전한 정보를 연상하는 차이점이 있다. 홉필드 네트워크는 학습 패턴에 대..

1. 개요 대뇌피질의 시각피질의 학습 과정을 모델화한 인공신경망으로써 자율 학습에 의한 클러스터링을 수행하는 알고리즘이다. 2. 용어 정의 - 클러스터링(clustering) : 데이터의 유사성에 기초하여 데이터를 몇몇의 그룹으로 분류하는 기법 - 입력층(input layer) : 입력벡터를 입력받는 층 - 경쟁층(competitive layer) : 입력 벡터의 특성에 따라 입력 벡터가 한 점으로 클러스터링 되는 층 - 가중치(weight) : 인공신경망에서 가중치는 각 입력 값에 대한 입력 값의 중요도를 값을 말함 - 노드(node) : 경쟁층에서 입력 벡터들이 서로의 유사성에 의해 모이는 하나의 영역 3. 알고리즘 구조 자기조직화지도 인공신경망 기법에서 가장 단순한 알고리즘 중 하나이다. 알고리즘에..