Multilayer Perceptron(MLP) Tutorial

1. 참고 싸이트

 글을 작성하기 전 참고 했던 소스코드다.

▪ 서울대학교 최성준님

▪ Aymeric Damien

▪ Nathan Lintz

 

 

2. Multilayer Perceptron

 MLP를 공부하기 전 다들 단일 Perceptron을 공부하였을 것이라 생각한다.  코드를 한번 보면 쉽게 알 수 있듯이 하나의 결과를 얻기 위해 Perceptron을 중복으로 수행한것이다. 즉 Input이 x이고 output을 y일때 단일 Perceptron은 f(x) = y, Multilater Perceptron은 f(g(x)) = y라고 표현할 수 있다. 다만 g(x)의 결과값이 활성함수로 인해 f(x)의 계산에 사용될지 사용되지 않을 지 정해진다. 그리고 Hidden Layer가 증가할수록 f(g(h(k(x)))=y와 같이 적용되는 함수가 늘어난다고 생각하면 된다.

 

 

위 그림은 Hidden Layer가 1개인 MLP라고 볼 수 있다. Y를 구하기 위한 수식이 단순 Matrix 계산일 때 Hidden Layer의 Node인 Y1([1:3])은 X([1:5])와 W1([5:3])의 계산([1:5] * [5:3] = [1:3])으로 구해진다. 이후 Y1의 값들은 활성함수를 통해 1 또는 0으로 변경되는데 W2값과 계산([1:3] * [3:1] = [1]) 시 0인 Node들은 계산에 적용되지 않는다.

 

 

3. Source Code(1-Hidden Layer)

 아래 소스 코드는 Tensorflow 기초프로그래밍(청구문화사)의 예제이다.

1. x_square.txt

 

2. mlp.py

import numpy as np import tensorflow as tf import matplotlib.pyplot as plt # load data data_file_name = 'x_square.txt' xy = np.genfromtxt(data_file_name, dtype='float32') temp_x = xy[:, 0] temp_y = xy[:, 1] # reshape data x_data = np.reshape(temp_x, [1,-1]) y_data = np.reshape(temp_y, [1,-1]) # setup input layer x = tf.placeholder(dtype=tf.float32, shape=[1,None]) y = tf.placeholder(dtype=tf.float32, shape=[1,None]) number_of_hidden = 10 # setup hidden layer w1 = tf.Variable(tf.random_normal([number_of_hidden, 1])) b1 = tf.Variable(tf.random_normal([number_of_hidden, 1])) layer1_out = tf.nn.sigmoid(tf.matmul(w1, x ) + b1) # setup output layer w2 = tf.Variable(tf.random_normal([1,number_of_hidden])) b2 = tf.Variable(tf.random_normal([1,1])) y_out = tf.matmul(w2,layer1_out) + b2 # setup cost cost = tf.nn.l2_loss(y_out-y) # setup optimizer optimizer= tf.train.AdamOptimizer(0.01) do_train = optimizer.minimize(cost) # training model init = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init) for i in range(5000): sess.run(do_train,feed_dict={x: x_data, y: y_data}) # generate test data x_temp = np.linspace(0, 20, 50) x_test = [x_temp] y_test = sess.run(y_out,feed_dict={x: x_test}) # design graph plt.plot(x_data,y_data,'ro',alpha=0.05) plt.plot(x_test,y_test,'b^',alpha=1) plt.show()

 

 

4. Source Code(Multi-Hidden Layer)

 아래 코드는 Layer의 개수를 동적으로 설정할 수 있도록 변형한 소스코드이다. 아래 코드를 여러 data에 적용해본 결과 Layer만 늘어난다고 성능이 좋아지지 않는 것을 알 수 있었다. 문제는 Cost에 따른 Weight 수정에 있다고 갱각하며 해결책으로는 역전파 알고리즘을 생각하고 있다.

 

1. mlp_multi.py

import numpy as np import tensorflow as tf import matplotlib.pyplot as plt hidden_node_num = [10, 9, 8] hidden_layer_num = len(hidden_node_num) # load data data_file_name = 'x_square.txt' xy = np.genfromtxt(data_file_name, dtype='float32') temp_x = xy[:, 0] temp_y = xy[:, 1] x_data = [temp_x ] y_data = [temp_y ] x = tf.placeholder(dtype=tf.float32) y = tf.placeholder(dtype=tf.float32) w = [] b = [] layer = [] x_data_len = len(x_data) # first layer w.append(tf.Variable(tf.random_normal([hidden_node_num[0], x_data_len]), name="w0")) b.append(tf.Variable(tf.random_normal([hidden_node_num[0],1]), name="b0")) # add hidden layers (variable number) for i in range(1,hidden_layer_num): wName = "w" + str(i) bName = "b" + str(i) w.append(tf.Variable(tf.random_normal([hidden_node_num[i], hidden_node_num[i-1]]), name=wName)) b.append(tf.Variable(tf.random_normal([hidden_node_num[i],1]), name=bName)) # add final layer wName = "w" + str(hidden_layer_num) bName = "b" + str(hidden_layer_num) w.append(tf.Variable(tf.random_normal([1, hidden_node_num[-1]]), name=wName)) b.append(tf.Variable(tf.random_normal([1],1), name=bName)) # define model layer.append(tf.nn.sigmoid(tf.matmul( w[0],x) + b[0])) for i in range(1,hidden_layer_num): layer.append(tf.nn.sigmoid(tf.matmul( w[i],layer[i-1]) + b[i])) y_out = tf.matmul(w[-1],layer[-1]) + b[-1] # setup cost function and optimizer # cost = tf.reduce_mean(tf.square(y_out- y)) # opt = tf.train.GradientDescentOptimizer(learning_rate=0.01) cost = tf.nn.l2_loss(y_out-y) opt= tf.train.AdamOptimizer(0.1) train = opt.minimize(cost) # training model init = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init) for i in range(5000): sess.run(train,feed_dict={x: x_data, y: y_data}) # generate test data x_temp = np.linspace(0, 20, 50) x_test = [x_temp] y_test = sess.run(y_out,feed_dict={x: x_test}) # design graph plt.plot(x_data,y_data,'ro',alpha=0.05) plt.plot(x_test,y_test,'b^',alpha=1) plt.show()