[ML] Perceptron과 Multi-Layer Perceptron(MLP)

 

우리 뇌의 신경계를 구성하는 뉴런은 외부에서 전달된 물질을 저장하다가 특정 용량이 넘으면 외부에 전달을 하는 구조로 이루어져있다. 즉, 역치값을 넘을 때만 신호로 보낸다.

뉴런의 구조

 

Perceptron (= Single-Layer Neural Network)

이런 뉴런의 구조를 따와서, 

가장 기본적인 신경망 구조인 Perceptron도 입력과 가중치를 곱한 것의 합이 역치(임계치)를 넘으면 1, 아니면 0을 출력하는 이진 분류기의 역할을 한다.

여기서 x부분이 입력층, y부분이 출력층

 

입력 벡터 x에 대해서 Wx + b의 형태를 가지며, 여기서 W는 입력에 곱해지는 가중치 파라미터 행렬, b는 역치를 조정하는 오프셋 파라미터이다.

해당 수식이 역치값을 넘으면 y출력이 1, 아니라면 0의 형태

 

 

Multi-Layer Perceptron(MLP)

하지만 하나의 Perceptron으로는 한계가 존재하므로, 여러 개의 Perceptron을 쌓은 것을 Multi-Layer Perceptron이라고 함.

MLP에서는 입력층과 출력층 사이의 존재하는 중간의 층이 더 생기는데, 이 부분을 은닉층이라고 한다.