텐서플로우 인공 신경망 기본 구성

 

 

 

 

 

 

 

---

1. 기본 신경망 구조

 

우리는 네트워크 연결 및 활성화 함수를 정의하면서 다층 신경망을 구축할 수 있습니다. 이전 계층의 출력은 다음 계층으로 값이 넘어가며 다층신경망은 비선형 함수의 구성을 학습하게 됩니다.

 

인공 신경망에서 노드의 활성화 함수는 입력 또는 입력 세트들이 주어진 해당 노드의 출력을 정의합니다.

 

 

 

2. Activation function 

 

1. Sigmoid

시그모이드 활성화 함수는 0과 1 사이의 뉴런 사전 활성을 산출합니다. 항상 양수이며 경계선으로 무한히 수렴합니다.

 

 

2. TanH

 

TanH는 쌍곡 탄젠트 활성화 함수로 -1과 1사이에서 뉴런 사전 활성화가 산출됩니다. 이는 결과값이 음수 혹은 양수가 될 수 있으며 시그모이드와 마찬가지로 경계선에 무한히 수렴합니다.

 

 

 

3. ReLu

Rectified linear(ReLu)는 정류 선형 활성화 함수를 뜻하며 0 이하로 경계(항상 음수가 아니다)선이 구성되어 있습니다. 상한 선은 아닙니다.

 

 

3. 딥러닝 신경망 구성

 

딥러닝 신경망 구성에 종류로는 크게 두가지가 있습니다.

 

하나는 지도 학습이다. 교사와 같이 학습을 한다고 생각할 수 있습니다. 대표적으로 회귀 문제(Regression Problem) 반복 신경망(RNN) 컨볼 루션 신경망(Convolutional Neural Network)가 있습니다.

 

다른 하나는 비지도 학습입니다. 목표가 없는 학습으로 대표적인 예로 자동 인코더(Autoencoder) 강화 학(Reinforcement Learning)이 있습니다.

 

 

 

1. 지도 학습(Supervised Learning) : 회귀 문제(Regression Problem)

 

Target value가 주어진 상태에서 Predict value의 값이 계속 변화합니다. 결국 지도 학습을 통해 target value와 Predict value의 값이 거의 동일해집니다.

 

 

 

 

(1) np.linespace

x 값이 -1부터 1까지의 시작점과 끝점 사이에 균일 간격으로 나눈 점들을 생성해준다.

 

(2) noise = np.random.normal ~

noise 값으로 적절한 랜덤 값을 생성한다

 

이후 x에 대한 y 함수를 수식으로 정의한 뒤 그래프로 생성한다.

 

이와 같이 학습 수행을 구성하는 기본 시스템에 관한 함수를 작성합니다. 

 

 

타겟값과 예측값의 차이를 계산한 후 이들의 차이를 최소화 시킵니다.

 

 

이 모든 시스템을 반복 학습 시킵니다. 결국 예측값과 실제값은 차이가 좁혀지면서 위와 같은 결과가 나오게 됩니다.