1장 신경망의 동작 방식(1~3절) - 처음 배우는 딥러닝 수학

 

교재링크(광고 아님): https://www.hanbit.co.kr/store/books/look.php?p_code=B6703128448

 

1-1 신경망과 딥러닝

1-2 뉴런 활동의 수학적 표현

1-3 뉴런의 활동을 일반화하는 활성화 함수

 

1-1 신경망과 딥러닝

신경망(neural network, NN)

생물학의 신경망과 동음이의어이자 생물학의 그 것을 모방하여 인공지능에 활용하기 위한 구조를 만든 것을 뜻한다. 생물학과 구분하기 위해 인공 신경망(aritificial NN, ANN)이라고도 부른다. 생물학의 뉴런과 유사한 인공 뉴런을 모델링하여 구성한다.

 

딥러닝(deep learning)

신경망을 다층구조로 만들어 한 계층의 연산 결과를 다음 층으로 전달하는 것을 골자로 한 기계학습의 한 분야이다. 그리고, 이제 일반명사가 되었으므로 소문자로 쓰도록 한다.

 

 

1-2 뉴런 활동의 수학적 표현

뉴런(neuron, 신경세포)

생물학적으로 뉴런은 더 다양한 역할을 하겠으나, 신경망을 위해서 단순히 다른 뉴런들로부터 받은 입력을 종합해서 역치(임곗값, 경곗값) 이상일 경우 연결된 다른 뉴런으로 신호를 보내는 기능에만 집중한다.

 

뉴런 활동을 수학으로 표현하기

다른 뉴런으로부터의 입력이 있냐 없냐를 1과 0으로 표현한다.(연결된 모든 뉴런에 대해 각각 표현한다.) 기호(변수)로는 x를 이용한다. 그리고, 각각의 입력에 대한 가중치도 주어지는데 w를 기호로 쓴다. 출력 역시 1과 0으로 표현하며 y를 이용한다. 임곗값(역치)은 θ(세타)로 표현한다. 이를 종합하면,

$$ \begin{cases} y = 0 : w_1x_1 + w_2x_2 + ... w_nx_n < \theta \\ y = 1 : w_1x_1 + w_2x_2 + ... w_nx_n \ge \theta \end{cases} $$

 

단위 계단 함수(unit step function 또는 heavyside step function)

함수의 입력이 특정한 값보다 작을 경우 0, 크거나 같을 경우 1이 출력되는 함수. 즉 바로 위 단락의 조건식을 함수화 한 것을 뜻 함. 일반적으로 '특정한 값'으로 0을 이용한다.

 

 

1-3 뉴런의 활동을 일반화하는 활성화 함수

유닛(unit)

뉴런은 생물학적인 의미로 통하기 때문에 구분을 위해 사용하는 용어. 인공 뉴런(artificial neuron)이라는 용어도 있지만, 과학은 짧은 쪽이 항상 승리자다.

 

활성화 함수(activation function)

어떤 노드(유닛)에 주어진 입력에 대한 출력을 구하는 함수. 이 출력은 연결된 다른 유닛의 입력이 되기 때문에 교재에서는 전달 함수라고도 부른다던데, 구글링으로는 잘 나오지 않는 것으로 보아 이 용어는 안 쓰는게 좋을 듯.

 

시그모이드 함수(sigmoid function)

대표적인 활성화 함수 중 하나. 아래 링크에 간단한 설명이 더 있으니 참고.

1장 기초 수학(8~10절) - 기본편 - 인공지능을 위한 수학

 

편향(bias)

아래와 같이 표현되는 활성화 함수에서 민감도를 결정하는 변수. 문자로 b를 많이 쓴다. 

$$ y = f(w_1x_1 + w_2x_2 + ... + b) $$

이 값은 크면 민감해지고, 작으면 둔감해지는 특성이 있다. 즉, 연결된 유닛으로 보낼 값이 커지거나 작아지게 할 수 있다는 뜻이다.