1장 신경망의 동작 방식(4~7절) - 처음 배우는 딥러닝 수학

 

교재링크(광고 아님): https://www.hanbit.co.kr/store/books/look.php?p_code=B6703128448

 

1-4 신경망

1-5 악마가 설명하는 신경망 구조

1-6 악마의 활동과 신경망의 연관 관계

1-7 스스로 학습하는 신경망

 

 

1-4 신경망

계층형 신경망

구글링을 해보니, 계층형 신경망이라는 용어가 검색이 되지 않았다. 이유인즉슨, 신경망 자체가 계층구조이기 때문에 '계층'을 붙이는 것은 역전앞 같이 의미없는 반복이 된다. 교재에서는 계층구조 외에도 다른 구조가 있다고 했으나, 결국 그 것들 역시 계층구조를 기반으로 한다. 그리고, 계층 구조를 좀 더 명확하게 지칭하는 용어로 다층 퍼셉트론(multilayer perceptron, MLP) 를 찾을 수 있었는데, 이 용어가 신경망 전체를 커버하는 것은 또 아닌 것 같긴 하지만, 계층 구조의 기본이라 생각하면 무리는 없어 보인다.

※ 어떤 블로그에서는 MLP와 딥러닝이 차이가 활성화 함수에 있다고 설명하지만, 사실 차이가 없다. MLP가 활성화함수로 계단함수(Heaviside step function)만 이용한다는 규정은 어디에도 없고, 딥러닝에 이르러서 활성화 함수가 다양해진 것 뿐이다.

 

입력층(input layer)

입력 정보를 연결된 1차 은닉층에 순전히 전달(forwarding, bypass)하는 역할만 수행한다. 즉, 입력 데이터에 대한 가공(연산)이 없다.

 

은닉층(hidden layer, 중간층)

이전 층으로부터 전달받은 입력들을 모델(다변수식)에 넣어 계산한 결과를 활성화 함수에 넣어 그 결과를 다음 층으로 보낸다. 은닉층은 한 층 이상 존재한다. 즉, 은닉층의 다음층 역시 은닉층일 수 있다.

 

출력층(output layer)

입력층과 같이 단일 층이며, 은닉층과 동일한 시퀀스를 가지고 있지만 말단이라는 점 때문에 특별히 출력층으로 부른다.

 

완전연결계층(fully connected layer)

하나의 유닛이 다음 층의 모든 유닛에 연결된 형태. 즉, 임의의 층의 유닛의 출력이 다음 층의 모든 유닛들에 입력으로 전달된다.

 

 

1-5 악마가 설명하는 신경망 구조

이 절은 신경망의 계층 구조 및 연결 관계를 악마조직의 조직원 간의 상하관계(계층구조)와 친밀도(입력에 대한 가중치)로 비유하여 설명하였다. 약간 어리둥절하게 느껴지기도 하지만, 1-6절에서 비유에 대한 실제 수학적인 설명이 들어가기 때문에 더 수월하게 이해가 되었다.

 

 

1-6 악마의 활동과 신경망의 연관 관계

가중치(weight)

1-5절에서 예를 든 신경망은 0, 1 숫자 패턴 인식 신경망인데, 은닉층 내에 0과 1을 인식하는 유닛이 따로 존재하며 이 유닛으로의 입력이 각 숫자에 가까운 픽셀일 경우 강하게 반응하기 위해 '가중치'를 이용한다고 한다.

 

편향(bias)

0, 1 선택에 있어 불필요한 출력이 발생하지 않기 위해 즉, 출력을 선명하게 하기 위해 사용하는 것이 '편향'이라고 기술되어 있는데, 사실 현 시점에서는 잘 이해가 가지 않는다. 교재를 계속 공부해 나가다보면 이해가 되겠지.

 

 

1-7 스스로 학습하는 신경망

지도 학습(supervised learning)

이미 판정된 데이터를 입력으로 하여 학습을 시키고, 미지의 데이터에 대한 추론력을 기르는 학습 방식. 현존하는 인공지능 학습 방식은 거의 이 방식이라고 보면 될 듯.

 

비지도 학습(unsupervised learning)

지도 학습과는 반대로 아무 데이터셋을 주어도 연관성을 파악해서 연관 분야 추론력을 기른다는 학습 방식인데, 과연 달성 가능한 것인지 충분히 현업에서 쓸만큼 성숙했는지는 의문점이 있다.

 

비용 함수(cost function)

학습 데이터로 학습을 시키면서 파라미터를 추출하는데 이용하는 함수. 나도 이전 교재를 통해서 함수 하나를 제대로 공부했다. 바로 최소제곱법(아래 링크를 참고하시길). 그런데, 이 방법은 손실 함수(loss function)로 많이 불리는 것 같은데, 찾아보니 미묘한 차이가 있을지언정 공통적인 부분이 너무 많아서 구분없이 사용하는 경향이 있는 것 같다.

5장 선형회귀(4절:최소제곱법으로 파라미터 도출하기) - 응용편 - 인공지능을 위한 수학