2장 신경망을 위한 수학 기초(4절:신경망의 이해를 돕는 벡터) - 처음 배우는 딥러닝 수학

 

교재링크(광고 아님): https://www.hanbit.co.kr/store/books/look.php?p_code=B6703128448

 

이번 섹션은 '인공지능을 위한 수학' 교재에서 공부한 내용들과 많은 부분 유사하지만, 내가 잘못 이해했던 부분들이 있어 그것을 바로 잡아가는 방향으로 기록하려고 한다.

 

유향선분(directed line segment)

https://swjman.tistory.com/88

위 포스트에서 이미 유향선분을 알아본 바 있다. 그런데, 설명이 완전히 틀렸다. 바로 잡겠다.

우선 선분(line segment)을 먼저 알아본다. 선분은 기하학의 한 요소로 임의에 위치한 두 점을 선으로 잇는 것을 뜻한다. 이 정의에 의해 선분은 필연적으로 길이(크기)를 갖는다.

유향선분은 선분에서 더 나아가 두 점을 시점(initial point)과 종점(terminal point)으로 나누는 것을 뜻한다. 시점과 종점이 있다는 것은 즉, 방향(direction)을 갖는다는 의미이다.

(이전 포스트의 설명과 반대로)벡터(vector)의 기하학적 표현을 위해 바로 이 유향선분을 차용한다. 이 경우 벡터 공간(vector space)에서의 벡터는 방향과 크기만 있기 때문에 위치 속성이 없지만, 유클리드 벡터(기하 공간에 표현된 벡터)의 경우에는 유향선분과 완전히 동일한 성격을 가진다.

 

위치 벡터(position [vector])

벡터의 성분을 표현하는 방식으로, 좌표공간 내에 벡터의 시점을 원점(origin)으로 놓고 종점의 좌표만을 벡터의 성분으로 표시한 것을 뜻한다. 유클리드 벡터의 특별한 경우이며, 매우 유용한 방식이다. 간단한 그림을 덧붙인다.

출처: 위키피디아

 

벡터의 크기(magnitude)

벡터의 크기는 피타고라스의 정리를 이용하여 구한다. 매우 간단하여 생략.

 

벡터의 내적(inner product)

예전에 배운 내용과 동일하여 링크로 떼운다.

3장 선형대수(4~6절) - 기본편 - 인공지능을 위한 수학

 

코시-슈바르츠 부등식(Cauchy–Schwarz inequality)

이전 교재의 아래 3-8절 '코사인 유사도'에서 다룬 내용이다. 다만, 부등식 설명은 빼고 유사도만 공부했었다.

3장 선형대수(7~8절) - 기본편 - 인공지능을 위한 수학

간단히 부연하자면 코사인함수 값은 최소 -1, 최대 1이기 때문에 두 벡터의 내적에 대해 아래의 공식이 성립한다는 것이다.

$$ -\| a \| \| b \| \le \langle a, b \rangle \le \| a \| \| b \| $$

이 것이 의미하는 바는 내적값이 좌변으로 갈수록 두 벡터는 유사도가 0(반대 방향)이 되고, 우변으로 갈수록 1(평행)이 된다는 것이다.

이전 교재에는 언급이 없었는데, 이 교재에는 이 성질이 경사하강법(gradient descent)에서 매우 중요하다고 한다. 기대가 된다.