2장 신경망을 위한 수학 기초(4절:신경망의 이해를 돕는 벡터) - 처음 배우는 딥러닝 수학

 

교재링크(광고 아님): https://www.hanbit.co.kr/store/books/look.php?p_code=B6703128448

 

이번 섹션은 '인공지능을 위한 수학' 교재에서 공부한 내용들과 많은 부분 유사하지만, 내가 잘못 이해했던 부분들이 있어 그것을 바로 잡아가는 방향으로 기록하려고 한다.

 

유향선분(directed line segment)

https://swjman.tistory.com/88

위 포스트에서 이미 유향선분을 알아본 바 있다. 해당 포스트에서는 벡터를 표현하기 위해 존재하는 것처럼 적었는데, 그렇지는 않고 유향선분은 별도의 개념이고 벡터에서 기하 표현을 위해 차용한 것이라는 것을 이번 교재를 통해 알게 되었다.

우선 선분(line segment)을 먼저 알아본다. 선분은 기하학의 한 요소로 임의에 위치한 두 점을 선으로 잇는 것을 뜻한다. 이 정의에 의해 선분은 필연적으로 길이(크기)를 갖는다.

유향선분은 선분에서 더 나아가 두 점을 시점(initial point)과 종점(terminal point)으로 나누는 것을 뜻한다. 시점과 종점이 있다는 것은 즉, 방향(direction)을 갖는다는 의미이다.

벡터(vector)의 기하학적 표현을 위해 바로 이 유향선분을 차용한다. 이 경우 벡터 공간(vector space)에서의 벡터는 방향과 크기만 있기 때문에 위치 속성이 없지만, 유클리드 벡터(기하 공간에 표현된 벡터)의 경우에는 유향선분과 완전히 동일한 성격을 가진다.

 

위치 벡터(position [vector])

벡터의 성분을 표현하는 방식으로, 좌표공간 내에 벡터의 시점을 원점(origin)으로 놓고 종점의 좌표만을 벡터의 성분으로 표시한 것을 뜻한다. 유클리드 벡터의 특별한 경우이며, 매우 유용한 방식이다. 간단한 그림을 덧붙인다.

출처: 위키피디아

 

벡터의 크기(magnitude)

벡터의 크기는 피타고라스의 정리를 이용하여 구한다. 매우 간단하여 생략.

 

벡터의 내적(inner product)

예전에 배운 내용과 동일하여 링크로 떼운다.

3장 선형대수(4~6절) - 기본편 - 인공지능을 위한 수학

 

코시-슈바르츠 부등식(Cauchy–Schwarz inequality)

이전 교재의 아래 3-8절 '코사인 유사도'에서 다룬 내용이다. 다만, 부등식 설명은 빼고 유사도만 공부했었다.

3장 선형대수(7~8절) - 기본편 - 인공지능을 위한 수학

간단히 부연하자면 코사인함수 값은 최소 -1, 최대 1이기 때문에 두 벡터의 내적에 대해 아래의 공식이 성립한다는 것이다.

$$ -\| a \| \| b \| \le \langle a, b \rangle \le \| a \| \| b \| $$

이 것이 의미하는 바는 내적값이 좌변으로 갈수록 두 벡터는 유사도가 0(반대 방향)이 되고, 우변으로 갈수록 1(평행)이 된다는 것이다.

이전 교재에는 언급이 없었는데, 이 교재에는 이 성질이 경사하강법(gradient descent)에서 매우 중요하다고 한다. 기대가 된다.