5장 선형회귀(3절:선형회귀 모델) - 응용편 - 인공지능을 위한 수학

 

교재링크(광고 아님): freelec.co.kr/book/인공지능을-위한-수학/

 

 

선형회귀모델(linear regression model)

선형회귀분석을 위해 사용하는 수식. 모델=수식 이라고 생각해도 당장의 큰 문제는 없다.

 

독립변수(independent variables)

어떤 추정을 하기 위해 조사하거나 만들어 놓은 데이터들을 대입하는데 쓰이는 변수. 추정을 위해 사용되는 변수라 하여 예측변수(predictor variables) 혹은 단순히 예측자(predictors)라고도 부른다.

 

종속변수(dependent variable)

추정으로 도출된 값에 해당하는 변수. 독립변수가 예측자라고 불리는 것에 따라 이 변수는 피예측변수(predicted variable)로도 불린다.

 

파라미터(parameter)

선형회귀모델(수식) 내에서 독립변수들에 곱해져 있는 값을 뜻한다. 때문에, 회귀계수(regression coefficients)로도 불린다. 선형회귀분석은 바로 이 값을 구하기 위한 분석방법이다.

 

수식의 실재

모델식은 아래와 같다.

$$y_i = \beta_0 + \beta_1 x_{i1} + \cdots + \beta_p x_{ip} + \varepsilon_i, \quad i = 1,..., n $$

 

i는 데이터셋의 레코드 번호를 뜻하며, p는 데이터셋의 컬럼번호를 뜻한다. 일종의 행렬이 되어 각 자리에 맞는 값이 x 및 y에 대입이 되는 것이다. 그렇다면 beta가 남는데, 바로 이 계수변수가 파라미터이다. beta는 인공지능에서는 특별히 알파벳 w를 이용하는데, 이는 가중치(weight)를 뜻한다. 그리고, ε(입실론)이라는 하나의 값이 더 있는데, 이 값은 에러값(error term)이나 잡음(noise) 등으로 표현하는데, 본래의 선형회귀분석에서는 파라미터와 구분 짓는 것이 일반적인 듯 하나 인공지능에서는 그냥 x의 0차항에 곱해져 있는 하나의 파라미터로 간주하는 것으로 보인다.

앞서도 얘기했듯이 선형회귀분석은 beta(또는 w)를 구하기 위한 작업이다. beta의 값이 추정(estimation 및 inference)되기 전에는 오히려 beta가 변수이고, x와 y는 상수가 된다. 추정이 끝나야 beta는 비로소 상수계수가 되는 것이다.

위 식은 식 자체가 지저분해서 각 속성들을 행렬로 만들어 표현하는 것이 일반적이다. boston housing dataset 같이 506개의 레코드를 위 수식으로 쓰면 많이 지저분하고 컴퓨터로 출력한다고 해도 영 보기 안좋을테지만, 행렬로 표현하면 최소한 깔끔한 출력은 가능하다. 행렬 표현은 교재에 있기도 하고, mathjax 노가다가 너무 심해 생략.

 

 

선형회귀는 인공지능에서 상당히 중요한 부분이므로 요약이 사실상 불가능하고, 진지하게 시간을 들여 공부해야 한다. 나도 아직 계속 공부 중인데, 기회가 된다면 따로 포스팅을 해볼까 한다. 부가적인 내용이 너무 많아 쉽게 작성할 수 있을지는 모르겠지만.