4장 확률과 통계(7절:최대가능도추정) - 기본편 - 인공지능을 위한 수학

 

교재링크(광고 아님): freelec.co.kr/book/인공지능을-위한-수학/

 

※ 교재에 약간 생략되어 있는 가능도(likelihood)와 가능도 함수(likelihood function)에 대해 추가 기술하였다.

 

가능도(likelihood)

과거에 관측(observation)된 데이터를 토대로 추론(inference)된 가능성. 확률(probability)과 의미적인 구분이 꼭 필요한데 이에 대해 따로 포스팅 하였으니 참고하시기 바란다.

가능도(Likelihood)와 확률(Probability)의 차이

 

 

가능도 함수(likelihood function)

가능도(likelihood)를 함수로 표현한 것. 가능도 함수는 그냥 가능도라고도 부른다. 즉, 가능도는 저 위의 정의와 이 함수의 의미 둘 다 가지고 있는 것이다. 가능도 함수는 보통 L(θ) 로 표현하는데, L은 likelihood의 L 인 듯.

 

 

최대가능도추정(maximum likelihood estimation)

위에 기술한 가능도(likelihood)라는 추론(또는 추정)값을 최대한 실제에 들어맞게 만드는 방법. 간단히 아래 수식을 만족하게 하면 된다고 한다.

$$\frac{dL(\theta)}{d \theta} = 0$$

 

즉, 과거의 관측(시행) 데이터들을 토대로 가능도함수(likelihood function)를 만들고 이를 1계 미분하였을 때 값이 0이 되는 지점(θ)을 찾는 것이다. 그런데, 가능도 함수를 실제로 만들어 보면 아래와 같은 경우가 많다고 한다.

$$L(\theta) = {}_{100} \mathrm{ C }_{20} \cdot \theta^{20} \cdot (1 - \theta)^{80}$$

 

무지막지한 차수와 순열에 대해 1계 미분을 해도 한 차수만 낮아지고 순열이 살아남아서 계산하기 매우 까다로워 보인다. 그래서, 양 변에 자연로그를 씌워 로그가능도함수(log-likelihood function)을 만든 후 미분을 하면 수월하게 계산할 수 있다. (원래 로그가 이러려고 있는 함수다.) 자연로그를 씌워서 MLE를 구하는 방법은 교재에 자세히 나왔으니 생략한다. 위의 저 수식도 교재의 예제를 그대로 적은 것이다.

 

참고로 아래의 유튜브 강좌가 MLE에 대해 아주 자세히 설명해주고 있는데, 꼭 한 번 보시길 권해 드린다.

https://www.youtube.com/watch?v=3AwO0O6hWBI&t=902s