가능도(Likelihood)와 확률(Probability)의 차이

 

"인공지능을 위한 수학" 교재를 공부하다가 아래의 섹션에서 가능도(likelihood)라는 용어가 나왔다. 

4장 확률과 통계(7절:최대가능도추정) - 기본편 - 인공지능을 위한 수학

 

개인적으로 이 용어를 소화하기가 참 어려웠다. 확률(probability)하고도 뭔가 비슷한 것 같고... 그래서, 시간을 좀 가지면서 영문위키와 전문가 블로그를 탐색해 보았는데, 이해는 어느 정도 되었지만 뭔가 한 문장 정도로 요약하기가 쉽지 않았다. (머리가 안돌아갈 때는 딴 짓이 최고)좀 놀다보니 그래도 뭔가 요약이 가능할 것 같아 몇 자 적어 본다. 공부한 사이트는 아래와 같다.

en.wikipedia.org/wiki/Likelihood_function#Background_and_interpretation

blog.naver.com/sw4r/221361565730

 

위 사이트들의 관계가 재밌는 게 위 블로그 포스트는 저 영문위키 토픽의 옛날 버전의 일부 해석과 함께 블로거 분의 자세한 설명이 가미된 내용인데, 문제는 영문위키 내용이 너무 많이 바뀌어서 1:1 매치해서 볼 수가 없었다. 그래도 상당히 참고가 되어 변화된 영문위키를 따라가는데 큰 도움이 되었다.

어쨌든 저 영문위키에 보니 로날드 피셔 라는 학자께서 오래 전에 정립한 것으로 보인다. 그의 코멘트를 참고하여 아래처럼 한마디로 요약할 수 있지 싶다.

 

확률(Probability) : 어떤 시행(trial, experiment)에서 특정 결과(sample)가 나올 가능성. 즉, 시행 전 모든 경우의 수의 가능성은 정해져 있으며 그 총합은 1(100%)이다. 가능도(Likelihood) : 어떤 시행(trial, experiment)을 충분히 수행한 뒤 그 결과(sample)를 토대로 경우의 수의 가능성을 도출하는 것. 아무리 충분히 수행해도 어디까지나 추론(inference)이기 때문에 가능성의 합이 1이 되지 않을 수도 있다.

 

예를 들어 본다. 우리는 동전을 던졌을 때 앞이나 뒤가 나올 가능성이 각각 50% 라는 사실을 알고 있다. 왜? 동전의 앞뒤는 물리적으로 보았을 때 동일한 모습과 무게를 갖고 있고, 역시 물리적으로 동전을 던지는 힘의 임의성(randomness)이 있어 평균적으로 50%가 나올 것이라고 논리적으로 직관하기 때문이다. 이 관점이 바로 확률(probability)이다. 그리고 실제로도 이런 단순한 시행은 굳이 안해봐도 잘 들어 맞는다. 주사위의 경우도 마찬가지다.

즉, 확률(probability)은 논리가 바탕이 된다고 볼 수 있다. 반면에, 가능도(likelihood)는 실재가 바탕이 되어야 하는 것이다. 즉, 충분한 시행(어느 정도가 충분한지 판단하긴 어렵지만)을 통해 축적된 데이터를 가지고 앞으로 일어날 가능성을 추론(inference)하는 것이다.

언뜻 또 상통하는 면이 있어 모호해지는 느낌도 있지만, 어쨌든 가능도를 위시한 가능도함수(likelihood function)나 최대가능도추정(Maximum Likelihood Estimation) 등이 왜 필요하냐 하면 현실에서 구해야 하는 가능성들은 동전이나 주사위 같은... 지적 능력을 가진 사람이라면 누구나 직관할 수 있는 손쉬운 모델이 아니기 때문이다. (예를 들면 인공지능 학습 모델이나 주가 예측(사실 예측 불가) 정도?)

 

이렇게 구분을 좀 하고 나니 인공지능을 공부할수록 probability보다 likelihood라는 용어가 점점 더 많이 보이는 느낌이 왜 드는지 알 것 같다.