4장 확률과 통계(2절:확률변수와 확률분포) - 기본편 - 인공지능을 위한 수학

 

교재링크(광고 아님): freelec.co.kr/book/인공지능을-위한-수학/

 

 

※ 교재의 내용에 약간의 축약이 있어 그에 대한 내용까지 기술한다.

 

확률변수(random variable)

어떤 시행(experiment)으로 나올 수 있는 모든 결과(possible outcomes)들이 각각 확률로 표현이 가능할 경우 그 모든 결과를 변수로 놓고 어떤 결과든 대응시키는 것. 주사위를 던지는 걸 예로 들면, 모든 가능한 결과(possible outcomes)는 {1, 2, 3, 4, 5, 6} 집합으로 표현 가능하고, 이 중 임의의 값을 지칭하기 위해 변수 X를 정의하면 이 X가 확률변수가 된다. 또한, 변수 X의 모든 값은 아래와 같이 확률(P)로 표현 가능해야 한다.

$$ P(X=1) = \frac{1}{6} \\ P(X=2) = \frac{1}{6} \\\\\\ \ldots \\\\\\ P(X=6) = \frac{1}{6} $$

이와 같이 X에 대입 가능한 모든 값이 확률값으로 대응(mapping) 되기 때문에 X를 확률변수라고 할 수 있다.

 

 

이산확률변수(discrete random variable)

위 확률변수 설명에서 주사위의 예와 같이 X에 대입 가능한 시행 결과(outcome)를 모두 모은 집합이 유한한 크기를 가지는(countable) 경우에는 X를 이산확률변수라고 부른다. 

 

 

이산확률분포(discrete probability distribution)

이산확률변수가 가질 수 있는 값에 대한 확률을 함수로 나타낸 것. 이 함수를 가시화하기 위해 도표나 히스토그램 등을 이용한다. 이산확률분포는 일반적으로 확률질량함수(probability mass function, PMF)를 이용한다고 한다.

 

 

확률질량함수(probability mass function, PMF)

이산확률분포를 표현해 줄 수 있는 함수.

$$ f_X(x) = P(X) $$

f는 확률질량함수이다. X는 확률변수이며, x는 X의 정의역(domain)을 포함한다.

이는 x가 더 큰 집합이라는 뜻인데, 아래와 같이 정리할 수 있다.

$$ f_X(x_i) = P(X = x_i) $$

그럼, X의 정의역을 제외한 나머지 x값은 어떤 출력이 나올까?

$$ \begin{array}{ll} f_X(x_i) > 0 \\ f_X(x) = 0 \quad(x_i\text{를 제외한 모든 }x) \end{array} $$

이와 함께 확률질량함수의 모든 출력을 합하면 1이 된다는 것도 짐작이 가능하다.

예를 들어, 주사위를 한번 굴렸을 때 각 눈이 나올 확률은 1/6이므로 아래와 같이 표현 가능하다.

$$ f_X(x_i) = \frac{1}{6} $$

주사위의 눈은 6개이므로 함수의 모든 출력을 합하면 1이 된다. (주사위의 눈을 제외한 함수의 출력은 0이므로.)

그런데, 사실 P(X)와 다를 바 없어 보이는데 따로 함수를 정의한 이유에 대해서는 아직 공부가 부족하다...

 

 

히스토그램(histogram)

(확률 분야 한정) 이산확률분포를 그래프로 표현한 것. 

출처 : https://www.chegg.com/

 

위에서 x축은 확률변수값, y축은 확률이다.

 

 

정규분포(normal distribution)

확률값이 중심이 가장 크고 중심에서 멀어질 수록 작아지는 모양을 보이는 분포 형태. 가우스 분포(Gaussian distribution)라고도 한다. 그래프로 표현하면 아래와 같다.

출처 : https://www.itl.nist.gov/

 

위 그래프처럼 정규분포는 이산(discrete)적으로 끊기면 안되고 연속적(continuous)이어야 한다. 그런데, 주사위를 여러번 굴려서 나온 눈들의 합을 이산확률분포로 표현하면(히스토그램) 모양이 점점 정규분포에 가까워진다(수렴). 이에 대해 주사위를 무한번 굴린다고 하면 그 확률은 결국 정규분포의 모습이라고 할 수 있다.

 

 

연속확률변수(continuous random variable)

이산확률변수의 반대라고 생각하면 편하다. X에 대입 가능한 결과가 무한한 개수(uncountable)를 가지는 경우의 X는 연속확률변수라고 한다. 무한한 개수를 가지는 상황은 실수(real) 값과 실수 값 사이(range)와 같이 연속적(continuous)인 경우를 뜻한다.

 

 

연속확률분포(continuous probability distribution)

연속확률변수가 가질 수 있는 모든 확률을 나타내는 함수. 연속확률변수의 모든 값들은 연속적이고 무한하기 때문에 연속활률분포 역시 연속적이며 무한하다. 때문에, 특정 구간에 대한 확률의 합을 구하려면 적분(integral)을 이용해야 한다. 대표적인 연속확률분포로는 정규분포가 있겠으며, 아래와 같은 다양한 종류가 있다.

• 정규 분포(normal distribution)
• 지수 분포(exponential distribution)
• 스튜던트 t 분포(student's t-distribution)
• 파레토 분포(pareto distribution)
• 로지스틱 분포(logistic distribution)
• ...