Probability Theory, 확률 이론

인공지능 분야에서 불확실성은 중요한 개념 중 하나이다. 

데이터가 충분하지 못하거나 노이즈가 포함된 체로 데이터 처리를 해야할 경우가 많기 때문에 이를 가능하면 정확하고 정량적으로 표현을 해야하기 때문이다.

확률 이론은 이를 위한 수학적인 툴을 제공한다. 표현 방식은 다음과 같이 쓸 수 있다.

어떤 사건 X가 발생할 확률을 의미한다. X가 발생할 가능성이 전혀 없다면 0, 모든 케이스에 대해 발생한다면 1이 된다. 동전을 100번 던졌을 때 앞면이 나오는 경우가 53번이었다면 p(X=앞면) = 0.53이 된다.

조건부 확률, Conditional Probability

어떤 일이 발생할 확률이 두 가지 이상의 종류로 구분지어지는 경우를 알아보자.

(조건부 확률에 대한 적당한 예제 - 동전과 주사위를 동시에 던졌을 때, 두 경우 서로 독립이지만 확률 분포로 표현이 가능하다)

합의 법칙과 곱의 법칙, Sum Rule and Product Rule

확률식에 중요한 법칙으로 합의 법칙과 곱의 법칙이 있다.

합의 법칙,

확률 p(X)의 값은 모든 Y의 경우(1 ~ N_Y)에 발생할 p(X)의 경우의 확률을 더한 값과 같다.

곱의 법칙, 

X와 Y가 동시에 발생할 확률은 X가 발생했을 때의 Y가 발생한 확률과 X가 발생할 확률의 곱이 된다.

베이즈 정리, Bayes' theorem

위에서 설명한 확률의 합의 법칙과 곱의 법칙을 이용하여 베이즈 정리를 설명한다.

너무나도 유명한 식이라 반드시 알고 있어야 한다. 

이 식의 유도는 아래와 같다. 곱의 법칙을 살펴보면,

이 되므로 위의 식을 p(Y|X)에 대해 정리하면,

이 된다. 합의 법칙에서 시그마의 각 항 p(X,Y)는 p(X,Y)=p(X|Y)p(Y) 이므로

가 된다.