조건부 확률과 베이즈 정리 (Bayes' theorem)

조건부 확률

사건 B가 일어났다는 전제 하에 사건 A가 일어날 확률.

사건 B가 이미 일어났으니 \\(P(B)\\)를 전체로 보고 \\(P(A \cap B)\\)를 구하면 된다.

\\[P(A|B) = \frac{P(A \cap B)}{P(B)}\\]

* 이를 이용해 A, B가 독립이면 \\(P(A \cap B) = P(A)P(B)\\)를 유도할 수 있다. 

** \\(A^c\\)에도 성립한다.

베이즈 정리

사전확률 \\(P(A)\\)를 알 때, 사후확률 \\(P(A|B)\\)를 구하는데 쓴다.

\\(P(A)\\)       희귀병 감염률이 0.001

\\(P(B|A)\\)   질병에 걸린 사람이 검사에서 양성 반응을 보일 확률은 0.995

\\(P(B|A^c)\\)  질병에 걸리지 않은 사람이 검사에서 양성 반응을 보일 확률은 0.01

무작위로 선정된 어떤 사람이 검사에서 양성 반응을 보였다. 이 사람이 실제로 희귀병에 걸렸을 확률은?

조건부 확률을 정리하면 \\(P(A \cap B) = P(A|B)P(B) = P(B|A)P(A)\\) 이므로

\\[P(A|B) = \frac{P(B|A)P(A)}{P(B)} = \frac{P(B|A)P(A)}{\Sigma P(B|A_i)P(A_i)}\\]

이 때 \\(P(B)\\)는 전확률 공식으로 구한다.

전확률 공식

\\(P(B) = P(B|A)P(A) + P(B|A^c)P(A^c)\\)

* 원래는 \\(P(B) = \Sigma P(B|A_i)P(A_i)\\)

likelihood와 probability

확률에는 likelihood(우도)와 probability(확률)가 있다.

likelihood는 이미 시행된 결과를 확인(관찰)하는 것을 의미하고, probability는 시행하기 전에 예측하는 것을 의미한다.

예를 들어 주사위를 던져서 3이 나올 확률은 1/6이다. 주사위를 던져서 3이 나왔다면 이 경우 우도는 1/6이다.

이산 분포의 경우 likelihood와 probablity는 같다. 그러나 연속 분포에서 likelihood는 확률 밀도 함수의 값이기 때문에 같지 않을 수 있다.