조건부 확률과 베이즈 정리 (Bayes' theorem)

조건부 확률

사건 B가 일어났다는 전제 하에 사건 A가 일어날 확률.

사건 B가 이미 일어났으니 $P(B)$를 전체로 보고 $P(A \cap B)$를 구하면 된다.

$$P(A|B) = \frac{P(A \cap B)}{P(B)}$$

* 이를 이용해 A, B가 독립이면 $P(A \cap B) = P(A)P(B)$를 유도할 수 있다. 

** $A^c$에도 성립한다.

베이즈 정리

사전확률 $P(A)$를 알 때, 사후확률 $P(A|B)$를 구하는데 쓴다.

$P(A)$       희귀병 감염률이 0.001

$P(B|A)$   질병에 걸린 사람이 검사에서 양성 반응을 보일 확률은 0.995

$P(B|A^c)$  질병에 걸리지 않은 사람이 검사에서 양성 반응을 보일 확률은 0.01

무작위로 선정된 어떤 사람이 검사에서 양성 반응을 보였다. 이 사람이 실제로 희귀병에 걸렸을 확률은?

조건부 확률을 정리하면 $P(A \cap B) = P(A|B)P(B) = P(B|A)P(A)$ 이므로

$$P(A|B) = \frac{P(B|A)P(A)}{P(B)} = \frac{P(B|A)P(A)}{\Sigma P(B|A_i)P(A_i)}$$

이 때 $P(B)$는 전확률 공식으로 구한다.

전확률 공식

$P(B) = P(B|A)P(A) + P(B|A^c)P(A^c)$

* 원래는 $P(B) = \Sigma P(B|A_i)P(A_i)$

likelihood와 probability

확률에는 likelihood(우도)와 probability(확률)가 있다.

likelihood는 이미 시행된 결과를 확인(관찰)하는 것을 의미하고, probability는 시행하기 전에 예측하는 것을 의미한다.

예를 들어 주사위를 던져서 3이 나올 확률은 1/6이다. 주사위를 던져서 3이 나왔다면 이 경우 우도는 1/6이다.

이산 분포의 경우 likelihood와 probablity는 같다. 그러나 연속 분포에서 likelihood는 확률 밀도 함수의 값이기 때문에 같지 않을 수 있다.