이산 확률 분포, discrete probability distribution

결합 확률 분포

$$P(X = x, Y = y) = f(x, y)$$

두 개 이상의 확률변수가 동시에 발생할 때의 확률 분포.
당연히 이산 확률 분포, 연속 확률 분포 모두 결합 확률 분포로 나타낼 수 있다.

어느 지역에 내린 비의 양과 오염도

콜레스테롤의 양과 비만도

음주운전 건수와 사망자수

기댓값

$E(X) = \Sigma{xf(x)}$

흔히 구하는 산술 평균을 생각해 보면, 위 식에 $f(x) = 1/n$를 대입하면 되는 균등 분포라는 것을 알 수 있다.

이산확률분포

값들이 따로따로 떨어져 있음. 즉 이산적이다.

이산 확률 분포의 확률 질량 함수$f(x)$는 이산 값으로 정의되며

따라서 누적 분포 함수$F(x)$는 우측 연속인 불연속 그래프로 나타난다.

$F(x)$가 불연속이기 때문에 미분한다고 $f(x)$가 나오는게 아니다.

$F(x) = \Sigma{f(x)}$

이항분포 Binomial distribution

$$B(n, p) = f(x) = _{n}\mathrm{C}_{x} p^x (1-p)^{n-x}$$

$E(X) = np, \quad Var(X) = npq$

독립 시행 사건일 때, 전체 중에 몇 번 사건이 발생할 지.

각 직접회로가 불량품일 가능성은 독립적으로 0.05일 때, 집적회로 10개에 포함된 불량품의 수.

예방 주사를 맞은 쥐들 중 60%가 면역이 생길 때, 예방 주사를 맞은 5마리 쥐가 모두 질병에 걸리지 않을 확률

이항 분포의 정규 분포 근사

$p$의 값이 0 또는 1에 가깝지 않으면서, $n \ge 25$ 정도인 이항분포는 정규분포로 근사할 수 있다.

이 때 이항분포는 이산형이고, 정규분포는 연속형이기 때문에 정규분포로 변경하면서 값(또는 구간)에 $\pm 0.5$ 해준다.

$P(X = b) \to P(b - 0.5 \le X \le b + 0.5)$

* 초과/미만은 이항분포 상태에서 이상/이하로 변경해서 확장해준다.

어떤 약의 5%가 효과가 없다고 할 때, 200개의 약 중에서 10개 미만이 효과가 없을 확률.

→ n이 너무 커서 이항 분포로 계산하기 곤란할 때는 정규 분포로 근사.

다항분포 Multinomial distribution

각 시행에서 가능한 결과가 두 개 이상이 되면 다항분포.

success로 만들 수 있는 문자열 조합의 수.  (* 확률 안쓰고 그냥 경우의 수만 쓰는 경우.)

$$\frac{7!}{3!\ 1!\ 2!\ 1!}$$

초기하 분포 Hypergeometric distribution

$$h(x; N, n, k) = \frac{_{k}\mathrm{C}_{x}\ \ _{N-k}\mathrm{C}_{n-x}}{_{N}\mathrm{C}_{n}}$$

    이 자체가 확률이다. $p, q$를 따로 곱하지 않는다.

$N$ 전체 개수

$k$ 전체 중 성공의 개수

$n$ 총 뽑는 개수

$x$ 뽑는 것 중에 성공의 개수

$E(X) = np, \quad Var(X) = npq \frac{N-n}{N-1} \qquad (p = k/N)$

$\frac{N-n}{N-1}$를 유한 모집단 수정계수라 하며, $N$이 커질 수록 1에 근사하므로

→ $N$이 충분히 크면, 초기하분포는 이항분포$B(n, p)$로 근사할 수 있다.

5개의 불량품을 포함한 집적회로 100개가 들어 있는 상자에서 집적회로 4개를 선정할 때, 불량품 2개가 포함될 확률.

음이항 분포 Negative binomial distribution

k번 성공할 때 까지 독립적으로 반복 시행한 횟수 $X$의 확률분포.

k번째는 무조건 성공이니 $p$이고, k-1번째까지는 x-1번 성공, 나머지 실패이므로

$$X \sim NB(k, p) = b^*(x;k,p) = {x-1 \choose r-1}p^{k} q^{x-k}$$

$E[X] = \frac{k}{p}, \quad Var(X) = E[X]\frac{q}{p}$

7선 4승 경기에서 k번만에 승리할 확률.

기하 분포를 이용해 음이항 분포의 평균 구하기

기댓값 공식 이용하는게 아니라, 기하 분포를 이용해도 평균을 구할 수 있다. $X_i$가 기하 분포를 따른다면

$E(X) = E(X_1) + E(X_2) + \cdots + E(X_k) = \frac{k}{p}$

k번째 성공이 일어나기 까지의 수행횟수의 기댓값. k번째 성공까지 평균 몇 번 수행해야 하는가?를 의미한다.

각각의 수행이 독립이므로 1번째 성공까지의 수행과 그 이후부터 2번째 성공까지의 수행도 독립이다. (무기억성 1)

1번째 성공까지의 수행 횟수($\frac{1}{p}$) + 그 이후부터 그 다음 성공까지의 수행횟수($\frac{1}{p}$) + ...

기하 분포 Geometric distribution

처음 성공할 때 까지 독립적으로 반복 시행한 횟수 $X$의 확률분포. (연속 확률 분포에서는 이게 지수 분포.)

x-1번째까지는 모두 실패, x번째에 성공이므로

$$X \sim G(p) = pq^{x-1}$$

누적분포함수는 등비급수 정리해보면,

$P(X \leq k) = 1-q^k$

$E[X] = \frac{1}{p}, \quad Var(X) = \frac{q}{p^2}$

평균적으로 몇 번째에 처음 성공하겠는가?

e.g., 주사위에서 1이 나올 때 까지 평균 몇 번 던져야 하겠는가?

p=1/6이고 얼핏 생각해보면 6가지 경우의 수이니 3번. 인 것 같지만 실패만 6번 이상 하는 경우도 있다는 것을 생각해 보면 3번은 너무 작은 쪽으로 치우친 값. 평균 6번은 던져야 한다.

x년 이내에 10m를 초과하는 파도가 찾아올 확률.

기하분포의 무기억성

$$P(X>n+m|X>n) = P(X>m)$$

1. 처음 성공할 때 까지 반복 시행 횟수와, 그 이후 다시 처음 성공할 때 까지 반복 시행 횟수는 독립이고 항등분포이다.
2. 각 시행은 독립이므로, 실패를 많이 했다고 해서 앞으로 성공할 가능성이 달라지지 않는다.
   어떤 제품을 이미 n시간 사용한 상태에서 앞으로 그 제품을 m시간 더 사용할 수 있을 확률은 최초 제품을 m시간 사용할 수 있을 확률과 같다는 것이다.

2년 이후로 첫 번째로 10m를 초과하는 파도가 찾아온다고 할 때, 이후 5년째에 다시 10m를 초과하는 파도가 올 확률.

 = 3년째에 10m를 초과하는 파도가 찾아올 확률.

포아송 분포 Poisson distribution

주어진 영역(e.g., 단위 시간) 내에서 사건이 발생한 횟수에 대한 확률분포.

1시간 동안 걸려온 전화 횟수

어떤 지역의 1일 교통사고 사망자 수

특정 시간 동안 톨게이트를 통과한 자동차 수

하루 동안 고장나는 기계의 수

음료수 1ml 당 박테리아의 수

1초 동안 방출된 방사능 입자의 수

소설책 한 면 당 오탈자의 수. 가 평균 몇 개 일지, 특정 값보다 크거나 작을 확률은 얼마인지.

근사 포아송 과정 Approximate Poisson Process

주어진 연속 구간에서 발생하는 사건이 다음 조건을 만족하면 그 사건은 모수 $m > 0$을 갖는 근사 포아송 과정을 따른다.

1. 구간의 길이가 $h$인 충분히 작은 길이의 구간에서 정확히 하나의 사건이 발생할 확률은 거의 $mh$다.
2. 각각의 구간에서 발생하는 사건들은 서로 독립이다.
3. 충분히 작은 길이의 구간에서 사건이 두 번 이상 발생할 확률은 거의 0이다.

→ 조건을 만족한다면 각 구간에서 사건이 발생하고, 발생하지 않고를 종합할 수 있다.

길이가 1인 구간에서 발생하는 사건의 수를 확률변수 $X$라 하고 이 구간을 $n$등분 하면, $P(X = x)$는 $n$개의 작은 구간 중 $x$개의 구간에서 사건이 발생할 확률로 근사할 수 있다.

이 때 각각의 작은 구간에서 사건이 발생할 확률이 $p = \frac{m}{n}$이고, 각 작은 구간에서 일어나는 사건은 베르누이 시행이므로 $B(n, \frac{m}{n})$인 이항 분포로 생각할 수 있다.

$$P(X = x) = {n \choose x} \left( \frac{m}{n} \right)^x \left( 1-\frac{m}{n} \right)^{n-x}$$

$n \to \infty$로 보내고 식 정리하면 다음과 같은 결과를 얻을 수 있다. 

( * 정리하면서 $\lim (1+\frac{1}{n})^n = e$ 사용해야 한다. )

포아송 분포의 확률질량함수

$$p(x; m) = \frac{m^x}{x!} e^{-m}$$

$m (= \lambda t)$는 단위 시간 동안 평균 발생 횟수.

확률변수 X의 확률밀도함수가 위와 같을 때, 확률변수 X는 포아송 분포를 따른다고 말한다.

$E[X] = m, \quad Var(X) = m$    

(* 식 정리해서 Taylor expansion 사용하면 시그마 사라진다.)