[확률 및 통계] Bayes' Rule (베이즈 정리)

Bayes' Rule (베이즈 정리)는 확률 이론 중에서 가장 중요한 이론 중 하나이다.

Bayes' Rule (베이즈 정리)를 알아보기 전에 Theorem of Total Probability (Rule of elimination)를 먼저 알아야 한다.

​

Theorem of Total Probability (Rule of elimination)

전체 표본공간 S에서 S의 partition이 \(B_1, B_2, B_3,..,B_k\)일 때, 사건 A의 확률은

와 같이 나타낼 수 있다. 이 때 가장 중요한 조건은 여러 사건 B가 전체 표본공간 S의 partition이라는 것이다. Partition이기 위해서는 다음과 같은 조건이 성립해야 한다.

 

Total Probability를 벤 다이어그램으로 표현하면 더 쉽게 이해할 수 있다.

Bayes' Rule (베이즈 정리)의 Total Probability

 

Bayes' Rule (베이즈 정리)

Total probability를 알았다면 Bayes' Rule (베이즈 정리)도 쉽게 알아볼 수 있다.

Total probability와 같은 조건 즉, 전체 표본공간 S에서 S의 partition이 \(B_1, B_2, B_3,..,B_k\) 이라면, 사건 A가 일어났을 때, 사건 B중 하나의 사건이 일어날 확률을 구하는 것이 Bayes' Rule (베이즈 정리)이다.

즉, 다음과 같은 조건부 확률을 구하는 것이다.

이 조건부 확률을 구하는 식은 다음과 같으며, 이 식이 Bayes' Rule (베이즈 정리) 이다.

​​

분모에 있는 식은 Total Probability를 구할 때 얻었냈던 식이다. 즉 \(P(A)\)이다. 조건부확률을 생각해보면 왜 이 식이 분모에 있는지 알 수 있다.

Bayes' Rule의 특징은 \(P(B_r|A)\)를 구하고자 할 때, \(P(A|B)\)와 \(P(B)\)를 통해서 구한다는 것이다.