[02] Brief review of Probability

Axiomatic Approach, 공리적 접근

수학이론의 응용을 "Measure Theory"라고 한다. 보통 triplet $(\Omega, F, P)$으로 표현한다.

• $\Omega$ : sample space / 모든 가능한 outputs
• $F$ : $\sigma$-algebra / 모든 가능한 events
• $P$ : 확률

몇가지 특징들

 

Conditional Probability

A와 B가 event이고 $P(A) > 0$이면,

$$P(B|A) = \frac{P(A \cap B)}{P(A)}$$

$$P(A \cap B) = P(B|A)P(A) = P(A|B)P(B)$$

 

위의 관계에서 Bayes rule도 유도할 수 있다.

$$P(A|B) = \frac {P(B|A)P(A)} {P(B)}$$

 

Total Probability Theorem

$B_i \subset \Omega$ 이고 $B_i \cap B_j = \emptyset$이면,

 

Independence between events

A와 B가 독립인 경우에 다음의 관계를 만족한다.

Event가 3개일 때도, 동일하다.

 

Random Variable

Cumulative Distribution Function, CDF

Random variable X가 x보다 작은 경우의 확률을 의미한다.

 

식을 잘 보면 RV의 right에서 continuous하다는 것을 알 수 있다.

 

Discrete한 RV에 대해서는 다음처럼 step function을 정의해서 표현할 수 있다.

 

Probability Density Function, PDF

CDF의 단점은 어떤 값이 확률적으로 더 잘 나오는지, 가능성이 높은지 파악하기 어렵다는 점이다. 전체구간 $[-\infty, \infty]$을 잘게 나눠서 확인하려는 것이 PDF이다.

 

CDF의 derivate, $P_x(x) = \frac {d} {dx} F_x(x)$

 

일반적으로 다음의 관계를 가진다.

 

Discrete Random Variable

앞에는 continuous RV였다. 이제는 discrete한 RV에 대해 나타낸다.

 

Discrete Random Vector

Joint Probability Mass Function, Joint PMF

$Z=[X,Y]$인 random vector라고 할 때,

 

Marginal Distribution

다변량 확률 분포에서 한 변수의 확률 분포를, 다른 변수들은 무시하고 분석한 것이다.

위처럼 사용하기 보다는 $\sum$을 $P_x(x)$로 표현하는 방식으로 많이 사용된다.

 

Conditional Distribution

 

Independent

 

X와 Y가 독립일 경우, 위와 같은 특징을 가지기 때문에 결과적으로 conditional distribution은 아래처럼 결정된다.

 

Moments of Discrete Random Variable 

n-th order의 moment는 다음처럼 정의된다.

 

n=1이면, X의 mean이 된다. $m_x = E[X]$

 

m-th order central moment

 

m=2이면, X의 variance가 된다. $\sigma^2 _x = E[(x-m_x)^2]$

 

Joint moment n-th order(X) and k-th order(Y)

 

Joint central moment n-th order(X) and k-th order(Y)

 

Correlation and Covariance

Correlation

Joint moment of order 1 and 1이다. 두 변수 간의 관계의 강도를 나타내는 개념으로 한 변수의 변화에 다른 변수의 변화와 잘 연관되어 있음을 의미한다.

 

Covariance

Joint central moment of order 1 and 1이다. 두 변수 간의 관계가 양의 관계인지 음의 관계인지, 그리고 그 강도가 얼마나 되는지 나타낸 것이다. 한국말로는 공분산이라고 한다.

 

Correlation coefficient

두 변수 간의 선형 관계의 강도와 방향을 나타내는 수치로, 아래의 상관 계수는 피어슨 상관계수를 나타낸다. -1은 완벽한 음의 선형 관계, 1은 양의 선형 관계, 0은 선형 관계가 없음을 의미한다.