6. Bayes Classifier

Problem of MDC is False Positive. 그렇다고 기준 거리를 줄이게 되면 False Negative가 많아지게 된다. 그렇기에 새로운 분류 기준이 필요해지고, Error 분류시 페널티를 기준으로 분류하는 것이 Bayes classifier이다.

 

Bayes classifier

Lowest probability of committing error

$x$가 $\omega_{j}$일 확률 $P(\omega_{j}|x)$와 $\omega_{i}$인데 $\omega_{j}$로 분류했을 경우의 loss인 $L_{ij}$를 사용한다.

 

Conditional average risk(loss)

$r_{j}(x) = \sum_{k=1} L_{kj} P(\omega_{k}|x)$

 

Use $P(A)P(B|A) = P(B)P(A|B)$

$r_{j}(x) = \sum_{k=1} L_{kj} P(x|\omega_{k}) P(\omega_{k})$

 

Use $L_{kj} = 1 - \zeta_{kj}$

$r_{j}(x) = \sum_{k=1} (1-\zeta_{kj})P(x|\omega_{k})P(\omega_{k})$

$r_{j}(x) = \sum_{k=1} P(x|\omega_{k})P(\omega_{k}) - \sum_{k=1} \zeta_{kj} P(x|\omega_{k})P(\omega_{k})$

 

Result is 

$r_{j}(x) = P(x) - P(x|\omega_{j})P(\omega_{j})$

 

Conditional average risk를 이용하면 unknown x를 smallest $r_{j}(x)$를 가지는 $\omega_{j}$로 분류하면 된다. 하지만 이전에 decision function에서 largest를 가지는 class를 선택하는 것이 편하다는 것을 배웠다. 따라서 다음과 같이 바꿔볼 수 있다.

 

$r_{j}(x) < r_{i}(x) $

$P(x) - P(x|\omega_{j})P(\omega_{j}) < P(x) - P(x|\omega_{i})P(\omega_{j})$

$P(x|\omega_{i})P(\omega_{i}) < P(x|\omega_{j})P(\omega_{j})$

 

we can use

$d_{j}(x) = P(x|\omega_{j})P(\omega_{j})$

 

 

Minimum Average Loss in Bayes Classifier

• Equally likely to occur, $P(\omega_{j}) = {1 \over \omega}$
• Gaussian function, $P(x|\omega_{j}) = {1 \over \sqrt(2\pi) \sigma_{j}}$ $exp(-{(x-m_{j})^{2} \over 2 \sigma_{j}^{2}})$

위 조건을 만족할 때, 최소의 loss를 가지게 된다. 만약 $P(\omega_{j})$ != ${1 \over \omega_{j}}$이면, $P(\omega_{j})$가 큰 쪽으로 분류된다.

 

N-dimensional pattern case

이전까지는 scalar x에 대한 식이었다. 보통은 vector 형태로 사용한다. 그때의 식은 다음과 같다.

 

$P(x|\omega_{j}) = (2\pi)^{-{n \over 2}} C_{j}^{-{1 \over 2}} exp(-{1 \over 2} (x-m_{j})^{T} C_{j}^{-1} (x-m_{j}))$

 

• $m_{j} = {1 \over N_{j}} \sum_{\omega_{j}} x$
• $C_{j} = {1 \over N_{j}} \sum_{\omega_{j}} xx^{T} - m_{j}m_{j}^{T}$

 

$C_{j}$는 covariance matrix로 vector의 element가 서로 얼마나 dependent한지 보여주는 척도이다.

 

위 식을 그대로 사용하기에는 계산에 불편함이 있다. Exponential function이 있으므로 log를 사용해서 계산한다. 어차피 분류가 목적이기에 order만 유지된다면 log를 사용해도 문제가 없으며, log는 monotonic increasing function이므로 order에 영향을 주지 않아 사용할 수 있다. 따라서 최종 Bayes classifier는 다음과 같다.

 

$d_{j}(x) = lnP(x|\omega_{j}) + lnP(\omega_{j})$

$d_{j}(x) = lnP(\omega_{j}) - {n \over 2}ln(2\pi) - {1 \over 2}ln(C_{j})$$- {1 \over 2} (x-m_{j})^{T} C_{j}^{-1} (x-m_{j})$

 

MDC in Bayes classifier

앞에서 다룬 Minimum Distance Classifier는 사실 Bayes classifier의 특정 조건을 만족한 결과이다.

• Pattern is Gaussian function.
• All covariance matrix is same and identity, $d_{j}(x) = ln(P({\omega_{j}})) + x^{T}C^{-1}m_{j} - {1 \over 2}m_{j}^{T}C^{-1}m_{j}$
• Equally likely to occur, $P(\omega_{j}) = {1 \over \omega}$

then the result is $d_{j}(x) = ||x-m_{j}||$