정보량을 수학적으로 수치화하고 분석하려는 학문이다. Shannon에 의해 시작된 학문으로 두가지 fundamental한 요소를 파악하는 것이 목표이다.
- the entropy H
- the channel capacity C
위에서 볼 수 있듯이, 통신하는 과정에서 정보 손실을 최소화하는 것이 목표이다. 초기에는 어느정도의 에러로 정보를 전송하는 것이 불가능하다고 여겨졌다. 그런데, Shannon이 error 발생 확률을 거의 0이 될 수 있음을 보임으로써, channel noise로 capacity를 구해 정보량의 손실 없이 통신하는 방법을 제안한다.
entropy of source < capacity of channel
= error-free
'Study > Coding and Information Theory' 카테고리의 다른 글
[05] Entropy Rates (1) | 2024.04.10 |
---|---|
[04] AEP, Asymptotic Equipartition Property (0) | 2024.04.10 |
[03-2] Jensen's Inequality (0) | 2024.04.09 |
[03-1] Entropy, Relative Entropy & Mutual Information (0) | 2024.04.09 |
[02] Brief review of Probability (1) | 2024.04.09 |