2.4. İnformasiyanın miqdarı üçün Şennon düsturu Çox hallarda baş verən hadisələri törədə biləcək mümkün hallar eyni ehtimallı olmur.
Məsələn, pul və ya zər simmetrik deyilsə, onun bir üzünün düşmə ehtimalı fərqlənəcəkdir.
Müxtəlif ehtimallı mümkün hallar üçün informasiyanın miqdarı düsturunu 1948-ci ildə
K.Şennon təklif etmişdir:
i N i i p p I 2
1
log
Burada: İ – informasiyanın miqdarı, N –
mümkün halların sayı,
i p - i-ci halın ehtimalıdır.
Fərz edək ki, qeyri-simmetrik piramidanın üzlərinin düşmə ehtimalları:
2
1
1
p ,
4
1
2
p ,
8
1
3
p və
8
1
4
p kimidir. Bu halda informasiyanın miqdarı:
75
,
1
8
14
)
8
3
8
3
4
2
2
1
(
)
8
1
log
8
1
8
1
log
8
1
4
1
log
4
1
2
1
log
2
1
(
2
2
2
2
I bit olar.
Eyni ehtimallı hallar üçün Şennon düsturu
N N I N i 1
log
1
2
1
şəklinə düşür.
Eyni ehtimallı hallarda bu informasiyanın miqdarı 2 bit (
I 2
2
4
2
və ya
2
4
log
2
I ) olur. Göründüyü kimi, eyni ehtimallı hallarda alınan informasiyanın miqdarı
daha çoxdur. Bu, əslində, maksimal miqdardır. İnformasiyanın miqdarının təyini üçün
təklif edilən bu yanaşma ehtimallı üsul adlanır. Bu üsul hər hansı suala cavab vermək üçün
azı nə qədər cəhd edilməsini təyin etməyə imkan verir. Məsələn, 32 hərfli əlifbanın hər
hansı hərfinin təyini üçün azı 5 addım tələb olunur.
