Samarali kodlarni qurishning Shennon-Fano algoritmi Xalalsiz kanallar uchun Shennon teoremasigabinoan qandaydir alfavitning harflaridan tuzilgan xabarlarni shunday kodlash mumkinki, bitta harfga to‘g‘ri keladigan ikkilik simvollarning o‘rtacha soni ushbu xabarlar manbai entropiyasiga yaqin bo‘ladi, ammo undan kam bo‘lmaydi. Bunday kodlar quyidagi shartni qanoatlantirsa maksimal samarali hisoblanadi.
Samarali kodlarni qurishning Shennon-Fano algoritmi Xalalsiz kanallar uchun Shennon teoremasiga binoan qandaydir alfavitning harflaridan tuzilgan xabarlarni shunday kodlash mumkinki, bitta harfga to‘g‘ri keladigan ikkilik simvollarning o‘rtacha soni ushbu xabarlar manbai entropiyasiga yaqin bo‘ladi, ammo undan kam bo‘lmaydi. Bunday kodlar quyidagi shartni qanoatlantirsa maksimal samarali hisoblanadi.
Teorema kodlashning muayyan usuliga ishora qilmaydi, ammo kod kombinatsiyasining har bir simvolini tanlaganda uning maksimal informatsiyani eltishini ta’minlashga harakat qilishi zarur. Demak, har bir simvol iloji boricha teng ehtimollik bilan 0 va 1 qiymatlarni olishi va har bir tanlov oldingi simvollar qiymatlariga bog‘liq bo‘lmasligi lozim.
Teorema kodlashning muayyan usuliga ishora qilmaydi, ammo kod kombinatsiyasining har bir simvolini tanlaganda uning maksimal informatsiyani eltishini ta’minlashga harakat qilishi zarur. Demak, har bir simvol iloji boricha teng ehtimollik bilan 0 va 1 qiymatlarni olishi va har bir tanlov oldingi simvollar qiymatlariga bog‘liq bo‘lmasligi lozim.
Kodlash nazariyasining ta’sir sohasi real (yoki xalalli) kanallar bo‘yicha ma’lumotlarni qamrab olsa, predmeti uzatilgan informatsiyaning korrektligini ta’minlash hisoblanadi. Boshqacha aytganda, kodlash nazariyasi signal uzatilganidan so‘ng ma’lumotlardan ishonchli va osongina foydali informatsiyani ajratib olishga imkon beruvchi ma’lumotlarni qanday joylashtirish lozimligini o‘rganadi. Ba’zida kodlash nazariyasini shifrlash bilan almashtirishadi, ammo bu noto‘g‘ri. Chunki kriptografiya teskari masalani yechadi. Uning maqsadi – ma’lumotlardan informatsiyani ajratib olishni qiyinlashtirish. Kodlash – xabarni berilgan kanal bo‘yicha uzatish uchun qulay holga keltirish. Oddiy misol tariqasida xabarni telegramma ko‘rinishida uzatishni ko‘rsatish mumkin. Bunda barcha simvollar telegraf kodida kodlanadi.
Kodlash nazariyasining ta’sir sohasi real (yoki xalalli) kanallar bo‘yicha ma’lumotlarni qamrab olsa, predmeti uzatilgan informatsiyaning korrektligini ta’minlash hisoblanadi. Boshqacha aytganda, kodlash nazariyasi signal uzatilganidan so‘ng ma’lumotlardan ishonchli va osongina foydali informatsiyani ajratib olishga imkon beruvchi ma’lumotlarni qanday joylashtirish lozimligini o‘rganadi. Ba’zida kodlash nazariyasini shifrlash bilan almashtirishadi, ammo bu noto‘g‘ri. Chunki kriptografiya teskari masalani yechadi. Uning maqsadi – ma’lumotlardan informatsiyani ajratib olishni qiyinlashtirish. Kodlash – xabarni berilgan kanal bo‘yicha uzatish uchun qulay holga keltirish. Oddiy misol tariqasida xabarni telegramma ko‘rinishida uzatishni ko‘rsatish mumkin. Bunda barcha simvollar telegraf kodida kodlanadi.
Bunday sistemalarni nazariy asoslash K.Shennon tomonidan amalga oshirilgan. U qator teoremalar orqali kodlash va dekodlash qurilmalarining kiritilishi lozimligini asosladi. Kodlash va dekodlash qurilmalarining vazifalari informatsiya manbai xususiyatlarini aloqa kanallari xususiyatlari bilan muvofiqlashtirishdir. Ularning biri (kodlash qurilmasi yoki koder) shunday kodlashni amalga oshirishi lozimki, natijada informatsiya ortiqchaligini bartaraf etish yo‘li bilan xabar birligida simvollarning o‘rtacha soni jiddiy kamaysin.