Telekommunikatsiya texnologiyalari

Shannon tomonidan aniqlangan va boshqa fiziklar tomonidan qo'shilgan informatsion entropiya termodinamik entropiya tushunchasi bilan chambarchas bog'liq. Bu ma'lumotlarning kamaytirilmaydigan (siqilmaydigan) miqdorini, ma'lum tizimdagi tarkibni (odatda, qabul qilingan signalda) bildiruvchi qiymatdir. Axborot nazariyasida Statistik mexanikada entropiya axborot entropiyasi bilan chambarchas bog'liq - xabarlarning noaniqligi o'lchovi, ular x_1,ldots,x_n belgilar to'plami va p_1,ldots,p_n xabarda ushbu belgilarning paydo bo'lish ehtimoli bilan tavsiflanadi. Axborot nazariyasida diskret ehtimollik taqsimotiga ega bo'lgan xabarning entropiyasi miqdordir

• Shannon tomonidan aniqlangan va boshqa fiziklar tomonidan qo'shilgan informatsion entropiya termodinamik entropiya tushunchasi bilan chambarchas bog'liq. Bu ma'lumotlarning kamaytirilmaydigan (siqilmaydigan) miqdorini, ma'lum tizimdagi tarkibni (odatda, qabul qilingan signalda) bildiruvchi qiymatdir. Axborot nazariyasida Statistik mexanikada entropiya axborot entropiyasi bilan chambarchas bog'liq - xabarlarning noaniqligi o'lchovi, ular x_1,ldots,x_n belgilar to'plami va p_1,ldots,p_n xabarda ushbu belgilarning paydo bo'lish ehtimoli bilan tavsiflanadi. Axborot nazariyasida diskret ehtimollik taqsimotiga ega bo'lgan xabarning entropiyasi miqdordir

Sn = - ∑PkInPk, k qayerda ∑Pk = 1. k Har qanday ehtimollik bir ga teng bo'lganda (qolganlari esa - nolga), ya'ni ma'lumot to'liq bashorat qilinadigan va qabul qiluvchi uchun yangi narsa bo'lmasa, axborot entropiyasi nolga teng. Barcha pk ehtimolliklar bir xil bo'lganda, teng ehtimolli taqsimot uchun entropiya eng katta qiymatni oladi; ya'ni xabar bilan hal qilingan noaniqlik maksimal darajada bo'lganda. Informatsion entropiya ham termodinamik entropiyaga ega bo'lgan barcha matematik xususiyatlarga ega. Masalan, u qo'shimcha hisoblanadi: bir nechta xabarlarning entropiyasi alohida xabarlarning entropiyalari yig'indisiga teng.

• Sn = - ∑PkInPk, k qayerda ∑Pk = 1. k Har qanday ehtimollik bir ga teng bo'lganda (qolganlari esa - nolga), ya'ni ma'lumot to'liq bashorat qilinadigan va qabul qiluvchi uchun yangi narsa bo'lmasa, axborot entropiyasi nolga teng. Barcha pk ehtimolliklar bir xil bo'lganda, teng ehtimolli taqsimot uchun entropiya eng katta qiymatni oladi; ya'ni xabar bilan hal qilingan noaniqlik maksimal darajada bo'lganda. Informatsion entropiya ham termodinamik entropiyaga ega bo'lgan barcha matematik xususiyatlarga ega. Masalan, u qo'shimcha hisoblanadi: bir nechta xabarlarning entropiyasi alohida xabarlarning entropiyalari yig'indisiga teng.