Teoria informaţiei

GHEORGHE CLITAN TEORIA INFORMAŢIEI.

Note de curs

TEORIA INFORMAŢIEI

Note de curs

I. Ipostazele contemporane de bază ale teoriei informaţiei

● teoria informaţiei în sens larg:
― definiţie: diferitele reprezentări sistematice ale eficienţei transferului de informaţie în comunicarea mesajelor;
― explicitarea definiţiei poate fi făcută prin utilizarea termenilor definitorii ─ pornind de la etimologia lor ─ cu înţelesul pe care îl au nu numai în limbajul specializat, ci şi în cel natural:
1) „reprezentări sistematice”: reprezentări ştiinţifice ─ întrucât ştiinţa poate fi interpretată drept „cunoaştere adunată în sistem” [Botezatu, P., 1973, p. 91.], iar reprezentarea drept „înfăţişare, redare, reproducere a unui lucru” prin punerea lui într-o anumită formă sau prin exprimarea formei lui ca „relaţie între mai multe mărimi” [DEX, 1975, p. 799] ─ ce se regăsesc sub 2 ipostaze principale în cadrul teoriei contemporane a informaţiei:
A) reprezentări matematice ale cantităţii de informaţie conţinută de un mesaj comunicat, făcând abstracţie de înţelesul (semnificaţia) acestuia, sistemul lor alcătuind teoria matematică a informaţiei [Shannon, C. E., and Weaver, W., The Mathematical Theory of Communication, University of Illinois Press, 1949];
B) reprezentări logico-filosofice ale semnificaţiilor/înţelesurilor vehiculate de mesajul comunicat, sistemul lor alcătuind teoria semantică a informaţiei [Carnap, R., and Bar-Hillel, Y., An Outline of a Theory of Semantic Information, Tehnical Report No. 247, M.I.T., Research Laboratory in Electronics, 1952];
2) „eficienţă”: maximizarea efectului util (transferul de informaţie, indiferent de factura acesteia) prin minimizarea consumului de mijloace (elementele necesare transferului şi cheltuite pentru realizarea lui);
3) „transfer”: transmisia şi procesarea informaţiei, mai pe larg spus: captarea, codificarea, transmiterea, stocarea, măsurarea şi prelucrarea ei;
4) „informaţie”: ştire, veste („a înştiinţa”: acţiunea de a informa şi rezultatul ei) [DEX, 1975, p. 428] ─ ca noutate transmisă despre ceva, de către cineva, cuiva ─ care, din punct de vedere material, se manifestă oarecum contradictoriu şi conduce spre înţelesurile sale ştiinţifice:
A) entitate lipsită de o formă proprie: in-formaţie, unde particula „in” desemnează chiar lipsa unei forme proprii (vezi latinescul informis = „fără formă”) [Gutu, Gh., 1966, p.166], dar care se poate realiza ca eveniment (semnal) dintr-o mulţime de evenimente (semnale) posibile ─ înţelesul din teoria matematică a informaţiei;
B) entitate transpusă într-o altă formă, în lipsa unei forme proprii: in- formaţie, unde accentul cade pe căutarea unei forme potrivite de ipostaziere (vezi latinescul informo = „a forma”, „a pune în formă”) [Gutu, Gh., Ibidem.], formă (enunţ, semn, simbol, semnal, date etc.) denumită în literatura de specialitate „purtător de informaţie” ─ înţelesul din teoria semantică a informaţiei;
5) „comunicare”: la fel, adică ştire, veste („a înştiinţa”: acţiunea de a comunica şi rezultatul ei), însă ca relaţie, legătură, raport informaţional(ă) [DEX, 1975, p. 179] între cineva şi altcineva, motiv pentru care este adeseori identificată cu informaţia (de exemplu, Shannon şi Weaver pun semnul identităţii între informaţie şi comunicare atunci când vorbesc de „teoria matematică a comunicaţiei” în lucrarea lor deja amintită);
6) „comunicaţie”: legătură, contact, mijloc de comunicare între instanţe diferite, dar mai ales sistem tehnic folosit pentru realizarea comunicării (totalitatea mijloacelor tehnice de transmitere a informaţiilor sau de legătură şi contact între puncte diferite: poştă, telefon, radio, televiziune, cinema, publicaţii, internet etc.) [DEX, 1975, pp. 179-180] ;
7) „mesaj”: uzual tot ştire, veste („a înştiinţa”: aici acţiunile de a comunica şi informa, plus rezultatul lor), dar ca ceea ce se transmite [DEX, 1975, p. 541] în procesul comunicării de la un agent la altul, ştiinţific spus ca:
A) evenimente de comunicaţie măsurabile, în succesiunea lor discretă sau continuă, deci repartizate în timp [Wiener, N., 1966, p. 31]: obiect de studiu al teoriei matemantice a informaţiei;
B) enunţuri proferate, într-o anumită „structură de semnificaţii compusă din semne şi coduri” [O' Sullivan, T., Hartley, J., Saunders, D., Montgomery, M., Fiske, J., 2001, pp. 202, 344], deci relaţionate ca purtători de informaţii: obiect de studiu al teoriei semantice a informaţiei.

● teoria informaţiei în sens restrâns = teoria matematică a informaţiei:

― definiţie: „o reprezentare matematică a condiţiilor şi parametrilor ce afectează transmiterea şi procesarea informaţiei” [Encyclopædia Britannica from Encyclopædia Britannica Premium Service, http://www.britannica.com/eb/article-9106012];
― explicitarea definiţiei:
1) apariţia şi formularea acestei teorii ca teorie a comunicării / comunicaţiei se leagă mai ales de numele a 3 cercetători americani:
A) în primul rând de numele matematicianului şi inginerului specialist în electrotehnică Claude Elwood Shannon care, ca cercetător la celebrul Massachusetts Institute of Tehnology (MIT, unde ─ în perioada formării sale ─ l-a avut ca profesor pe Norbert Wiener), dar şi ca angajat din 1941 al Laboratoarelor Bell System (Compania Bell Telephone era o filială a întreprinderii de telecomunicaţii American Telegraph & Telephone, precurtat ATT), a publicat de-a lungul anului 1948 trei studii în Bell System Tehnical Journal pe care le-a reluat sub formă de carte în 1949 împreună cu o introducere a lui Warren Weaver (în The Mathematical Theory of Communication); dintre cele 3 studii, se detaşează ca importanţă pentru fundamentarea din punct de vedere matematic a teoriei informaţiei cel intitulat A Mathematical Theory of Communication, 1948, http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html;
B) în al doilea rând de numele şefului departamentului ştiinţelor naturale din cadrul Fundaţiei Rockekeller, coordonator al cercetării asupra marilor calculatoare în timpul celui de-al II-lea război mondial, Waren Weaver, autor al studiului Recent Contributions to The mathematical Theory of Communication, 1949, http://www.uoregon.edu/~felsing/virtual_asia/info.html, reluat ca Introducere la cartea alcătuită din cele 3 studii din 1948 ale lui C. E. Shannon; meritul principal al Introducerii ţine de reformularea problemei inginereşti a comunicaţiei ─ enunţată pentru prima dată de Shannon ─ ca problemă mai largă a comunicării pe trei nivele;
C) în al treilea rând de numele întemeietorului ciberneticii ca ştiinţă, Norbert Wiener, profesor de matematică la MIT, preocupat de problemele reţelelor electrice ale tehnicii de calcul în timpul celui de-al II-lea război mondial şi autor al lucrării Cybernetics or Control and Comunication in the Animal and the Machine, John Wiley & Sons, New York, 1948, unde întrevede că la baza dezvoltării societăţii viitoare va sta un alt gen de „materie primă”, care este informaţia (mai precis spus „cantitatea de informaţie” ca „măsură a gradului de organizare dintr-un sistem”) şi opusă entropiei („măsura gradului de dezorganizare a unui sistem”) [Wiener, N., 1966, pp.33-34]; lucrării lui Wiener din 1948, care valorizează teoria informaţiei ca parte a ciberneticii, îi lipsea tocmai aparatul matematic de tratare a informaţiei ce a fost oferit în acelaşi an de către Shannon;
2) scopul acestei teorii [Bremer, M.& Cohnitz, D., 2002, p.5]:
A) calcularea cantităţii de informaţie ce poate fi transmisă pe un canal de comunicaţie şi procesată într-un proces de comunicare:
a) măsurarea cantităţii de informaţie;
b) măsurarea capacităţii canalului de comunicaţie;
B) maximizarea eficienţei proceselor de transmitere şi procesare a informaţiei (găsirea unei codificări eficiente a mesajului):
a) determinarea vitezei de transmitere a informaţiei printr-un canal;
b) determinarea gradului de eliminabilitate a zgomotului de pe un canal;
C) aplicaţii la comunicarea discretă (prin limbaj scris) şi continuă (prin limbaj oral).
3) dezvoltări actuale ale acestei teorii:
A) teoria algoritmică sau computaţională a informaţiei: Chaitin, G. J., Algorithmic Information Theory, Cambridge: Cambridge University Press, 1987;
B) teoria informaţiei-Fisher: Frieden, B. R., Science from Fisher Information: A Unification, Cambridge: Cambridge University Press, 2004.

● teoria semantică a informaţiei:

― definiţie: reprezentările logico-filosofice ale condiţiilor şi parametrilor ce afectează comunicarea (semnificaţia mesajelor, transmiterea şi prelucrarea datelor comunicate);
― explicitarea definiţiei poate fi făcută prin trecerea în revistă a actualelor abordări din teoria semantică a informaţiei [Floridi, L. , 2004, pp. 1-3]:
1) abordări sau reprezentări reducţioniste: prototipul lor este aşa-numita „teorie unificată a informaţiei” (Unified Theory of Information = UTI: pagina web: http://www.uti.at/), destul de generală încât să poată captura toate conceptele majore ale informaţiei (de la cel al lui Shannon la cel al lui Baudrillard, de la cel de informaţie genetică la cel de informaţie neuronală), dar şi suficient de specifică încât să poată distinge nuanţele semantice ale definiţiilor acestor concepte:
A) ideea centrală a teoriei unificate a informaţiei e că orice tip de informaţie este reductibil, în ultimă instanţă, la un „concept-mamă”, sursa tuturor instanţierilor posibile, dar imposibil de prins într-o definiţie unificată a informaţiei: un astfel de concept are o mare flexibilitate şi putere explicativă, intervenind ca explicandum în multe dintre explicaţiile oferite de teoriile ştiinţifice şi depinzând de mănunchiul cerinţelor şi dezideratelor ce orientează o anume teorie;
B) punctele de plecare în elaborarea teoriei unificate a informaţiei sunt:
a) diferitele definiţii date informaţiei în strânsă legătură cu problema comunicării (definiţia sintactică formulată de Shannon, definţia semantică oferită de Carnap şi Bar-Hillel şi definiţia pragmatică − informaţia = „resursă pentru procesele de luare a deciziilor” − propusă de Weizsäcker): toate acestea conduc spre un nou concept al informaţiei care să integreze variatele aspecte ale proceselor informaţionale, să includă înţelesurile tradiţionale ale termenului „informaţie” şi să dezvolte vechea teorie a informaţiei într-una nouă, universală, care să ofere un model ierarhic al informaţiei;
b) diferitele dezvoltări ale teoriei informaţiei şi teoriile istorice şi sociologice ale societăţii informaţionale: toate aceste teorii pot fi reunite şi dezvoltate sub forma unei noi ştiinţe a informaţiei care să integreze 3 nivele de cercetare (nivelul teoriei despre societate şi ştiinţă, nivelul sociologiei şi nivelul metodologiei);
C) critica teoriei unificate a informaţiei se originează în luarea de poziţie a lui Shannon faţă de ea: cuvântului „informaţie” i-au fost date diferite semnificaţii în domeniul general al teoriei informaţiei, motiv pentru care e greu de crezut că un singur concept al informaţiei ar putea da seama în mod satisfăcător de multitudinea de posibile aplicaţii din acest domeniu general;
2) abordări sau reprezentări antireducţioniste, care aduce obiecţii pretenţiei reducţioniste de a identifica conceptul cantitativ al informaţiei elaborat de Shannon cu conceptul-mamă vizat de teoria unificată a informaţiei şi de a fonda teoria unificată a informaţiei pe teoria matematică a comunicaţiei:
A) ideea principală susţinută de antireducţionişti e cea a naturii diverse a conceptului de informaţie şi a fenomenelor corespunzoroare lui: diferitele specii de informaţie nu pot fi reduse la o singură tulpină;
B) punctul lor de plecare îl constituie detaşarea de reducţionismul tare: în vreme ce reducţionismul tare argumentează că toate conceptele informaţiei descind dintr-o aceeaşi familie, antireducţionismul susţine că diferitele concepte ale informaţiei, chiar dacă prezintă anumite „asemănări de familie”, au totuşi rădăcini diferite;
C) critica antireducţionismului: strategiile sale sunt în esenţă negative, axate pe respingerea generalizărilor vagi şi a confuziilor din teoria unificată a informaţiei (prin analiza genealogică pe care o propune, ascunzând astfel divergenţele reale, acesata dă impresia superficială de rezolvare definitivă a dificultăţilor) şi conducând mai degrabă la impas decât la o soluţie;

3) abordări sau reprezentări nonreducţioniste, care încearcă să depăşească dihotomia dintre reducţionism şi antireducţionism prin înlocuirea modelului ierarhic reducţionist cu o reţea de concepte conexe, influenţându-se dinamic şi mutual, fără a fi în mod necesar genetice sau genealogice:

A) ideea principală a nonreducţioniştilor (Baudrillard, Foucault, Lyotard, McLuhan, Rorty, Derrida ş.a.) e cea a inexistenţei unui concept-cheie al informaţiei deoarece atunci când un concept important devine central, imediat unul periferic joacă un rol de contrabalansare: informaţia nu este în, din sau despre realitate, ea este un produs al cercului autoreferenţial al comunicării hermeneutice (interpretare, putere, naraţie, mesaj sau mediu, conversaţie, construcţie, marfă ş.a.m.d.);
B) punctul lor de plecare îl constituie „analiza hypertext-ului”, „centralizată” în moduri diferite sau „complet descentralizată” şi poate „multicentrată”:
a) abordările „centralizate” interpretează diferitele înţelesuri, utilizări, aplicaţii şi tipuri de informaţie ca un sistem gravitând în jurul unei noţiuni centrale având prioritate teoretică;
b) abordările „descentralizate” sau „multicentrate” consideră că noţiunea centrală lucrează ca un mecanism hermeneutic care influenţează, interrelaţionează şi favorizează accesul altor noţiuni în sistem;
C) rolul de noţiune centrală în abordările nonreducţioniste din filosofia informaţiei îl deţine informaţia semantică orientată epistemic sau, altfel spus, factuală;

II. Informaţia în „reprezentarea sistematică” a teoriei matematice a informaţiei

● reprezentarea neformală a informaţiei în teoria matematică a informaţiei:
― informaţia = o selecţie de semnale sau simboluri dintr-un set de posibile semnale sau simboluri transmise sub formă de mesaj de cineva către altcineva (agenţi ai comunicării: oameni, animale, maşini ş.a.) sau, altfel spus, ocurenţele sau evenimentele din care se constituie un mesaj (numite data = „date”), de regulă definită ca:
1) predictibilitate a semnalelor sau simbolurilor prin care se transmite un mesaj, sub aspectul formei lor fizice şi nu al semnificaţiei sau înţelesului lor;
2) măsură sau mărime matematică ce exprimă incertitudinea înlăturată prin realizarea unui eveniment comunicaţional (semnal, simbol, mesaj etc.) dintr-un set de evenimente comunicaţionale posibile (semnale, simboluri, mesaj etc.);
― informaţia = cantitatea de date brute antrenate în rezolvarea unei probleme, mai precis spus „funcţia rezultatelor posibile la o problemă, egală cu deficitul de informaţie pe care îl înlătură” (cantitatea de informaţie = numărul de întrebări Da-Nu necesar determinării a ceea ce datele comunică), cum s-ar manifesta de pildă în următoarele 2 situaţii [Floridi, L. , 2005, p. 7]:
1) când cineva aruncă o monedă în sus şi îi cere altcuiva să ghicească care simbol gravat pe feţele monedei (cap, pajură) va fi vizibil la căderea ei pe un suport, ambii sunt într-o stare de deficit de informaţie (altfel spus, de „incertitudine”) pe care şi-o pot înlătura încercând să răspundă doar la întrebarea dacă rezultatul este cap (c) sau pajură (p), din cele două posibile răspunsuri (c şi p) fiind posibil numai unul (c sau p), acesta reprezintând unitatea de informaţie ce înlătură starea lor de incertitudine (numită în literatura de specialitate „bit”);
2) dacă se aruncă două monede, rezultatul poate fi cap-cap (c, c), cap-pajură (c, p), pajură-cap (p, c), pajură-pajură (p, p), fiind aşadar necesare două întrebări pentru înlăturarea incertitudinii, fiecare rezultat conţinând 2 unităţi de informaţie (2 biţi), şi aşa exemplele pot continua mai departe (cu 3, 4, ...n monede);

● reprezentarea formală a informaţiei în teoria matematică a informaţiei (uneori sub denumirea de „informaţie statistică”):

― reprezentarea formală a informaţiei din teoria matematică a informaţiei cu ajutorul calculul informaţional elaborat de Shannon [Floridi, L., 2007, secţiunea 2.1]:
1) exemplificări de situaţii informative în comunicare:
A) o sursă de informaţii cu un singur element (numită „mecanism, dispozitiv sau sistem de producere a informaţiilor unar”), care răspunde la orice întrebare de tipul DA-NU cu acelaşi mesaj (răspuns: ori DA, ori NU, nicidecum DA sau NU, DA şi NU), nu prin tăcere şi mesaj, întrucât tăcerea reprezintă şi ea un mesaj (răspuns), dar implicit: astfel înţeleasă, o sursă complet tăcută este o sursă ce implică o singură componentă informativă;
B) un mecanism, dispozitiv sau sistem binar, care poate produce două simboluri, ca de exemplu o monedă A cu cele două simboluri echiprobabile ale sale (cap, pajură):
a) înainte de a da cu banul, receptorul (de exemplu, un calculator) se află într-un stadiu deficitar de date, mai mare ca zero, receptorul „neştiind” ce simbol va fi produs de către dispozitiv (Shannon a utilizat termenul tehnic de „incertitudine” pentru a se referi la deficitul de date, într-un context non-matematic acest termen putând fi unul foarte ambiguu datorită puternicelor sale conotaţii epistemologice: de reamintit aici că receptorul poate fi şi o simplă maşinărie pentru care stările psihologice, mentale şi doxastice sunt, în mod evident, irelevante);
b) după ce s-a dat cu banul, sistemul produce o cantitate de informaţie care este o funcţie a posibilelor răspunsuri (produse) – în acest caz: 2 simboluri echiprobabile – şi egală cu deficitul de date pe care îl îndepărtează;
C) un mecanism, dispozitiv sau sistem mai complex, format din două monede A şi B, sistemul AB putând să producă 4 variante ordonate : <c, c>, <c, p>, <p, c>, <p, p>, ceea ce înseamnă că:
a) sistemul AB generează un deficit de date de 4 unităţi, fiecare pereche fiind un simbol în alfabetul sursă;
b) sistemul AB îndepărtează, prin ocurenţa fiecărui simbol (<_, _>), un deficit de date mai mare decât ocurenţa unui simbol în sistemul A, ceea ce înseamnă că fiecare simbol furnizează mai multe informaţii;
D) un mecanism, dispozitiv sau sistem mai complex, format din trei monede A, B şi C, sistemul ABC putând produce un deficit de date de 8 unităţi, mărind cantitatea de informaţie a fiecărui simbol din cadrul său, şi aşa mai departe;
E) generalizarea exemplificărilor anterioare, numărul posibilelor simboluri fiind N:
a) pentru N = 1: cantitatea de informaţie produsă de un mecanism, dispozitiv sau sistem format dintr-un singur element este 0;
b) pentru N = 2, întrucât mecanismul, dispozitivul sau sistemul produce un simbol din două simboluri echiprobabile, se furnizează o unitate de informaţie (să zicem: 1 bit);
c) pentru N = 4: avem suma dintre cantitatea de informaţie oferită de către un mecanism, dispozitiv sau sistem producând unul din două simboluri echiprobabile (moneda A, în exemplul de mai sus) şi cantitatea de informaţie furnizată de alt mecanism producând şi el unul din două simboluri echiprobabile (moneda B), cu valoarea de două unităţi de informaţie (2 biţi, de pildă), în vreme ce numărul total al simbolurilor echiprobabile este obţinut prin înmulţirea numărului simbolurilor monedei A cu cel ale simbolurilor monedei B, fiind 4;
d) pentru N > 4:
d₁) măsura cantităţii de informaţie ar trebui să fie o funcţie a probabilităţii cu care simbolurile apar în urma aruncării monezilor sau a unui zar, iar această funcţie se numeşte în matematică „logaritm”, respectiv „logaritm în baza 2” în cazul folosirii bit-ului ca unitate de măsură (de aici înainte log însemnând log₂, adică logaritmul în baza 2 dintr-un număr n = puterea la care 2 trebuie ridicat pentru a da numărul n; de exemplu, log₂ 8 = 3, deoarece 2³=8): logaritmii au proprietatea de a transforma înmulţirea simbolurilor în adunarea unităţilor de informaţii, iar calculul informaţional cu ajutorul logaritmului în baza 2 oferă avantajul exprimării informaţiei în unităţi binare;
d₂) formula de calcul a cantităţii de informaţie pentru un alfabet de N simboluri echiprobabile, este dată de ecuaţia informativităţii medii per simbol:
I = log₂(N) (biţi de informaţie per simbol),
formulă ce poate fi particularizată în tabelul de mai jos pentru exemplele discutate anterior:

Mecanism	Alfabet	Biţi de informaţie per simbol
Un sistem unar	1 simbol	log(1)= 0
O monedă	2 simboluri echiprobabile	log(2)= 1
Două monede	4 simboluri echiprobabile	log(4)= 2
Un zar	6 simboluri echiprobabile	log(6)= 2.58
Trei monede	8 simboluri echiprobabile	log(8)= 3

2) calcularea informaţiei relativ la un eveniment (sau un simbol):

A) probabilitatea P_i a unui eveniment sau simbol informaţional i (purtător de informaţie) poate fi „extrasă” din ecuaţia I = log₂(N) – un caz special în care simbolurile sunt echiprobabile – folosindu-ne de câteva proprietăţi elementare ale funcţiei logaritmice:
I = log(N) = - log (N^-1) = - log (1/N) = - log (P_i),
unde
P_i = 1/N
a) în cazul unei singure aruncări a unei monede, probabilitatea unui eveniment sau simbol informaţional i este suma dintre probabilitatea apariţiei „cap” şi probabilitatea apariţiei „pajură”: P_i = P_c + P_p = 0,5 + 0,5 = 1);
b) în cazul unui şir S de aruncări a unei singure monede, probabilitatea de ocurenţă a evenimentului sau simbolului al i-lea este exprimată de formula
,
unde simbolul sigma este o prescurtare care indică faptul că dacă adăugăm toate valorile probabilităţilor de la i = 1 la i = N suma lor este egală cu 1 şi că moneda pare să se manifeste o anumită „subiectivitate” (probabilitatea apariţiei „cap” şi probabilitatea apariţiei „pajură” nu mai sunt egale, ci suferă de o anumită „incertitudine”, o ipostază a „incertitudinii” lui Shannon): spre deosebire de moneda normală, o monedă uşor subiectivă ar trebui să producă mai puţin de 1 bit de informaţie, dar mai mult de 0, ceea ce – generalizând – ne conduce la susţinerea că cu cât frecvenţa sau probabilitatea unui eveniment sau simbol în S este mai mare, cu atât moneda produce mai puţină informaţie, până în momentul când această monedă este atât de subiectivă, de părtinitoare, încât produce întotdeauna acelaşi eveniment sau simbol şi încetează să mai fie informativă;
c) înţelesul intuitiv al formulei probabilităţii de ocurenţă a evenimentului sau simbolului al i-lea dintr-un şir S: probabilitatea este asemenea unui tort servit la o sărbătoare, tăiat în felii din ce în ce mai subţiri în funcţie de numărul invitaţilor, dar a căror însumare la sfârşitul petrecerii nu conduce niciodată la mai mult de 1 tort (cel iniţial), ci – în cel mai rău caz – poate fi egală cu 0, însă niciodată nu poate deveni „negativă”;

B) calcularea informativităţii medii a lui S presupune să ştim să calculăm nu numai informativitatea simbolului al i-lea, în general, ci şi lungimea unui şir S:

a) informativitatea U a simbolului al i-lea poate fi exprimată prin analogie cu I = - log (P_i) în ecuaţia :

U_i = - log (P_i),
ceea ce semnifică cu cât probabilitatea de ocurenţă a unui simbol este mai mică, cu atât este mai mare informativitatea ocurenţei sale;
b) lungimea unui şir S, în general: să presupunem că moneda subiectivă, aruncată de 10 ori, produce şirul: <c, c, p, c, c, p, p, c, c, p>, situaţie în care lungimea şirului S (în cazul nostru egală cu 10) este egală cu numărul de ocurenţe a simbolului de tip c („cap”) adunat cu numărul de ocurenţe al simbolului de tip p („pajură”); generalizând această situaţie pentru i tipuri de simboluri, obţinem formula:
S =
C) calcularea informativităţii medii a unui şir S de evenimente sau simboluri, Inf_(s), se face după cum urmează: din ecuaţiile
U_i = - log (P_i)
şi
S =
observăm că Inf_(s) este suma informativităţilor fiecărui simbol împărţită la suma tuturor simbolurilor 
,
formulă ce poate fi simplificată în
,
unde S/S este frecvenţa sau probabilitatea cu care simbolul al i-lea apare în S, când S este finit, dar dacă lungimea lui S este nedeterminată (cât de mare se vrea), atunci frecvenţa simbolului al i-lea devine probabilitatea acestuia P_i, ceea ce – prin generalizare – conduce la formula
,
în care, dacă substituim U_i cu - log (P_i), obţinem formula lui Shannon pentru incertitudine (H), adică
Inf_(s) = H = - (biţi per simbol),
unde H poate fi interpretată ca „deficit de date” (de fapt, formula originală a lui Shannon include o constantă pozitivă K care se referă la alegerea unei unităţi de măsură, biţi în cazul nostru, Shannon folosind litera H în cinstea lui R. V. L. Hartley, predecesor al său în descoperirea acestei formule);
― reprezentarea formală a informaţiei în teoria matematică a informaţiei cu ajutorul calculului economic (potrivit căruia informaţia este definită ca întâlnirea dintre o dată şi problemă pe piaţa elastică a cererii şi ofertei de date) [http://fr.wikipedia.org/wiki/Théorie_de_l'information]:
1) exemplificări de situaţii informative în comunicare:
A) problematizarea unei situaţii informative în termeni economici („cost”, „preţ” etc.): Să luăm în considerare N cutii numerotate de la 1 la N. Un individ A a ascuns la întâmplare un obiect într-una dintre aceste cutii. Un individ B trebuie să găsească numărul cutiei unde se găseşte obiectul ascuns. Pentru aceasta, el are dreptul de a pune întrebări individului A la care acesta din urmă trebuie să răspundă, fără a minţi, doar prin DA sau NU. Dar fiecare întrebare pusă reprezintă un „cost” de plată pentru individul B (să zicem 1 euro). Un individ C ştie în ce cutie este ascuns obiectul. El are posibilitatea de a vinde această informaţie individului B. B n-ar accepta acest târg decât în situaţia în care „preţul” cerut de C este inferior sau egal costului mediu pe care B ar fi dispus să-l plătească lui A pentru a găsi cutia punându-i întrebări.
B) soluţionare şi generalizare: Informaţia deţinută de C are deci un anumit preţ. Acest preţ reprezintă cantitatea de informaţie necesară cunoaşterii cutiei bune, iar această cantitate de informaţie este dată de numărul mediu de întrebări ce trebuie să fie puse pentru identificarea cutiei-ascunzătoare şi va fi notat cu „I”:
a) dacă N = 1, atunci I = 0, ceea ce înseamnă că nu există decât o singură cutie şi că nu e necesară nici o întrebare pentru a găsi obiectul ascuns;
b) dacă N = 2, atunci I = 1, ceea ce însemnă că trebuie întrebat dacă cutia bună este cutia nr. 1 (sau nr. 2, nu contează; dar numai o cutie din cele două poate face obiectul întrebării), situaţie în care răspunsul DA sau NU determină fără ambiguitate care este cutia căutată;
c) dacă N = 4, atunci I = 2: se întreabă dacă cutia poartă numărul 1 sau 2, răspunsul permiţând apoi eliminarea a două dintre cutii şi mai e suficientă o ultimă întrebare pentru a găsi care este cutia bună dintre cele două rămase în discuţie;
d) dacă N = 2^k, atunci I = k: se scriu numerele cutiilor în baza 2, numerele având mai mult de k cifre binare, iar pentru fiecare rang al acestor cifre întrebăm dacă cutia căutată are cifra 0 sau cifra 1, după k întrebări ajungând să determinăm toate cifrele binare ale cutiei bune, adică
I = log₂(N),
dar această înformaţie nu se produce decât în cazul unor N evenimente echiprobabile (ceea ce e echivalent cu a pune k întrebări, fiecare întrebare având ca scop de a diviza, succesiv, cu 2 numărul cutiilor luate în considerare – metoda dihotomiei);
2) calcularea informaţiei relativ la un eveniment (sau un simbol):
A) problematizare: Să presupunem, în continuarea exemplului anterior, că sunt colorate cutiile şi că există n cutii sunt roşii. Să presupunem, de asemenea, că C ştie că obiectul este ascuns într-o cutie de culoare roşie. Care este preţul acestei informaţii?
B) soluţionare:
a) fără informaţia că obiectul este ascuns într-o cutie de culoare roşie, preţul de plătit este log (N) şi reprezintă preţul pe care B este dispus să-l plătească lui A (punându-i întrebări);
b) pentru a se înzestra cu această informaţie de la C, preţul plătit de B nu este log(n), adică atât cât cere C pe informaţia sa: preţul înformaţiei (p) „cutia căutată e roşie” este
p = log (N) – log (n) = log (N/n),
fiind singurul pe care B este dispus să-l plătească pentru această informaţie oferită de C (deorece este dispus să plătească doar informaţia care elimină din discuţie cutiile de altă culoare decât cele roşii unde este ascuns obiectul, găsirea cutiei-ascunzătoare urmând să o facă prin întrebări de tipul DA-NU privind cutiile roşii şi adresate lui A);

c) cantitatea de informaţie apare, astfel, definită ca o funcţie crescătoare de N/n (unde N reprezintă numărul de evenimente posibile – în exemplu: numărul total de cutii, iar n cardinalul sub-ansamblului determinat cu ajutorul informaţiei – în exemplu: numărul cutiilor roşii) şi cum această funcţie crescătoare se află în raport invers proporţional cu probabilitatea găsirii cutiilor de culoare roşie în care ar putea fi ascuns obiectul (notată P_i) adică cu n/N, preţul sau costul informaţiei poate fi redat cu ajutorul funcţiei logaritmice ca

log N/n = log (n/N)^-1,
ceea ce (cu ajutorul proprietăţilor logaritmului şi folosind P_i = n/N) se mai poate scrie
log (N/n) = log (1/ P_i),
însemnând că
I = - log (P_i);
d) măsurarea în biţi a cantităţii de informaţie de care B are nevoie pentru a găsi cutia-ascunzătoare se întâmplă atunci când n = 1 sau – altfel spus – când
P_i = 1/N,
adică atunci când dintre cutiile roşii reduse la două prin întrebări de tipul DA-NU este aleasă chiar cea în care a fost ascuns obiectul, de unde rezultă că
I = - log (1/N),
ce mai poate fi redat (pe baza proprietăţilor funcţiei logaritmice) cu formula
I = - log (N^-1),
adică
I = log(N),
exact preţul pe care B era dispus de la început să-l plătească lui A (punându-i întrebări de tipul DA-NU): în cazul când P_i = 1/2 avem de-a face cu 1 alegere din 2 posibile (P_i = 0,5), unitatea de măsură a lui I fiind bit-ul, logon-ul (unitate de măsură introdusă de Shannon, de fapt sinonimă cu bit-ul), ori nat-ul (dacă utilizăm logaritmul natural în locul logaritmului în baza 2), ultimele două mai rar utilizate în terminologia actuală;
3) calcularea informaţiei unui şir sau ansamblu de evenimente (sau simboluri) prin raportarea la entropie (formula lui Shannon):
A) problematizare: Să presupunem de această dată că cutiile sunt de diverse culori, adică n₁ cutii de culoare C₁, n₂ de culoarea C₂, ..., n_k cutii de culoarea C_k, iar n₁ + n₂ + ... + n_k = N. Persoana C ştie de ce culoare este cutia căutată. Care este preţul acestei informaţii?
B) soluţionare:
a) informaţia „cutia este de culoarea C₁” va fi de mărimea log (N/n₁), iar această posibilitate are o probabilitate n₁/N, iar informaţia „cutia este de culoarea C₂” va fi de mărimea log (N/n₂), iar această posibilitate are o probabilitate n₂/N...ş.a.m.d.: preţul mediu al informaţiei este egal din punct de vedere matematic cu cantitatea de informaţie medie a unui ansamblu de evenimente, fiind dat de suma produselor dintre probabilitatea unei anumite culori şi mărimea informaţiei antrenată de acea probabilitate:
Preţul_(s) = Inf_(s) = n₁/N log (N/n₁) + n₂/N log (N/n₂) + ... + n_k/N log (N/n_k);
b) generalizând, dacă luăm în considerare k evenimente disjuncte, de probabilităţile P₁, P₂, ..., P_k, iar P₁ + P₂ + ... + P_k = 1 = P_i, atunci cantitatea de informaţie corespunzătoare acestei distribuţii de probabilitate este P_i log (1/P₁ + 1/P₂ ... + 1/P_k): această cantitate se numeşte entropia distribuţiei de probabilitate şi permite măsurarea cantităţii de informaţie medie a unui ansamblu de evenimente (Inf), dar şi a incertitudinii lui informaţiomale (H):
Inf_(s) = H = - ,
unde P_i reprezintă probabilitatea asociată evenimentului informaţional i, putând fi numită şi probabilitate informaţională.

● proprietăţile principale ale informaţiei astfel definite:

― proprietăţi evidenţiate de definirea informaţiei cu ajutorul calculului informaţional:
1) informaţia poate fi determinată sub raport cantitativ ca o scădere a deficitului de date: un mecanism, dispozitiv sau sistem produce aceeaşi cantitate de informaţie ca şi suma datelor pierdute prin funcţionarea sa, deficitul de date fiind o funcţie a informativităţii medii al unui (potenţial nelimitat) şir de simboluri produs de mecanism;
2) informativitatea unei surse de informaţii (un mecanism, dispozitiv sau sistem) poate fi interpretată atât cantitativ, cât şi calitativ prin raportare la incertitudine ca un tip aparte de entropie (entropia = tendinţă legică şi spontană a sistemelor spre degradare calitativă sau spre reducerea complexităţii): drept entropie informaţională = potenţialitatea informativă a sursei respective;
3) informaţia poate fi interpreată cantitativ ca o entitate fizică, precum masa şi energia, dar diferită de ele calitativ: ca opusul entropiei fizice sau, altfel spus, ca negentropie informaţională;
― proprietăţi evidenţiate de definirea informaţiei cu ajutorul calculului economic:
1) informaţia este cuprinsă între 0 şi ∞, în vreme ce probabilitatea unui eveniment poate lua valori doar între 0 şi 1;
2) cantitatea de informaţie este invers proporţională cu probabilitatea unui eveniment (de exemplu, un eveniment cu probabilitate redusă conţine mai multă informaţie decât unul cu probabilitate mare: „Ninge în ianuarie” conţine mai puţină informaţie decât „Ninge în august” pentru un locuitor din emisfera nordică);
3) informaţia, ca şi probabilitatea unui eveniment, trebuie să fie aditivă, dar în vreme ce în cazul probabilităţii suma globală a probabilităţilor individuale este maxim 1, suma globală a informaţiilor nu se reduce la suma cantităţilor individuale de informaţie: această restricţie se datorează prezenţei logaritmului în formula de calcul a cantităţii de informaţie.

III.