Teoria informaţiei

Noţiunea de informaţie şi mecanica cuantică: Johannes von Neumann
Axându-şi munca pe teoria spaţiului a lui Hilbert, în 1932 von Neumann consacră „fundamentelor matematice ale mecanicii cuantice” o carte apărută la Editura Springer, în colecţia referitoare la „temele fundamentale ale ştiinţelor matematice”. Înţelege astfel să ia parte la polemica epocii şi să se situeze contra ipotezei variabilelor ascunse, susţinută printre alţii de către Einstein. Interesându-se mai precis de „formulele statistice ale mecanicii cuantice”, el le apropie pe acestea de cele pe care le regăsim în termodinamică şi anunţă în introducere că: „O analiză mai profundă arată că binecunoscutele dificultăţi izvorâte din mecanica clasică, referitoare la „ipoteza de dezordine” necesară termodinamicii în justificare, ar putea fi aici aplanate”.

Pentru a realiza acest lucru, sprijinindu-se pe experimente de gândire cărora le precizează caracterul aventuros, el îşi propune să determine entropia unui ansamblu de stări cu ajutorul unui operator statistic U, introdus în cadrul unui studiu despre măsură şi reversibilitate care permitea diferenţierea efectului măsurării de efectul timpului asupra sistemului studiat. După ce a luat în socoată existenţa mişcării browniene, continuîndu-şi analiza critică despre experimentele de gândire, von Neumann se interoghează asupra posibilităţii de a dispune de un perete semi-permeabil pentru sistemele cuantice. El califică acest perete drept „demon al lui Maxwell şi face trimitere la publicaţia lui Szilard din 1929. Pentru a calcula entropia asociată operatorului U, imaginează un experiment de compresiune care-i permite să ajungă la expresia următoare pentru cazul unor M molecule: M k Spur (U ln U) (Spur reprezentând urma lăsată de un operator linear, iar k constanta lui Boltzmann) şi care în cazul unui operator cu valori proprii distincte w₁, w₂, ... w_n dă expresia:

Această expresie îi permite atunci să demonstreze valoarea ipotezei unei ireversibilităţi legată de măsură, dar bineînţeles că nu este vorba aici de informaţie, ci avem de-a face cu prima expresie a costului entropic asociat unei observaţii fizice a gazului cu un număr oarecare de molecule. Mai e vorba aici şi de o teorie a măsurii, ţinând cont în acelaşi timp de teoriile cuantice şi termodinamice, întrucât ni se arată după aceea că rezultatul său poate fi interpretat cu ajutorul numărului de complexiuni introdus de Boltzmann şi reluat de Planck. De altfel, se poate reaminti aici cum Planck, generalizând cercetările lui Boltzmann, introdusese expresia S = k log W din perspectiva următorului punct de vedere: „Pentru că entropia este o mărime aditivă, iar probabilitatea W este o mărime multiplicativă, eu am formulat pur şi simplu S = k log W, unde k reprezintă o constantă universală”.

Până la urmă, această apropiere formală dintre mecanica cuantică şi termodinamică este cea care-i permite lui von Neumann să ajungă la o nouă expresie a interpretărilor în acelaşi timp matematice şi fizice. Plecând de la teoreme matematice destul de anevoioase despre proprietăţile pe care trebuie să le verifice operatorii, el va ajunge la o teorie generală a măsurii şi numeroşi fizicieni vor vedea aici, pe drept cuvânt, o analiză fizică şi cantitativă a noţiunii de informaţie. Fizicianul Léon Brillouin (1889-1969), unul dintre teoreticienii mecanicii cuantice, va scrie în 1956, în cartea sa Science and Information Theory, cu privire la acest text al lui von Neumann: „J. von Neumann examinează de asemenea cazul observatorului care uită informaţia şi arată că acest proces semnifică deopotrivă o creştere de entropie”. După cunoştinţa noastră, von Neumann nu utilizează cuvântul „informaţie” în scrierile din această perioadă, dar noţiunea de măsură pe care o defineşte în ultimul său capitol poate fi foarte bine considerată, a posteriori, ca un caz al achiziţionării de informaţie.

Printre alţii, fizicianul german Pascual Jordan (1902-1980), co-fondator al mecanicii cuantice cu Born şi Heisenberg, insistă, în articolul pe care îl consacră în 1949 „procesului de măsurare în mecanica cuantică”, asupra faptului că studiul realizat de von Neumann demonstrează că „(...) termodinamica este implicată în observaţiile din mecanica cuantică şi [că] acest lucru e în armonie cu un fapt arătând ireversibilitatea legată de observaţie (...)”. În fond, e exact că, prin munca sa, von Neumann nu numai că „apropie” două domenii ale fizicii, ci le şi „unifică” în jurul aceleaşi interogaţii privind măsura. Se poate tot aşa considera că ar avea loc, ca o consecinţă, „unificarea” cunoaşterii în jurul noţiunii ştiinţifice de informaţie? E încă devreme a o spune, chiar dacă am evocat deja aici texte publicate după cel de-al doilea război mondial. În această primă parte vizând apariţia noţiunii ştiinţifice de informaţie, se cuvine să ne mai interesăm şi de alte axe de cercetare: lucrările realizate în statistică şi în domeniul telecomunicaţiilor.

3. Informaţia statistică

(traducere şi adaptare de Gheorghe Clitan după Jérôme Segal, Le Zéro et le Un. Histoire de la notion scientifique d'information au 20° siècle, Paris, Éditions Syllepse, 2003)

Statisticile şi informaţia lui Fisher
„(...) obiectul metodei statistice este reducerea datelor. O masă de date, pe cât de importantă pe atât de neinteligibilă, trebuie înlocuită cu un număr relativ mic de cantităţi care trebuie să reprezinte corect această masă sau, altfel spus, care trebuie să conţină cea mai mare parte posibilă, dacă nu totalitatea informaţiei pertinente conţinută în datele de origine”.

Iată cum, în 1922, Ronald Aylmer Fisher (1890-1962) introducea în scrierile sale noţiunea ştiinţifică de informaţie. Fisher va preciza această noţiune până în 1935 pentru a ajunge, de-a lungul publicaţiilor sale, la o definiţie matematică. El arată că o statistică este o transformare de date ale eşantionului pe care ea îl rezumă, dar totodată îl şi simplifică. Despre o statistică se spune că este exhaustivă dacă rezumatul pe care-l realizează nu suprimă nimic din „informaţia” (în sens de „informare”) conţinută de eşantion. De la început noţiunile de informaţie şi exhaustivitate se găsesc astfel legate.

Retrasând modul cum informaţia  care este la început utilizată într-un sens apropiat de sensul comun  devine un concept ştiinţific, vom insista de asemenea asupra posterităţii lucrărilor sale, nu fără a aminti mai înainte în ce context teoriile statistice ale lui Fisher au văzut lumina zilei şi cum statistica a putut participa la unificarea ştiinţelor.

Numeroase sunt articolele sau monografiile consacrate lui Fisher. În mod voit, fără grija exhaustivităţii, nu vom invoca aici decât câteva repere din biografia sa, aflate în raport cu subiectul nostru, Fisher având publicate de altfel mai mult de o sută de lucrări.

Diplomat la Cambridge, el a studiat după aceea matematicile şi fizica teoretică, puternica sa miopie interzicându-i fizica experimentală. După ce publică în 1922 în Philosophical Transactions of the Royal Society, devine la trei ani responsabil de departamentul de statistică de la staţia experimentală din Rothamsted, având sarcina de a obţine profit din miile de date privind  referitor la o perioadă de vreo şaizeci de ani  deopotrivă diversele probe de îngrăşământ şi condiţiile meteorologice corespunzătoare. Din grija de a fi independent, preferase acest post celui de la Galton Laboratory, unde ar fi trebuit să muncească sub conducerea lui Karl Pearson (1857-1936), cu care avusese diferende referitoare la publicaţiile lor din Biometricka. Până în 1933 va rămâne la Rothamsted unde îşi elaborează principalele lucrări, având ca obiect mai ales problema planurilor de experienţă. Îi va succeede apoi lui Pearson la University College de Londres în calitate de profesor de Eugenie.

Dar să revenim mai întâi la acea publicaţie din 1922 privitoare la „fundamentele matematice ale statisticii teoretice”. Fisher pare motivat de propria-i respingere a noţiunii de probabilitate inversă  sau probabilitate bayesiană  căreia înţelege să-i substituie un nou concept, cel de „verosimilitudine” („plauzibilitate”). Ori, se ştie că probabilităţile bayesiene sunt cele care i-au permis lui van der Waals să regăsească şi, în acelaşi timp, să justifice cel de-al doilea principiu al termodinamicii. Bineînţeles că Fisher îşi introduce propriul concept de informaţie printr-un alt gen de abordare, plecând de la probleme concrete vizând analiza eşantioanelor statistice avute în vedere în cultura agronomică. Eliberându-se de tradiţia ce dorea să utilizăm teorema lui Bayes ca arhetip al raţionamentului inductiv formalizat, Fisher se lansează într-un proiect inevitabil de mare anvergură pe care-l inaugurează cu cercetarea testelor obiective care-i justifică practica. Dar tocmai conceptul de verosimilitudine, şi nu cel de probabilitate inversă, este cel care-i permisese să determine încă din prima lucrare publicată, cea din 1922, alegerea pe care statisticianul o poate face între multele modele statistice graţie „principiului maximului de verosimilitudine”, principiu ce are pentru el încă de la început o importantă valoare euristică.

Problema care şi-o pune Fisher în lucrarea din 1922 scoate în evidenţă teoria estimării (evaluării): e vorba de a putea „estima”, pornind de la eşantioanele relevate, valorile parametrilor caracteristici ai distribuţiilor de probabilitate ale unei populaţii ipotetice (de exemplu, pentru calculul parametrilor m şi s ai unei legi normale). El propune în acest cadru o „tratare cantitativă a informaţiei aduse de un eşantion” care, chiar dacă nu se aplică încă la toate cazurile, permite deja realizarea unor aplicaţii de alegere a curbelor de eroare ce ne lasă posibilitatea de a considera eşantionul ca fiind cel mai reprezentativ posibil pentru populaţia avută în vedere.

Calificativul „pertinent” („relevant”), pe care-l utilizează pentru a califica informaţia ce încercăm să o izolăm din masa de date, ţine de interesul său pentru genetică, interes care îl determină, începând cu 1918, să studieze „genele relevante”. Această disciplină, genetica, creată printre alţii de către William Bateson (1861-1926) care-i dă şi numele în 1905, este istoric legată de eugenism, mişcare ştiinţifică, politică şi filosofică ce marchează a doua jumătate a secolului XIX şi ai cărui principali reprezentanţi ieşiţi din Şcoala statistică britanică sunt Francis Galton (1822-1911), verişor de-al lui Darwin, sau Karl Pearson (1857-1936).

Foarte schematic, după publicarea Originilor speciilor a lui Darwin (în 1859), Bateson şi primii geneticieni credeau că ar exista o contradicţie între darwinism şi genetică, deoarece selecţia naturală părea să presupună că micile variaţii ar avea o mare importanţă pentru fenomenele de adaptare, ceea ce li se părea a veni împotriva legilor lui Mendel. Sprijinindu-se pe cartea publicată de Darwin în 1871, Descendenţa omului, eugeniştii l-au prezentat adesea pe Darwin ca fiind unul de-al lor. Astăzi mai persistă încă o controversă asupra interpretării ce poate fi dată acestor scrieri. Dacă S. Tort înlătură orice suspiciune eugenistă faţă de Darwin opunând teoria lui Darwin diferitelor „darwinisme” care se reclamă de la ea, Lemaine şi Matalon estimează de asemenea, citând îndeosebi cartea sa din 1871, că Darwin nu rezistă „(...) la presiunea ideilor timpului său, nici la concluziile discipolilor săi cei mai fervenţi, atât despre reproducerea idioţilor, infirmilor şi bolnavilor în naţiunile civilizate, cât şi despre inferioritatea de natură a popoarelor sălbatice”. Ei conchid că „Darwin nu este nevinovat în ceea ce priveşte ideea de exploatare a omului ce poate fi trasă din teoria sa”.

Teama eugeniştilor vizavi de teoria darwiniană a selecţiei naturale era că omul civilizat ar fi eliminat acţiunea acestei selecţii naturale asupra lui însuşi, mai cu seamă din cauza sistemelor de protecţie socială ce luau amploare în acea epocă.

Fisher intervine în dezbatere la mai multe nivele. Pe de o parte, în domeniul biometriei referitor la studiile statistice şi cantitative ale variaţiilor, iar pe de altă parte în aplicarea geneticii mendeliene „redescoperită” la trecerea dintre secole. După ce şi-a publicat în 1889 manifestul despre biometrie odată cu Natural Inheritance, Galton avea să-l câştige pe Pearson de partea sa. Actualitatea de care se bucurau lucrările lui Mendel în 1990 avea să opună mendelienii biometricienilor şi să pună problema locului ocupat de eugenism în cadrul concepţiilor fiecărora dintre ei: pentru Pearson, eugenismul se înălţa din biometria aplicată, în timp ce pentru mendelieni eugenismul trebuia legat de genetica umană. În articolul său din 1918, Fisher reconciliază aceste două abordări şi utilizează noţiunile geneticii mendeliene, mai ales cea de dominanţă, ca limbaj al biometriei. Acesta este cadrul în care el introduce analiza varianţei, utilizată alături de teoria coeficienţilor de corelaţie stabilită de Galton. Acestea vor fi bazele pe care el va fonda, împreună cu Haldane, genetica populaţiilor.

Fisher a rămas de fiecare dată şi mereu ataşat de preocupările sale eugeniste, el fusese de altfel publicat foarte devreme, în 1914, în The Eugenics Review sau în Annals of Eugenics (a cărei conducere şi-o asumă începând cu 1933 până când devine „Profesor de Eugenie”), dintre numeroasele reviste eugeniste din prima parte a secolului XX. Se foloseşte deseori de expresia „gene relevante” pentru a preciza genele care trebuiesc conservate în generaţiile următoare pentru a se ajunge la „ameliorarea rasei”, scopul principal al oricărui eugenist, indiferent dacă este vorba de un eugenism pozitiv fazorizând cele mai bune elemente dintr-o populaţie sau de un eugenism negativ împiedicând pe cele „mai puţin apte” să se reproducă.

În lucrarea sa din 1925 consacrată „teoriei estimării statistice”, Fisher îşi reia munca asupra noţiunii de informaţie. Ne dă mai întâi un exemplu de calcul al unei cantităţi de informaţie în cazul a două estimări diferite ale parametrului s dintr-o lege normală, pornind de la un acelaşi eşantion de n valori observate. El socoteşte că dacă cu unul dintre cei doi estimatori pe care-i definise ne aflăm în cazul unei „statistici eficiente” (ceea ce vrea să spună că se poate regăsi valoarea lui s când n tinde spre infinit), atunci cu celălalt estimator: „o optime din informaţia totală este respinsă”.

Fisher asociase de asemenea, în lucrarea sa din 1922, pe plan calitativ, cantitatea de informaţie adusă printr-o statistică cu ceea ce el numeşte „precizia intrinsecă a unei curbe de eroare”, adică cu ceea ce corespunde, după cum am văzut, celei mai bune alegeri posibile din parametrii definind o distribuţie statistică. Trei ani mai târziu, el arată că această „precizie intrinsecă a unei curbe de eroare” poate fi calculată în funcţie de varianţa unui estimator eficient şi conchide deja: „Ceea ce noi am numit în termeni de precizie intrinsecă a unei curbe de eroare poate fi de asemenea conceput ca şi catitatea de informaţie [conţinută] într-o singură observaţie aparţinând unei astfel de distribuţii”.

El demonstrează atunci că informaţiile se pot adiţiona în cazul a două observaţii independente.

Fără a intra în toate detaliile matematice, mai reţinem că în această lucrare Fisher dă mai departe expresia generală a cantităţii de informaţie în raport cu un parametru q oferit de un eşantion de n observaţii:

unde S indică o însumare a tuturor observaţiilor, iar m produsul lui n prin probabilitatea unei observaţii de a cădea în una dintre clasele prealabil determinate.

Trei ani mai târziu, în 1928, după cea de-a doua ediţie a Metodelor statistice pentru cercetători, informaţia e definită din nou matematic, ca egală de această dată cu inversul varianţei în cazul unei distribuţii normale a valorilor unui parametru estimate. De fapt, informaţia care este la plecare „conţinută în date” devine încet, încet caracteristica unei statistici, iar obiectul de studiu al lui Fisher se deplasează de la materialele brute ieşite din cercetările sale agronomice la teoria sa matematică a estimării. O astfel de evoluţie se regăseşte mai ales în această carte, atunci când el arată cum conţinutul informaţional adus printr-o experiment agronomic ar putea determina alocarea parcelelor de teren: „Avantajul de a examina nivelul informaţiei câştigate în fiecare etapă a experimentului se sprijină pe faptul că precizia obţinută în majoritatea experimentelor este limitată de către cantitatea de teren, de munca şi supervizarea disponibile. Un real ajutor privind mai buna alocare a acestor resurse poate fi obţinut luând în considerare cantitatea de informaţie pe care o putem anticipa”.

Printre altele, chiar dacă Fisher foloseşte într-un sens ştiinţific un cuvânt din limbajul obişnuit, cel de „informaţie”, el acordă atenţie justificării acestei folosiri, precizând în 1935: „E evident, de asemenea, că introducând conceptul de cantitate de informaţie, noi nu dorim să dăm un nume arbitrar unei cantităţi calculabile, dar trebuie să ne pregătim de justificarea termenului folosit, raportându-ne la cerinţele simţului comun, dar şi de a spune dacă termenul este însuşit şi util ca instrument de gândire. Consecinţele matematice ale identificării, aşa cum o propun, preciziei intrinseci a curbei de eroare cu cantitatea de informaţie extrasă pot fi deci rezumate acum, mai ales ca să putem judeca după simţul nostru comun prematematic dacă ele chiar au proprietăţile pe care trebuie să le aibă”.

Informaţia se vrea deci definită ca o mărime constantă, calculată pornind de la un eşantion. De altfel, încă din 1925 Fisher avusese deja grijă, după cum am semnalat, să demonstreze că această mărime verificase proprietăţile matematice elementare, precum cea de aditivitate, pentru două eşantioane independente.

Totuşi, în publicaţia din 1935, la aceeaşi pagină, el face în felul său apropierea dintre entropie şi informaţie. Cu privire la această analogie, precizează: „Va trebui să notaţi mai ales că procesele reversibile, schimbările de notaţii, transformările matematice bijective, traducerile de date într-un alt limbaj sau rescrierile într-un cod nu se însoţesc cu pierderea de informaţie, dar şi că, în procesele ireversibile prezente în estimarea statistică, unde nu se pot reconstrui datele de origine plecând de la valorile estimate, putem avea o pierdere de informaţie, dar niciodată un câştig.

Fără îndoială, această orientare a sensului timpului, proprie experienţei fizice, e cea care îl face conştient pe Fisher de analogia dintre entropie şi informaţie. Calculul valorilor estimate „consumă” într-un fel oarecare datele brute ale experienţei, de aceeaşi manieră în care o maşină termică crează entropie şi consumă energie. Această opoziţie dintre entropie şi informaţie este clar formulată de către Fisher care, în ultima frază a citatului de mai sus, reia una dintre formulările celui de-al doilea principiu al termodinamicii aplicat la un sistem închis şi izolat: „Putem avea câştig de entropie, dar niciodată pierdere”. Se poate vedea aici, fără îndoială, influenţa fizicianului J. H. Jeans (1877-1946), după care Fisher a studiat.

Astfel, chiar plecând de la studiile statistice, conceptul de informaţie poate apărea sub forma unei ilustrări a celui de-al doilea principiu al termodinamicii. Ceea ce ne-ar putea deja lăsa să presupunem că analogia dintre informaţie şi entropie este fundamentală şi nu numai formală. Exemplele luate în discuţie de Fisher urmăresc de altminteri, fără îndoială, să arate caracterul universal al unei atari legi.
Statisticile ca mijloc de unificare?
Această unitate care prinde contur în jurul analogiei informaţie–entropie ar fi un ultim avatar al fascinaţiei exercitată de legea normală şi de fizica socială? Se ştie în ce spirit universalist definise Quételet (1796-1847) omul de mijloc, procedând în observaţiile sale despre om tot aşa cum o făcuse pentru ceruri şi mări şi începând astfel să aplice statistica la ştiinţele sociale. Legea Laplace-Gauss, definind caracteristicile distribuţiilor normale, ocupă un loc central în teoria erorilor, la fel ca legea numerelor mari care dobândeşte odată cu Poisson titlul de „lege universală”.

La fel cum Renaşterea cunoscuse o reapariţie a pitagorismului mistic în jurul studiului numărului de aur, sfârşitul secolului al XIX-lea cunoştea extazieri câteodată îngrijorătoare pentru legea normală. Unii, precum M. Boll, văd aici un pas către unitatea ştiinţelor. Acesta din urmă scrie în 1942, după ce demonstrase că am regăsi legea normală în diferite domenii: „Din punct de vedere al unificării cunoaşterii, al unităţii ştiinţei, avem de-a face aici cu un rezultat statistic, a cărui importanţă n-o putem neglija, cu atât mai mult cu cât aceleaşi apropieri se pot stabili între diferitele proprietăţi ale «omului moral» ...”

Cu toate acestea, unii autori precum Pearson se ridicaseră împotriva fetişismului manifestat de câţiva oameni de ştiinţă faţă de legea normală. El căuta să evite ca metoda pătratelor mici să dobândească acest statut.

Numai odată cu legea normală şi cu cea a numerelor mari raţionamentul asupra „populaţiilor” ia avânt în această a doua jumătate a asecolului al XIX-lea, aceasta este optica în care Bernard Bru, într-un articol recent, introduce teoriile lui Darwin, Mendel şi Boltzmann. El arată că primul dintre aceştia discută despre specii şi constată variabilitatea lor, al doilea îşi efectuează observaţiile binecunoscute asupra „populaţiilor” boabelor de mazăre cărora le studiază reproducerea şi, în fine, ultimul modelează mişcările aleatorii ale particulelor unui gaz. Pentru ei, raţionamentul statistic prezintă cu siguranţă o unitate metodologică.

Fisher notase el însuşi aceste paralele în 1925, ceea ce lui îi justifica rolul unitar al statisticii. El scrie în introducerea la Metodele statistice pentru cercetători: „Teoriile ştiinţifice care implică proprietăţi de largi agregaţii de indivizi, iar nicidecum proprietăţile indivizilor însuşi, precum teoria cinetică a gazului, teoria selecţiei naturale sau teoria chimică a acţiunii de masă, sunt în esenţa lor argumente statistice şi fac obiectul unor proaste interpretări ce pierd din vedere natura statistică a argumentului.

Ar trebui deci, după Fisher, să păzim pentru spirit rolul fundamental pe care statistica îl joacă în elaborarea acestor teorii. Nu atât în calitate de mijloc de unificare statisticile sunt aplicate, deoarece nu găsim în scrierile lui Fisher sau ale altora urmele unei voinţe de a parveni la unitate, ci, ca instrument teoretic, statisticile sfârşesc prin a ocupa un loc central în toate acele raţionamente vizând de fapt „populaţiile”. Există deci, mai întâi, unitate în demersul teoretic.

Pornind de la concepţia sa frecvenţială asupra probabilităţilor, Fisher extinde de altfel acest punct de vedere la teoria probabilităţilor. Într-un articol intitulat „Indeterminism şi selecţie naturală”, publicat în revista Philosophy of Science în 1934, Fisher se interesează de problema determinismului, care după el trebuie respinsă dacă acceptăm ipotezele teoriei cinetice a materiei. Aceasta din urmă prezintă pentru Fisher … „avantajul (a) unificării conceptului de lege naturală în diferite sfere ale experienţei umane şi (b) al unei mai mari generalităţi ce exclude acceptarea cazului particular al cauzalităţii complet deterministe, atâta timp cât aceasta rămâne o ipoteză non probată”.

Pentru probarea acestei unităţi de a cărei stare vorbea, el intră în consideraţii ţinând de ordinul „armoniei” precizând: „Printre teoriile biologice, acest lucru apărea ca fiind în deplină armonie cu teoria selecţiei naturale care, prin natura sa statistică, se aseamănă cu cea de-a doua lege a termodinamicii”.

Câteva pagini mai departe, el examinează chiar cu ajutorul noţiunii de probabilitate această unificare armonioasă, atunci când insistă asupra faptului că întreaga previziune plecând de la observaţii trecute trebuie să fie exprimată sub forma unui enunţ referitor la probabilităţi.

În acelaşi an 1934, asupra aceleeaşi chestiuni referitoare la natura deterministă sau indeterministă a fizicii, găsim în scrisul unui vechi telegrafist (din 1905 până în 1907!) mai bine cunoscut ca filosof al ştiinţei, Gaston Bachelard (1884-1962), introducerea noţiunii de „informaţie probabilistică”. În Noul spirit ştiinţific, referindu-se la teoria cinetică a gazului care-i permite să considere gazul ca un „tot” determinat, pornind de la componente nedeterminate, el arată că dacă presupunem indeterminarea unui fenomen, trebuie să presupunem independenţa acestuia în sensul calculului probabilităţilor. El scrie: „dacă ar exista cea mai mică dependenţă [între gaz şi mediul exterior], am avea de-a face cu o confuzie de informaţii probabiliste şi ar trebui să depunem întotdeauna un mare efort pentru a ţine cont de o interpretare a dependenţei dintre legăturile dependente reale şi legile stricte ale probabilităţii”.