Universitatea babeş-bolyai cluj-napoca facultatea de matematicǎ Şi informaticǎ specializarea informatică

UNIVERSITATEA BABEŞ-BOLYAI CLUJ-NAPOCA
FACULTATEA DE MATEMATICǍ ŞI INFORMATICǍ
SPECIALIZAREA INFORMATICĂ

LUCRARE DE LICENȚĂ
ÎNVĂȚAREA BAYESIANĂ

Conducător ştiinţific

Prof. univ. dr. Czibula Gabriela
Absolvent

Bianca Cristina Drăgoescu


2015

CUPRINS

INTRODUCERE 2

1.TEHNICI DE ÎNVĂȚARE AUTOMATĂ ÎN INTELIGENȚA ARTIFICIALĂ 3

1.1.Inteligența artificială 3

1.2.Introducere în învățarea automată 4

1.3.Module generice ale unui sistem care învață 6

1.4.Tipuri de învățare automată 7

1.5.Probleme care pot apărea în învățarea automată 9

1.6.Aplicații ale învățării automate 10

2.ÎNVĂȚAREA BAYESIANĂ 12

2.1.Teorema lui Bayes 13

2.2.Abordări ale ipotezei cu probabilitatea maximă 15

2.3.Clasificatorul optimal Bayes 18

2.4.Clasificatorul naiv Bayes 19

2.5.Rețelele Bayesiene 21

2.5.1. Deducția în rețelele Bayesiene 24

2.5.2.Învățarea Rețelelor Bayesiene 25

2.5.3.Regula Gradientului Ascendent în Rețelele Bayesiene 27

2.5.4.Algoritmul Expectation-Maximization 28

3.DOMENII DE APLICARE ALE ÎNVĂȚĂRII BAYESIENE 31

3.1.Recunoașterea expresiilor faciale și a emoțiilor 31

3.2.Recunoașterea vizuală a gesturilor 32

3.3.Clasificarea plantelor și a animalelor pe baza MicroARN-ului 34

3.4.Optimizarea deciziilor pentru tratamente 35

3.5.Proiectarea produselor alimentare 36

3.6.Clasificarea imaginilor satelitare 38

3.7.Clasificarea solurilor agricole 39

3.8.Procesarea limbajului natural 39

4.APLICAȚIA PRACTICĂ 40

4.1.Enunț 40

4.2.Analiză și proiectare 41

4.3.Implementare 47

4.4.Manual de utilizare 53

4.5.Rezultate obținute 59

4.6.Extinderi posibile 62

CONCLUZIE 63

BIBLIOGRAFIE 64

INTRODUCERE

În ultimul timp, datorită evoluției rapide a tehnologiei, ființa umană a început să conștientizeze tot mai mult necesitatea unor sisteme inteligente, care să îi poată ușura alegerile din viața de zi cu zi. În această direcție, au fost descoperite o multitudine de concepte, de mecanisme capabile să imite într-o oarecare măsură inteligența umană.

În lucrarea de față, se dorește evidențierea conceptului de Învățare Bayesiană, în raport cu încadrarea sa în domeniul Inteligenței Artificiale, mai exact în domeniul Învățării Automate. Acest concept reprezintă o metodă de inferență probabilistică, reușind prin simplitatea sa, în anumite cazuri, să egaleze, sau chiar să surclaseze performanța altor algoritmi de învățare automată considerați puternici și robuști, precum rețelele neuronale, mașinile cu suport vectorial sau arborii de decizie.

Vom începe prin prezentarea tehnicilor de învățare automată în Inteligența Artificială. Acest prim capitol are rolul de a ne obișnui cu elementele esențiale ale acestui domeniu și de a ne oferi o perspectivă de ansamblu, o introducere în ceea ce înseamnă conceptul de învățare în termeni informatici.

În cel de-al doilea capitol, vom detalia raționamentul Bayesian, prin prezentarea teoremei lui Bayes, ilustrarea diverselor abordări ale ipotezei cu probabilitatea maximă, precum și prin explicarea metodelor de învățare Bayesiană. Ne vom axa în special pe Clasificatorul optimal Bayes, Clasificatorul naiv Bayes și Rețelele Bayesiene, evidențiind pe lângă aspecte teoretice concrete și eventuale îmbunătățiri care pot fi aduse, respectiv eventuale aplicații practice ale acestora.

Învățarea Bayesiană a fost abordată în foarte multe domenii, în special în acelea care fie erau instabile, fie necesitau un timp de execuție scurt, ori nu aveau posibilitatea de a oferi un set de informații inițiale consistent, obținând rezultate foarte bune.În vederea ilustrării acestor caracteristici, vom aborda ca tematică pentru capitolul al treilea mai multe domenii de aplicare a metodelor de învățare Bayesiană.

În final, în ultimul capitol vom prezenta o aplicație menită să ilustreze capacitățile clasificatorului naiv Bayes aplicat pentru categorizarea documentelor textuale. Sistemul de față va oferi utilizatorului un set complet de funcționalități, alături de o interfața grafică prietenoasă și ușor de utilizat și nu în ultimul rând o performanță ridicată, menită să ofere siguranța utilizării.

1. TEHNICI DE ÎNVĂȚARE AUTOMATĂ ÎN INTELIGENȚA ARTIFICIALĂ

1. Inteligența artificială

Ființa umană, după cum bine știm, are o înclinare aparte către descoperirea diverselor modalități de înțelegere și perpetuare a conceptului de inteligență. Întrucât capacitățile noastre psihice sunt cele care ne ajută să relaționăm cu celelalte persoane din cadrul societății în care trăim, este normal să încercăm în permanență să ne dezvoltăm această latură definitorie pentru noi.

În această direcție, a apărut și inteligența artificială, având ca scop principal înțelegerea entităților inteligente. Spre deosebire de psihologie și filozofie, care de asemenea își îndreaptă studiile către înțelegerea raționamentului uman, inteligența artificială se laudă și cu posibilitatea de creare a unui astfel de sistem inteligent, care să fie capabil să își soluționeze singur problemele care i-au fost atribuite într-o manieră inteligentă, fără intervenția directă a factorului uman.

Desigur, această abordare a fost privită cu reticență de către cercetători înainte de primele rezultate satisfăcătoare obținute și considerată aproape imposibil de realizat. Era foarte greu de acceptat ideea că un anumit mecanism, lipsit de stări emoționale va fi vreodată capabil să perceapă, să înțeleagă și să manipuleze o lume infinit mai mare și mai complexă decât el insuși.

Totuși, știința a evoluat rapid, într-o ascensiune exemplară și ne-a dezvăluit faptul că orice este posibil dacă ne străduim suficient de mult. Au fost necesari 2000 de ani de tradiție în filozofie (pentru înțelegerea diverselor teorii ale gândirii și învățării), 400 de ani de cercetare matematică (pentru dobândirea conoștințelor corespunzătoare logicii, probabilisticii, luării deciziilor și calculelor), cunoștințe din domeniul psihologiei (pentru investigarea minții umane), cunoștințe din domeniul lingvisticii (pentru structurarea și înțelegerea limbajului natural) și nu în ultimul rând de informatica clasică, pentru ca acest domeniu de studiu să devină realitate [16].

Inteligența artificială a prins contur, iar acum este un domeniu vast, care își așteaptă noi descoperitori. Cuprinde o varietate foarte mare de sub-domenii, pornind de la percepție și raționament logic, până la rezolvarea unor probleme specifice precum jocul de șah, dezvotarea unor teoreme matematice, sau chiar diagnosticarea pacienților cu o anumită boală.

2.