Universitatea babeş-bolyai cluj-napoca

4.5.Experimente și rezultate

Această secțiune descrie experimentele efectuate pentru a evalua metodele alese și rezultatele obținute de modele. Se va prezenta și cum rulează modelele cele mai bune de la fiecare tip de experiment pe date reale. Se va realiza și o analiză comparativă a rezultatelor obținute.

4.5.1.Experimente

Majoritatea metodelor de învățare automată utilizează coeficienți și parametri care nu au legătură cu domeniul problemei și ale căror valori nu pot fi stabilite de la bun început într-un mod simplu. De aceea, acești parametri ar trebui să se poată seta din aplicație, astfel încât să se poată efectua mai multe teste pentru valori diferite ale parametrilor și să se ajungă la o configurație optimă a acestora. Pentru fiecare experiment se vor indica valorile care au fost alese pentru parametrii respectivi.

În primul tip de experimente s-a folosit doar temperatura medie din ultimele n zile ca date de intrare, unde n s-a luat 1, 2 și 3. Parametrii metodelor au fost alesi astfel:

• 
  Rețele neuronale:
  
  • 
    Numărul de neuroni pe stratul ascuns: 4.
    
  • 
    Rata de învățare: 0.1.
    
  • 
    Numărul de epoci: 1000.
    
• 
  Programare genetică:
  
  • 
    Mărimea populației: 40.
    
  • 
    Numărul de generații: 40.
    
• 
  Mașini cu suport vectorial:
  
  • 
    Funcția kernel: RBF.
    
  • 
    Parametrul ε: 10^-5.
    

S-au obținut rezultatele următoare, exprimate în erori de tip MSE:

n (zile)	Metoda	Media	Deviația standard
1	Rețele neuronale	28.05	1.91
1	Programare genetică	19.18	2.48
1	SVM	21.01	2.15
2	Rețele neuronale	31.40	2.38
2	Programare genetică	19.21	2.52
2	SVM	21.08	2.09
3	Rețele neuronale	34.62	2.46
3	Programare genetică	19.18	2.48
3	SVM	19.85	1.98

Figura . Tabelul cu erorile obținute în primul grup de experimente

Rezultatele obținute în urma rulării modelului bazat pe SVM, pentru primul grup de experimente, cu n=2, pentru datele de test, sunt următoarele:

Figura . Rezultatele testării modelului SVM, obținut în primul grup de experimente, cu n=2

În al doilea tip de experimente s-au folosit ca date de intrare: temperatura medie, temperatura maximă și temperatura minimă din ultimele n zile, unde n s-a luat 1 și 2. Parametrii metodelor au fost aleși astfel:

• 
  Rețele neuronale:
  
  • 
    Numărul de neuroni pe stratul ascuns: 7.
    
  • 
    Rata de învățare: 0.1.
    
  • 
    Numărul de epoci: 500.
    
• 
  Programare genetică:
  
  • 
    Mărimea populației: 40.
    
  • 
    Numărul de generații: 60.
    
• 
  Mașini cu suport vectorial:
  
  • 
    Funcția kernel: RBF.
    
  • 
    Parametrul ε: 10^-5.
    

S-au obținut rezultatele următoare, exprimate în erori de tip MSE:

n (zile)	Metoda	Media	Deviația standard
1	Rețele neuronale	34.52	2.43
1	Programare genetică	19.20	2.52
1	SVM	21.25	1.77
2	Rețele neuronale	38.40	3.06
2	Programare genetică	19.21	2.50
2	SVM	20.88	1.75

Figura . Tabelul cu erorile obținute în al doilea grup de experimente

Rezultatele obținute în urma rulării modelului bazat pe SVM, pentru al doilea grup de experimente, cu n=2, pentru datele de test, sunt următoarele:

Figura . Rezultatele testării modelului SVM obținut în al doilea grup de experimente, pentru n=2

În al treilea tip de experimente s-au folosit ca date de intrare: temperatura medie, temperatura maximă, temperatura minimă, punctul de rouă, viteza vântului, cantitatea de precipitații și indicele zilei în an pentru ultimele n zile ca date de intrare, unde n s-a luat 1 și 2. Parametrii metodelor au fost aleși astfel:

• 
  Rețele neuronale:
  
  • 
    Numărul de neuroni pe stratul ascuns: 10.
    
  • 
    Rata de învățare: 0.07.
    
  • 
    Numărul de epoci: 400.
    
• 
  Programare genetică:
  
  • 
    Marimea populației: 50.
    
  • 
    Numărul de generații: 60.
    
• 
  Mașini cu suport vectorial:
  
  • 
    Funcția kernel: RBF.
    
  • 
    Parametrul ε: 10^-5.
    

S-au obținut rezultatele următoare, exprimate în erori de tip MSE:

n (zile)	Metoda	Media	Deviația standard
1	Rețele neuronale	18.72	1.80
1	Programare genetică	19.18	2.47
1	SVM	17.91	1.69
2	Rețele neuronale	20.73	2.15
2	Programare genetică	19.20	2.52
2	SVM	18.21	2.32

Figura . Tabelul cu erorile obținute în al treilea grup de experimente

Rezultatele obținute în urma rulării modelului bazat pe rețele neuronale, pentru al treilea grup de experimente, cu n=1, pentru datele de test, sunt următoarele:

Figura . Rezultatele testării rețelei neuronale construita la al treilea grup de experimente, pentru n=1

Intervalele de erori pentru toate experimentele sunt prezentate în Figura I.

Figura . Intervalele de erori pentru toate experimentele

4.5.2.Analiză comparativă

• 
  Primul tip de experimente (Date de intrare: temperatura medie)
  

În primul grup de experimente, modelele bazate pe programare genetică și mașini cu suport vectorial au obținut rezultate apropiate între ele și mai bune decât cele bazate pe rețele neuronale. Intervalele de încredere 19.18 ± 2.48 și 21.01 ± 2.15, 19.21 ± 2.52 și 21.01 ± 2.15, respectiv 19.18 ± 2.48 și 19.85 ± 1.98 se intersectează. Deci nu se poate spune care din cele 2 tehnici, programare genetică sau SVM, dă rezultate mai bune.

• 
  Al doilea tip de experimente (Date de intrare: temperatura medie, temperatura minimă, temperatura maximă)
  

În al doilea grup de experimente, situatia e similară cu cea din primul grup. Programarea genetică și SVM dau rezultate mai bune dect rețelele neuronale. Deși programarea genetică ar părea să aibă o eroare puțin mai mică decât SVM, intervalele de încredere 19.20 ± 2.52 și 21.25 ± 1.77, respectiv 19.21 ± 2.50 și 20.88 ± 1.75 se intersectează. Deci nu se poate spune care din cele doua metode are eroarea mai mica.

• 
  Al treilea tip de experimente (Date de intrare: temperatura medie, temperatura minimă, temperatura maximă, punctul de rouă, viteza vântului, cantiatea de precipitații, indicele zilei în an)
  

În al treilea grup de experimente, modelele bazate pe rețele neuronale dau rezultate surprinzator de bune, în comparație cu rezultatele obținute la experimentele precedente. Media erorilor este cea mai mică în cazul experimentelor cu mașini cu suport vectorial, dar toate intervalele de încredere: 18.72 ± 1.80, 19.18 ± 2.47, 17.91 ± 1.69, 20.73 ± 2.15, 19.20 ± 2.52, 18.21 ± 2.32 se intersecteaza între ele două câte două. Astfel, în acest caz avem că toate cele trei tehnici dau rezultate similare.