1 Sun'iy neyron tarmoqlarga kirish ning rivojlanish tarixidoirasida yechilgan masalalar

1.5 Neyron tarmoqlarni o'rgatish

Neyron tarmog'ini o'qitish jarayoni uning belgilangan vazifalarni bajarish qobiliyati uchun zarurdir. Ushbu jarayonni tarmoq o'rnatilgan muhitni modellashtirish orqali tarmoq arxitekturasini va ulanish og'irliklarini sozlash deb hisoblash mumkin. Neyron tarmog'ining misollardan o'rganish xususiyati mutaxassislar tomonidan tuzilgan muayyan qoidalar to'plamiga rioya qiladigan tizimlar bilan solishtirganda, muayyan muammoni hal qilish uchun shartlarni belgilashni osonlashtiradi. Nazorat ostidagi va nazoratsiz o'rganish algoritmlari mavjud [3].

Nazorat ostidagi ta'lim jarayoni tarmoqqa o'qitish misollarining namunasini taqdim etishni o'z ichiga oladi. Har bir namuna neyron tarmog'ining kirishiga beriladi, so'ngra ANN ichida ishlov berish jarayonidan o'tadi. Chiqish signalini hisoblab chiqqandan so'ng, ANN olingan natijani tarmoqning kerakli chiqishini ifodalovchi maqsadli vektorning mos keladigan qiymati bilan taqqoslaydi. Xatoni hisoblab chiqqandan so'ng, tarmoq ichidagi ulanishlarning og'irlik koeffitsientlari tanlangan algoritmga muvofiq o'zgaradi. Og'irliklar har bir vektorga butun kirish ma'lumotlar massividagi xatolik belgilangan darajaga yetguncha o'rnatiladi.
Nazoratsiz o'rganish o'quv majmuasidagi har bir misol uchun to'g'ri javobni bilishni talab qilmaydi. Bunday holda, ma'lumotlar tizimidagi ichki ma'lumotlar strukturasi yoki korrelyatsiyasi ochiladi, bu tasvirlarni toifalarga ajratish imkonini beradi.
Yechilayotgan muammoga qarab, o'quv majmuasi ma'lum turdagi ma'lumotlardan va kirish / chiqish signallarining turli o'lchamlaridan foydalanadi. O'rgatish uchun kirish ma'lumotlari namunaviy misollar - rasmlar, raqamlar jadvallari, taqsimotlar. Kiritilgan ma'lumotlar turlari ikkilik (0 va 1), bipolyar (-1 va 1) raqamlar, butun sonlar yoki ayrim diapazondagi haqiqiy raqamlardir. Tarmoq chiqish signallari butun sonlar yoki haqiqiy sonlar vektorlaridir. Amaliy muammolarni hal qilish uchun ko'pincha katta o'quv namunalari talab qilinadi. Kompyuter operativ xotirasining qat'iy cheklangan miqdori tufayli unda katta o'quv namunalarini joylashtirish mumkin emas. Shuning uchun namuna sahifalarga - misollar guruhlariga bo'linadi. Har qanday vaqtda misollarning faqat bitta sahifasi kompyuter xotirasida, qolganlari qattiq diskda joylashgan. Sahifalar ketma-ket kompyuter xotirasiga yuklanadi. Tarmoq misol sahifalarining butun to'plamida, butun o'quv majmuasida o'qitiladi.
Hozirgi vaqtda o'quv namunalarini yaratishning universal usuli mavjud emas. O'quv misollari to'plami neyron tarmog'ini modellashtirish dasturidan foydalanuvchining ixtiyoriga ko'ra har bir hal qilinayotgan aniq muammo uchun individual ravishda tuziladi [4].
Agar o'qitilmagan neyron tarmoqqa o'quv majmuasi misollaridan birining kirish signali kiritilsa, tarmoqning chiqish signali o'quv majmuasida aniqlangan kerakli chiqish signalidan sezilarli darajada farq qiladi. Raqamli funksiya xatosi
barcha joriy tarmoq chiqishlarining o'xshashligini va o'quv majmuasining mos keladigan kerakli natijalarini aniqlaydi. Eng keng tarqalgan xato funktsiyasi standart og'ishdir. Biroq, boshqa xato funktsiyalari taklif qilingan.
Neyron tarmoqlarni o'qitish uchun turli xil algoritmlardan foydalanish mumkin. Algoritmlarning ikkita katta guruhini ajratish mumkin: gradient va stokastik. Gradient tarmog'ini o'rganish algoritmlari tarmoq parametrlariga nisbatan xato funksiyasining qisman hosilalarini hisoblashga asoslangan. Gradientli algoritmlar orasida birinchi va ikkinchi tartibli algoritmlar mavjud. Stokastik algoritmlarda xato funksiyasining minimalini qidirish tasodifiy ravishda amalga oshiriladi [2].
Tarmoqlarni o'qitishda, qoida tariqasida, quyidagi ikkita to'xtatish mezonlaridan biri qo'llaniladi: xato funktsiyasining ma'lum bir kichik qiymatiga erishilganda to'xtash, o'quv namunasining barcha misollari muvaffaqiyatli echilganda to'xtash.
Treningdan oldin neyron tarmoq ishga tushiriladi, ya'ni tarmoq parametrlariga ba'zi boshlang'ich qiymatlar beriladi. Odatda, bu boshlang'ich qiymatlar ba'zi kichik tasodifiy raqamlardir.
O'quv namunalarini shakllantirish, ishga tushirish va o'qitish uchun neyron tarmoqlarni modellashtirish dasturlari maxsus protseduralardan foydalanadi. Oddiy kompyuterlarda simulyatsiya qilingan neyron tarmoqlardan foydalangan holda amaliy muammolarni hal qilishda ko'p sahifali o'rganishdan foydalanish qobiliyati juda muhimdir.
Trening - bu an'anaviy kompyuterlarda amalga oshirilganda, ko'p vaqt talab qiladigan takrorlanadigan protsedura. O'rganish algoritmlari yaqinlashuv tezligida sezilarli darajada farqlanadi. Bittasi
Neyron tarmoqlarni modellashtirish dasturlarining eng muhim xarakteristikasi dasturda amalga oshirilgan o'rganish algoritmining (yoki algoritmlarning) konvergentsiya tezligidir [2].
O'rganish nazariyasi misollardan o'rganish bilan bog'liq uchta asosiy xususiyatni ko'rib chiqadi: sig'im, namuna murakkabligi va hisoblash murakkabligi. Imkoniyat tarmoq qancha namunalarni eslab qolishi va unda qanday funktsiyalar va qarorlar chegaralarini shakllantirish mumkinligini anglatadi. Namuna murakkabligi tarmoqni umumlashtirish qobiliyatiga erishish uchun zarur bo'lgan o'quv misollari sonini aniqlaydi. Juda kam misollar tarmoqning "haddan tashqari o'qitilgan" bo'lishiga olib kelishi mumkin, bunda u o'quv to'plamidagi misollarda yaxshi ishlaydi, lekin bir xil statistik taqsimotga bog'liq bo'lgan test misollarida yomon ishlaydi. O'rganish qoidalarining 3 ta asosiy turi mavjud: xatolarni tuzatish, Boltsman mashinasi va Hebb qoidasi.
Xatolarni tuzatish qoidasi. Nazorat ostidagi ta'limda har bir kirish misolida kerakli natija beriladi d. Haqiqiy tarmoq chiqishi y kerakli bilan mos kelmasligi mumkin. Trening davomida xatolarni tuzatish printsipi og'irliklarni o'zgartirish uchun signal (dy) dan foydalanish, xatolarni bosqichma-bosqich kamaytirishni ta'minlashdir. O'rganish faqat perseptron xato qilganda sodir bo'ladi. Ushbu o'rganish algoritmining turli xil modifikatsiyalari ma'lum [2].
Boltsmann o'rganish . Bu axborotning nazariy va termodinamik tamoyillaridan kelib chiqadigan stokastik o'rganish qoidasidir. Boltzmann treningining maqsadi og'irliklarni ko'rinadigan neyronlarning holati istalgan ehtimollik taqsimotini qondiradigan tarzda sozlashdir. Boltzmanni o'rganishni xatolarni tuzatishning maxsus holati sifatida ko'rib chiqish mumkin, bunda xato ikki rejimdagi holat korrelyatsiyalarining farqlanishi sifatida tushuniladi.
Hebb qoidasi . Eng qadimgi ta'lim qoidasi Hebbian ta'lim postulatidir. Hebb quyidagi neyrofiziologik kuzatishlarga tayangan: agar sinapsning har ikki tomonidagi neyronlar bir vaqtda va muntazam ravishda yonib tursa, sinaptik aloqaning kuchi ortadi. Bu qoidaning muhim xususiyati shundaki, sinaptik vaznning o'zgarishi faqat ma'lum bir sinaps bilan bog'langan neyronlarning faolligiga bog'liq. Bu o'rganish zanjirlarini sezilarli darajada osonlashtiradi.
O'quv jarayonida neyron tarmoq tomonidan olingan ko'nikmalarni sinab ko'rish uchun tarmoqning ishlashiga taqlid qilish qo'llaniladi. Tarmoqqa ma'lum bir signal kiritiladi, bu, qoida tariqasida, o'quv namunalarining kirish signallarining hech biri bilan mos kelmaydi. Keyinchalik, olingan tarmoq chiqish signali tahlil qilinadi. O'qitilgan tarmoqni sinovdan o'tkazish bitta kirish signallari bo'yicha yoki o'quv namunasiga o'xshash tuzilishga ega bo'lgan nazorat namunasida o'tkazilishi mumkin [2].