1 Sun'iy neyron tarmoqlarga kirish ning rivojlanish tarixidoirasida yechilgan masalalar

1.5.1 Orqaga tarqalish algoritmi

Orqaga tarqalish algoritmi xatolarni tuzatishni o'rganish usuliga ishora qiladi va odatda ko'p qatlamli perseptronlarga qo'llaniladi. Bu nazorat ostidagi ta'lim usuli bo'lib, unda bolani o'qish va yozishni o'rgatganidek, "ustoz" tarmoqni o'rgatadi. Trening davomida signal tasvirlari kirish qatlamiga qayta-qayta yuboriladi, uni tanib olish uchun neyron tarmoq o'rgatilgan bo'lishi kerak va neyronlarning og'irligi erishish uchun sozlanadi.

kerakli chiqish signali. Tanib olish sifatini yaxshilash uchun kirish qatlamiga berilgan tasvirlarni biroz o'zgartirish mumkin (shovqin qo'shiladi va hokazo). Batafsil trening jarayoni quyidagicha ko'rinadi:
1) Kirish ma'lumotlarining namunasi (o'qituvchi tomonidan tasniflangan tasvirlar to'plami) ikkiga bo'linadi: o'qitish va nazorat qilish ketma-ketligi. Odatda, mashg'ulotlar ketma-ketligi sinov ketma-ketligiga qaraganda ko'proq tasvirlarni o'z ichiga oladi.
2) Barcha og'irliklar, shu jumladan chegaraviy qiymatlar kichik tasodifiy qiymatlar bilan ishga tushiriladi (odatda [-1; +1] oralig'ida). Bu gradient usuli uchun xato yuzasida boshlang'ich nuqtani belgilaydi, bu tarmoqning yaqinlashishi uchun hal qiluvchi bo'lishi mumkin bo'lgan pozitsiya.
3) Tarmoqning to'g'ridan-to'g'ri o'tishi o'quv majmuasidan kirish qatlamidan yashirin qatlamlar orqali chiqish qatlamiga birinchi tasvir uchun amalga oshiriladi: har bir neyron kirish va og'irliklar mahsulotlarini yig'adi va qo'llaniladigan faollashtirish funktsiyasining natijasini chiqaradi. bu miqdor keyingi darajadagi neyronlarga to'g'ri keladi.
4) Chiqish qatlamidagi har bir neyronning haqiqiy va kerakli chiqish qiymati o'rtasidagi farq hisoblanadi. Agar ular mos kelmasa, tasvirlarni tanib olishda (tasniflashda) xatolik yuzaga keladi.
5) Chiqish neyronlaridan kirish neyronlarigacha bo'lgan ulanishlar bo'ylab ushbu xatolarning orqaga tarqalishi uchun protsedura amalga oshiriladi va har bir neyron uchun xatolar aniqlanadi. Keling, ushbu protsedurani batafsil ko'rib chiqaylik. Aytaylik, neyron tarmoqning chiqish qiymati 0,5, kerakli qiymat esa 0 bo'ldi. Xato quyidagi formula bilan aniqlansin :

Bu erda E - tarmoq xatosi, y _{i –} neyron tarmoqning i -chi chiqishidagi kerakli qiymat , d _{i –} i -chi chiqishidagi tarmoqning chiqish qiymati .

E = 0,5-0 = 0,5 bo'ladi . Agar sigmasimonni faollashtirish funktsiyasi sifatida ko'rib chiqsak, u holda oxirgi qatlamning sinaptik birikmalarining og'irliklarini siljitish zarur bo'lgan Dw ni hisoblash quyidagi formula bo'yicha amalga oshiriladi:

Bu erda sigmasimon ( x ) dx aktivizatsiya funksiyasining hosilasi bo'lib, sigmasimon ( x )(1- sigmasimon (x)) ga teng. X deganda biz oxirgi qatlam neyronlarining barcha chiqish qiymatlarini yig'ish orqali olingan qiymatni mos ravishda w _{i ga ko'paytiramiz} . Oxirgi va oxirgi qatlamlar orasidagi sinaptik ulanishlar og'irliklarini tuzatishning yakuniy bosqichi quyidagi formula bo'yicha amalga oshiriladi:

m _i - oxirgi qatlamning i neyronining chiqish qiymatlari

l - o'rganish tezligi uchun javob beradigan parametr
E = w _i * Dw formulasidan foydalanib, chiqish qiymati m _i xatosini hisoblashimiz mumkin . Oldingi qatlamdagi har bir neyronning xatosini bilib, yuqorida ishlatilgan formulalar yordamida biz oldingi qatlamlardagi neyronlarning og'irliklari va qiymatlarining og'ishlarini topishimiz mumkin.
6) O'quv namunasining keyingi tasviri uchun tarmoq orqali to'g'ridan-to'g'ri o'tish yana amalga oshiriladi...
3-6 bosqichlar ma'lum bir mezonga erishilgunga qadar takrorlanadi,
masalan, xato belgilangan chegaraga yetganda.
O'quv bosqichining oxirida tarmoq avval taqdim etilmagan tasvirlarni o'z ichiga olgan boshqaruv ketma-ketligi yordamida sinovdan o'tkaziladi. (Bu holda og'irliklar tuzatilmaydi, faqat xatolik hisoblab chiqiladi). Agar ish sifati qoniqarli deb topilsa, tarmoq ishga tayyor deb hisoblanadi. Aks holda, tarmoq qayta o'qitishga tobe bo'ladi, uning davomida ba'zi parametrlarni (dastlabki og'irliklar, yashirin qatlamlardagi neyronlar soni, qo'shimcha o'quv tasvirlari va boshqalar) o'zgartirish mumkin [2].