1 Sun'iy neyron tarmoqlarga kirish ning rivojlanish tarixidoirasida yechilgan masalalar

1.3 Sun'iy neyronning tuzilishi

Sun'iy neyron sun'iy neyron tarmog'ining elementar struktura birligi bo'lib, biologik neyronning soddalashtirilgan modelidir. 1-rasmda kirish ma'lumotlari yoki bir xil neyronning chiqishi bo'lishi mumkin bo'lgan neyron ko'rsatilgan. Kirishlar sinaptik ulanishlar yordamida S neyron hujayrasiga ulanadi . Har bir sinapsning o'z vazni bor; kirish parametri neyron hujayrasiga uzatilganda, u mos ravishda og'irlik bilan ko'paytiriladi, ya'ni. x _i * w _i . Neyron S holati quyidagi formula bilan aniqlanadi:

(1)
y = f ( S ) funktsiyasidir .



1-rasm - Sun'iy neyronning vizualizatsiyasi

f funktsiyasi faollashtirish funktsiyasi deb ataladi. Bunday funktsiyalar chiziqli bo'lishi mumkin emas, chunki chiziqli faollashtirish funktsiyasiga ega neyron tarmoqlari, ularning tuzilishi qanchalik murakkab bo'lishidan qat'i nazar, faqat bitta darajada samarali bo'ladi. Eng keng tarqalgan funktsiyalardan biri logistik funktsiya yoki sigmasimon deb ataladigan chiziqli bo'lmagan to'yingan funktsiyadir:

(2)

a parametri funksiyaning tekisligi uchun javobgardir. U qanchalik kichik bo'lsa, sigmasimon bez shunchalik tekis bo'ladi. Shuni ta'kidlash kerakki, bu funktsiya butun abscissa o'qi bo'yicha farqlanadi, bu zarur

Ba'zi neyron tarmoqlarni o'qitish algoritmlaridagi holat. Bundan tashqari, u kuchsiz signallarni kattalarga qaraganda yaxshiroq kuchaytirish xususiyatiga ega, shuningdek, sigmasimon tekis qiyalik bo'lgan argument mintaqalariga to'g'ri kelganligi sababli katta signallarning to'yinganligini oldini oladi (2-rasm) [2].



2-rasm – Sigmasimon


1.4 Neyron tarmoq arxitekturasi

Neyron tarmoqlarning bir nechta asosiy turlari mavjud: Ko'p qatlamli tarmoqlar. Ko'p qatlamli tarmoqlarda bir yoki bir nechta neyronlar qatlamlarga birlashtiriladi (3-rasm). Qatlam - kirishi bir xil umumiy signalni oladigan neyronlar to'plami. Ushbu turdagi tarmoqlarda tashqi kirish ma'lumotlari birinchi qatlamdagi neyronlarning kirishlariga beriladi va chiqish ma'lumotlari oxirgi chiqish qatlamining natijasidir. Ko'p qatlamli tarmoqlar kirish va chiqish qatlamlaridan tashqari bir yoki bir nechta yashirin qatlamlarni ham o'z ichiga oladi. Neyron chiqishining ba'zi bir i qatlamdan ba'zi i +1 qatlamiga ulanishlari ketma-ket deyiladi.

To'liq bog'langan neyron tarmoqlar. To'liq bog'langan neyron tarmog'ida har bir neyron o'z signalini boshqa neyronlarga uzatadi (4-rasm).
Chiqish signallari bir necha ish siklidan so'ng barcha yoki ba'zi neyron signallari bo'lishi mumkin. Barcha kirish signallari barcha neyronlarga beriladi [6].



3-rasm - Ko'p qatlamli neyron tarmoq



4-rasm - To'liq ulangan neyron tarmoq

Har bir neyron tarmoq nafaqat o'z arxitekturasiga, balki muayyan muammoni hal qilish uchun ko'proq mos keladigan turga ham ega. Misol uchun, konvolyutsion neyron tarmoqlari ( CNN ) naqshni aniqlash va kompyuterni ko'rish muammolarini hal qilishda ancha yaxshi. Uning boshqa ANN turlaridan farqi shundaki, har bir tasvir fragmenti konvolyutsiya matritsasi (yadro) elementi bilan elementga ko‘paytiriladi va natija yig‘iladi va chiqish tasviridagi o‘xshash holatga yoziladi (5-rasm). Agar rasmdagi har bir piksel alohida ko'rib chiqilsa, bu tarmoqning tezda haddan tashqari moslashishiga olib keladi va uning naqshni aniqlash qobiliyati faqat o'quv majmuasida aniq bo'ladi [7].

5-rasm – Konvolyutsion neyron tarmoq

tarmoqlar ham mavjud tarmoqlar DN ), teskari grafik tarmoqlari deb ham ataladi, CNN ning teskarisidir (6-rasm). Ularning vazifasi berilgan xususiyatlar asosida tasvirlarni yaratishdir. Misol uchun, tarmoqqa "mushuk" so'zini uzatganingizda, u mushuklarga o'xshash tasvirlarni yaratishi kerak bo'ladi.

6-rasm – Neyron tarmoqni ochish

Gapdagi so'zlarni bashorat qilish, ketma-ketlikdagi keyingi raqamni bashorat qilish, matnning asosiy g'oyasini ajratib ko'rsatish, shunga o'xshash yangi ma'lumotlarni yaratish, takroriy neyron tarmoqlardan foydalaniladi ( takroriy asabiy tarmoq RNN ). Takroriy neyron tarmoqlarda neyronlar bir-biri bilan ma'lumot almashadi, masalan, neyron kiruvchi ma'lumotlarning yangi qismidan tashqari, tarmoqning oldingi holati haqida ham ma'lumot oladi (7-rasm). Shunday qilib, tarmoqda "xotira" deb ataladigan narsa amalga oshiriladi, bu uning ishlash xarakterini tubdan o'zgartiradi va har qanday ma'lumotlar ketma-ketligini tahlil qilish imkonini beradi.

7-rasm – Takroriy neyron tarmoq

Eng oddiy neyron tarmoqlar oldinga besleme tarmoqlaridir . asabiy tarmoq FFN ), ular ko'plab boshqa tarmoqlarni yaratish uchun asos sifatida ishlatiladi. Ushbu tarmoqlar oddiy va ma'lumotni kirishdan chiqishga uzatadi. Har bir qatlamning neyronlari bir-biriga bog'lanmagan, lekin qo'shni qatlamlar odatda to'liq bog'langan. FFN ko'rinishini ko'p qatlamli tarmoq sifatida ko'rish mumkin (3-rasm) [7].