Iii-bob. Asosiy model asosida algoritmlarni ishlab chiqish

Neyron tarmog’i arxitekturasi va o‘qitish jarayoni
Optik oqim yamoqlari tayyorlanganda, ular neyron tarmoqlarni o‘qitish uchun ishlatiladi. Taklif etilayotgan modelning muhim xususiyati shundaki, tana qismlarining har biri uchun bir xil og’irliklarga ega bir xil tarmoq ishlatiladi. Yamalar bir-biri bilan kesishgan tarmoqqa kiritiladi va oqimni ajratish kerak emas. Bundan tashqari, ko‘p ko‘rinishni aniqlash uchun qo‘llaniladigan barcha mavjud ko‘rinishlar uchun bitta umumiy tarmoq qo‘llaniladi, dastlabki ajratish amalga oshirilmaydi va o‘qitish va xulosa chiqarishda ko‘rish burchaklari haqida hech qanday ma’lumot talab qilinmaydi. Ko‘rinishga qarab xususiyatlarni tuzadigan boshqa ko‘plab usullardan (masalan, GEI asosida) farqli o‘laroq, taklif qilingan model burchakdan qat'i nazar, barcha ramkalarni kirish sifatida oladi.
Ushbu yondashuv uchun ikkita konvolyutsion arxitektura ko‘rib chiqiladi va taqqoslanadi. Birinchisi bazaviy model arxitekturalarining eng yaxshisidir. Xuddi shu arxitekturani qo‘llagan holda, biz yangi pozaga asoslangan modelni aniq taqqoslashimiz mumkin. boshlang’ich chiziq va tana qismlarini ko‘rib chiqish haqiqatan ham tan olishni yaxshilaydimi yoki yo‘qligini ko‘ring. 2.2.2-bo‘limda tavsiflangan bosqichli o‘quv jarayoni qatlamlarni bosqichma-bosqich kengaytirish va qo‘shimcha og’irliklarni tartibga solish bilan bir xil bo‘lib qoladi.
Biroq, ma’lumotlarning ko‘payishi, tark etish qatlami va vaznni tartibga solishga qaramay, sinov to‘plamidagi sifat hali ham ortiqcha moslamani ochib beradigan treningdan orqada qoladi. Shunday qilib, ikkinchi arxitektura oldingi tadqiqotda ishlatilmagan deb hisoblanadi. Yuqorida tavsiflangan, ham konvolyutsion, ham zich qatlamlarni o‘z ichiga olgan barcha tarmoqlardan farqli o‘laroq, vazifa uchun to‘liq konvolyutsion model, ya’ni qoldiqli tarmoq (Residual Network - ResNet) taklif etiladi [101]. Ushbu arxitektura qoldiq ulanishlarni o‘z ichiga oladi, ular ma’lumotni past darajadan yuqori darajaga o‘tkazishga imkon beradi va shuning uchun har bir yangi blokning qo‘shilishi tasniflashning aniqligini oshiradi. Bundan tashqari, ResNet arxitekturasida to‘liq bog’langan qatlamlarning yo‘qligi model parametrlari sonini kamaytiradi, bu ham ortiqcha moslamaning kamayishiga olib keladi. Bunday tuzilma tufayli ResNet tasvirlarni tasniflash uchun eng muvaffaqiyatli arxitekturalardan biriga aylandi va shuning uchun kompyuterni ko‘rishda juda mashhur va ilhomlantiruvchi. Barcha afzalliklarga qaramay, ResNet arxitekturalari odatda juda chuqur bo‘lib, ishlashni yaxshilash uchun ko‘p sonli qatlamlarni talab qiladi. Va har bir yangi blok parametrlar sonini sezilarli darajada oshiradi va o‘quv jarayonini uzaytiradi. Yana bir muammo - orqaga tarqalish paytida oxirgi qatlamdan birinchi qatlamgacha bo‘lgan juda uzun yo‘llar natijasida gradientlarning portlashi yoki yo‘qolishi. Bu muammolarni bartaraf qilish uchun chuqurligi kamaygan va qoldiq blok kengligi ortgan Wide Rezidual Network [102] tanlanadi; natijada qatlamlar sonining qisqarishi o‘quv jarayonini ancha tezlashtirdi va tarmoqni kamroq tartibga solish bilan optimallashtirish imkonini berdi. Ko‘rib chiqilayotgan Wide ResNet arxitekturasining tafsilotlari 3.1-jadvalda keltirilgan.
3.7-jadval.
Keng qoldiq tarmoq arxitekturasi

B1	B2	B3	B4
3 × 3, 16 BatchNorm	B atchNorm 3 × 3, 64 BatchNorm 3 × 3, 64	B atchNorm 3 × 3, 128 BatchNorm 3 × 3, 128	B atchNorm 3 × 3, 256 BatchNorm 3 × 3, 256

Jadvaldagi har bir ustun bir xil miqdordagi filtrlarga ega bo‘lgan konvolyutsiya bloklari to‘plamini belgilaydi. VGG arxitekturalariga o‘xshab, barcha konvolyutsiyalar 3 × 3 o‘lchamdagi yadrolarga ega. Birinchi qatlamda 16 ta filtr mavjud va undan keyin to‘plamni normallashtirish, so‘ngra uchta qoldiq bloklar mavjud bo‘lib, ularning har biri 64 filtrli ikkita konvolyutsion qatlamni o‘z ichiga oladi, ular orasida normalizatsiya mavjud. Ushbu blok konstruktsiyasi Wide ResNet arxitekturalari uchun klassik bo‘lib, barcha bloklar o‘xshash tuzilishga ega. Har bir keyingi guruhda bloklar oldingisiga qaraganda ikki baravar ko‘p filtrlarga ega. B3-B4 guruhlaridagi har bir birinchi konvolyutsion qatlam 2-parametrli qadamga ega; shuning uchun tensor o‘lchami 48 × 48 pikseldan boshlanadi va B3 va B4 guruhlarida mos ravishda 24 × 24 va keyin 12 × 12 gacha kamayadi.



3.15-rasm — Wide ResNet arxitekturasida qoldiq bloklarni qurish
Qoldiq bloklarning batafsil konstruktsiyasi 3.15-rasmda ko‘rsatilgan. Chapdagi sxema kirish va chiqish shakllari mos kelganda qadamlarsiz umumiy blokga mos keladi; o‘ng tomonda guruhning birinchi blokining tuzilishini (B3 va B4 ustunlari) belgilaydi, chunki filtrlar soni ikki baravar ko‘payadi va xarita hajmi kamayadi. Bunday holda, yig’indidan oldin barcha shakllarni teng qilish uchun 1 × 1 yadro, qadam va ikki baravar ko‘p filtrli bitta yordamchi konvolyutsiya qatlamini qo‘shamiz. Barcha ommaviy normalizatsiya qatlamlaridan keyin ReLU faollashuvi amalga oshiriladi.
Tasniflash uchun barcha qoldiq bloklardan o‘tgandan so‘ng, tensorni sub’ektlar soniga teng bo‘lgan komponentlar soniga ega bo‘lgan 1 o‘lchovli vektorga aylantirish kerak, bu mavzular bo‘yicha ehtimollik taqsimoti. Buning uchun BatchNorm qatlami qo‘shiladi, so‘ngra o‘rtacha birlashma qo‘shiladi, bu esa bitta vektorga konvolyutsiyadan keyin olingan 12 × 12 xaritalar ketma-ketligini "tekislaydi". Shundan so‘ng, softmax nochiziqli oxirgi zich qatlam qo‘llaniladi.
Ikkala tarmoq ham Nesterov Momentum gradient descentidan foydalangan holda o‘qitildi, har safar o‘quv sifati o‘sishni to‘xtatganda, o‘rganish tezligi 0,1 dan 10 baravarga kamaydi. Tarmoq treningi NVIDIA GTX 1070 GPU-da Theano backend bilan Lazanya ramkasida [103] amalga oshirildi.