Iii-bob. Asosiy model asosida algoritmlarni ishlab chiqish

CNN-M sintezi

CNN arxitekturasining birinchi modifikatsiyasi bir xil tarmoqning bir nechta tarmoqlarini sekin birlashtirishdir [84]. Kirish sifatida olingan bitta katta 10 ta ramka bloki o‘rniga kichikroq o‘lchamdagi 4 ta ketma-ket blok ishlatiladi. Batafsilroq, 4 ta blok OF xaritasi olinadi, ularning har biri 5 juft xaritadan iborat bo‘lib, umumiy og’irliklarga ega bo‘lgan konvolyutsion qatlamlarning alohida tarmoqlaridan o‘tadi. To‘rtinchi konvolyutsion qatlamdan so‘ng, birinchi ikkita shoxchaning va oxirgi ikkitasining chiqishi birlashtirilib, to‘rtta o‘rniga ikkita oqim qoladi. Ushbu ikkita chiqish to‘liq ulangan beshinchi qatlamdan o‘tadi, shundan so‘ng ikkita chiqish bittaga birlashtiriladi va tarmoqning qolgan qatlamlari orqali o‘tishda davom etadi. 2.6-rasmda taklif etilayotgan arxitektura sxemasi keltirilgan. Ushbu yondashuv lahzali xususiyatlarni yo‘qotmasdan, yurishning kattaroq davrini hisobga olishga imkon beradi. Bu to‘r ham bosqichma-bosqich o‘rgatildi.
VGG-ga o‘xshash arxitektura
Ushbu tadqiqotda ko‘rib chiqilgan uchinchi arxitektura VGG oilasi arxitekturalariga o‘xshash edi [97]. Yadro o‘lchamlari kichik bo‘lgan konvolyutsiya bloklaridan foydalanish g’oyasi naqshni aniqlash sohasida o‘zini juda muvaffaqiyatli isbotladi. Shunga qaramay, VGG arxitekturasidagi har bir filtr atigi 3 × 3 o‘lchamga ega bo‘lsa-da, tarmoqning chuqurligi mavjud ma’lumotlar to‘plami o‘lchamlariga nisbatan parametrlar sonini juda katta qiladi. Haddan tashqari o‘rnatishning oldini olish uchun kesilgan VGG-16 arxitekturasi olindi, ya’ni oxirgi konvolyutsion blok tarmoqdan olib tashlandi. Tafsilotlar 3.2-jadvalda tasvirlangan.

3.6-rasm — CNN-M sintez arxitekturasining sxemasi
3.2-jadval
VGG-ga o'xshash arxitektura

B1	B2	B3	B4	F5	F6	SM
3 × 3, 64 3 × 3, 64	3 × 3, 128 3 × 3, 128	3 × 3, 256 3 × 3, 256 3 × 3, 256	3 × 3, 512 3 × 3, 512 3 × 3, 512	4096	4096	subjects number
Pool 2 ReLU	Pool 2 ReLU	Pool 2 ReLU	ReLU	Dropout ReLU	Dropout ReLU	SoftMax

Birinchi to‘rtta ustun konvolyutsion qatlamlar bloklariga mos keladi. Barcha konvolyutsiyalar 3 × 3 filtrga ega, birinchi blok 64 o‘lchamdagi ikkita qatlamdan iborat, ikkinchisi har biri 128 ta filtrli ikkita qatlamdan iborat, uchinchi va to‘rtinchi bloklar mos ravishda 256 va 512 filtrli uchta qatlamdan iborat. Barcha konvolyutsion bloklardan keyin MaxPooling qatlamlari keladi. Konvolyutsion bloklardan keyin uchta zich qatlam mavjud. Ulardan ikkitasi 4096 birlikdan iborat bo‘lib, undan keyin parametr = 0,5 bo‘lgan tushirish, oxirgisi esa softmax qatlami. Oxirgisidan tashqari barcha qatlamlardan keyin ReLU chiziqli emasligi kuzatiladi. Ushbu tarmoq, shuningdek, 1024 ga teng bo‘lgan ikkita to‘liq bog’langan qatlamning o‘lchamidan boshlab bosqichma-bosqich o‘qitildi va tekshirish xatosi pasayishni to‘xtatganda ularni ikki baravar oshirdi.
Barcha arxitekturalarda zich qatlamlarda haddan tashqari o‘rnatishga olib keladigan juda katta og’irliklardan qochish uchun o‘zaro entropiyani yo‘qotish funktsiyasiga F5 va F6 qatlamlarida 𝐿2 tartibga solish qo‘shildi. Regulyatsiya parametri bosqichma-bosqich 0,02 dan 0,05 gacha ko‘tarildi.