Iii-bob. Asosiy model asosida algoritmlarni ishlab chiqish

Taklif etilayotgan algoritm
Ushbu bo‘limda taklif qilingan asosli algoritmning tafsilotlari tasvirlangan. Ushbu yondashuv 2-bo‘limda keltirilgan asosiy g’oyalarning ba’zilarini meros qilib oladi, shu jumladan optik oqimga asoslangan ma’lumotlarni oldindan qayta ishlash, neyron xususiyatlarni olish va ularni keyingi qayta ishlash va tasniflashdan iborat umumiy quvur liniyasi. Biroq, bu bosqichlarning har biri rivojlanadi va o‘zgarishlarga uchraydi. Ishlab chiqilgan modelning quvur liniyasi 3.11-rasmda keltirilgan. Ko‘rish mumkinki, optik oqim xaritalari neyron tarmoq xususiyatlari kalkulyatori uchun kirish ma’lumotlari bo‘lib qolsa-da, bu kirishning tuzilishi o‘zgargan, bu esa qayta ishlashdan keyingi bosqichda ham o‘zgarishlarga olib keladi. Shunday qilib, keling, quyidagi kichik bo‘limlarda yondashuvning asosiy bosqichlarini ko‘rib chiqamiz.



3.11-rasm - Pozaga asoslangan yurishni aniqlash algoritmining quvur liniyasi

Tana qismini tanlash va ma’lumotlarni oldindan qayta ishlash (Body part selection and data preprocessing)

Asosiy modelga o‘xshab, ketma-ket video ramkalar orasidagi optik oqim xususiyatlarni o‘rgatish va chiqarish uchun foydalanish uchun oldindan hisoblanadi. OF xaritalari tasvir sifatida saqlanadi, ammo bu tasvirlarning tuzilishi o‘zgartirilmoqda. Asosiy modelda tasvirning ikkita kanali optik oqim maydonining gorizontal va vertikal qismlariga mos keladi va uchinchisi nolga o‘rnatiladi. Ushbu tasvirlarning o‘zgartirilgan versiyasi bir xil birinchi va ikkinchi kanallarni o‘z ichiga oladi, lekin uchinchisi OF vektorining kattaligiga ega. Garchi bu qiymat dastlabki ikkitasi bilan bog’liq bo‘lsa-da, bu qo‘shimcha ma’lumot neyron tarmoqqa harakat xususiyatlarini o‘rganishga yordam beradi.
Ushbu yondashuvning asosiy yangiligi inson figurasining turli sohalarida nuqta harakatlarini batafsil ko‘rib chiqishdir. Ushbu tekshiruvda berilgan OF bloklari o‘rniga tarmoqqa tananing turli qismlaridan optik oqimning yamoqlari kiritiladi. Ushbu tana qismlari to‘plami tabiiy va empirik sabablarga ko‘ra tanlanadi. 3.1-bo‘limda tushuntirilganidek, oyoqlar inson qiyofasining eng ma’lumotli qismi bo‘lishi kerak, shuning uchun tanib olish uchun oyoqlarning ikkita yamog’i qo‘shnisi tanlangan. Biroq, bu yamalar raqamning juda kichik qismini qoplaydi, bu aniq etarli emas, shuning uchun to‘plamga ikkita "o‘rta" joy qo‘shiladi: tananing pastki va yuqori qismlari va butun tanaga mos keladigan bitta "katta" yamoq. Ushbu tana qismlarining chegara qutilari 3.12-rasmda ko‘rsatilgan. Bunday ierarxik tana qismlari to‘plami aniqroq ma’lumot olish uchun butun rasm bo‘ylab, shuningdek kichikroq joylarda harakatni hisobga olish imkonini beradi. Inson tanasi qismlari yaqinidagi nuqtalarning harakat xaritalarini ko‘rib chiqish g’oyasi optik oqimga asoslangan yurishni aniqlashning boshqa yondashuvlari bilan solishtirganda yangidir.

3.12-rasm - Inson tanasi qismlari uchun chegara qutilari: o‘ng va chap oyoqlar (pastki qismida kichik ko‘k qutilar), yuqori va pastki tana (o‘rtada yashil qutilar) va to‘liq tana (katta qizil quti).
Kerakli yamoqlarni qurish uchun asosiy poza nuqtalarini topish kerak. Shu sababli, OpenPose [89] algoritmi bo‘yicha qo‘shma joylarni topish orqali har bir kadrda odamning pozasi baholanadi. Ushbu usul bir-birining taxminlarini aniqlaydigan bir nechta bashorat qiluvchilar kaskadini qo‘llashga asoslangan konvolyutsion poza mashinalari [100] yondashuvini kengaytiradi. Har bir bosqichda kichik konvolyutsion arxitekturaga ega neyron tarmoq mavjud bo‘lib, u bo‘g’inlar joylarining issiqlik xaritalarini bashorat qiladi. Bunday bosqichma-bosqich protsedura retseptiv maydonni oshirish va butun tasvirni, shuningdek, bashoratni yaxshilashga olib keladigan mahalliy xususiyatlarni kuzatish imkonini beradi.
Pozni baholash bosqichidan so‘ng, har bir videodagi kadrlar odamning kadrdagi mavjudligiga qarab filtrlanishi mumkin. Aynan inson harakati hisobga olinganligi sababli, faqat to‘liq raqamni o‘z ichiga olgan ramkalar hisobga olinadi. Shunday qilib, ba’zida videoning boshida va oxirida bir nechta ramkalar (shaxs to‘liq kadrda bo‘lmagan joyda) ishlatilmaydi.
Asosiy fikrlarni topib, tarmoqni o‘qitish uchun yamalar quyidagi tarzda tanlanadi. Oyoq yamoqlari markazlarida asosiy oyoq nuqtalari bo‘lgan kvadratchalar bo‘lib, yamoq butun oyoqni, shu jumladan tovon va oyoq barmoqlarini qoplashi kerak, shuning uchun kvadratning yon tomoni empirik ravishda inson balandligining 25% bo‘lishi uchun tanlangan.
3.13-rasm - Inson qiyofasining beshta sohasida optik oqim xaritalarining vizualizatsiyasi
Yuqori tananing yamog’ida boshdan songacha bo‘lgan barcha bo‘g’inlar (shu jumladan qo‘llar) va pastki tananing yamog’i sondan oyoqgacha bo‘lgan barcha bo‘g’imlarni o‘z ichiga oladi (qo‘llardan tashqari). Shunday qilib, har bir ketma-ket ramkalar juftligi tarmoq kirishlari sifatida foydalanish uchun beshta yamoq ishlab chiqaradi (3.13-rasmda ushbu yamoqlarning vizualizatsiyasiga qarang). Ushbu protsedura dastlabki ishlov berish bosqichini va ma’lumotlarni tayyorlashni tugatadi.