Bundan tashqari O‘zbekiston Respublikasi Prezidenti Islom Karimovning

Imo-ishora harakatlari va yo’nalishlari tadqiq qilish usullari

Ushbu tadqiqot piksellarning tasniflash ma'lumotlarini imo-ishoralash orqali kompleks imo-ishora harakatlarini tanqid qilish uslubiga bag'ishlangan.

• 
  Biz oldingi ishlarning afzalliklarini imo-ishorai mintaqasini segmentlarga ajratish uchun birlashtirdik. Qaerda Distance-Adaptive Scheme (DAS) yordamida tanlangan chuqurlik Hususiyatlariga ko’ra piksellarni tasniflash uchun tasodifiy Hususiyatlar.
  
• 
  Biz pikselli tasnifni tayyorlash uchun ta'lim ma'lumotlarini yaratish uchun rang imo-ishoraqop bazasi tizimini yaratdik.
  
• 
  Kinematik cheklovlar doirasida bo’g'inlarni mahalliylashtirish uchun ierarxik rejim qidirish usuli ishlab chiqildi[10,12].
  
• 
  24 alifbo belgilari uchun yuqori aniqlik aniqligiga erishildi ("26" alfavitida "j" va "z" dinamik belgilaridan tashqari).
  
• 
  Biz rivojlangan tizimni mavjud benchmark tizimlar bilan taqqoslash uchun biz umumiy ma'lumot to’plamidan foydalanib, usulimizni baholadik.
  

Qog'oz quyidagi tarzda tashkil etilgan.2-qism imo-ishora qismini segmentatsiya jarayonini taqdim etadi. 3-bo’lim qo’shma lokalizatsiya va imo-ishorani aniqlash metodologiyasini tushuntiradi. 4-bo’lim eksperimental natijalarni taqdim etadi va muhokama qiladi. 5-bo’lim tadqiqotning xulosalarini keltirib chiqaradi.
Barmoq qismli segmentatsiyasi: Pikselli tasniflash usuli imo-ishorani qismlarga ajratish uchun moslangan. Ushbu jarayonning kiritilishi imo-ishoraning chuqurligining tasiridir va chiqish har pikselning tasnifi yorlig'i bo’ldi. Imo-ishora 11 qismga bo’lingan: 1-rasmda ko’rsatilgandek palma, pastki barmoqning 5 ta qismi va 5 barmoq uchi [11,12].
Trening ma'lumotlarini ishlab chiqarish usuli 2.1 qismida keltirilgan. Pikselli tasnifi uchun foydalaniladigan funksiya 2.2 qismda keltirilgan. Tasniflagichni tayyorlash va tasniflash jarayoni Bo’lim 2.3da tasirlangan.

2.1-rasm.Imo-ishora-qismli segmentatsiya.
O’quv datasetida chuqurlikdagi tasirlar va imo-ishoraning qismlari haqiqatning konfiguratsiyasi mavjud. Ta'lim ma'lumotlar to’plamidan foydalangan holda tayyorlangan tasniflovchi, kirish chuqurligi tasirini pikselli qismlarga bo’linishi mumkin[6,13].
Imo-ishora hududining chuqurligi to’g'ridan-to’g'ri Kinect chuqurlik sezgisidan olinishi mumkin. Biroq, har bir piksel uchun joy haqiqat tasnifi olish, unchalik ahamiyatga ega emas. Har bir chuqurlikdagi tasirni imo-ishora bilan ajratish katta ish bo’lardi; Sintetik ma'lumotlar [8, 14] ishlab chiqarish yuqori sifatli 3D modelini yaratishni talab qiladi va sintetik ma'lumotlarning buzilishi va parazitini simulyatsiya qilish zarur va qiyin. Shuning uchun aniq ma'lumotni imo-ishoraay tarzda yaratish uchun rangli imo-ishoraqop yaratilgan; 2-rasmda ko’rsatilganidek,

2.2-rasm. Rang imo-ishoraqopi, imo-ishoraqopli rangli tasirlar, segmentatsiya joyi haqiqati va chuqurlikdagi tasirlar.
Imo-ishoraqop imo-ishora imo-ishoralari konfigürasyonuna ko’ra, 11 xil rang bilan bo’yalgan. Imo-ishoraqop, inson imo-ishorai yuzasiga mukammal mos bo’lishi mumkin, chunki u elastik materialdan ishlab chiqariladi. Shunday qilib, Kinect sensor yordamida faqat rangli al qismlari bilan bir qatorda RGB rasmlarni emas, balki aniq inson al-chuqurligi tasirlari ham mumkin. Keyinchalik, RGB rasmlarni rangli ranglarga qarab, imo-ishoralarni bo’laklarga ajratish uchun rang-
barang rangli rangli maydonda ishlangan. Shuning uchun, imo-ishoralarni ajratish uchun dataset (chuqurlikdagi tasirlar va ularning yer haqiqati) imo-ishoraqop kiygan turli xil imo-ishora harakatlarini amalga oshirish orqali samarali ishlab chiqilishi mumkin. Funksiyani chiqarib tashlash Chuqur taqqoslash Hususiyatlari [24] imo-ishorada chuqurlikdagi har bir pikselning kontekstli ma'lumotlarini aniqlash uchun ishlatilgan. Chuqurlikdagi I rasmidagi har bir piksel x uchun, quyidagi Hususiyat sifatida tavsiflanadi:

bu erda funksiyasi piksel x va ofset pikseli o’rtasidagi chuqurlikdagi kontrastni hisoblab chiqadi. Funksiyalar to’plami ofset vektorlari majmuasini o’z ichiga olgan ma'lum bir tanlov shemasiga muvofiq har piksel uchun chiqariladi.Ko’pgina Hususiyatlar piksel kontekstining keng qamrovli tavsifini ta'minlaydi, ammo u ham katta hisoblash xarajatlariga olib kelishi mumkin[10,14].
Hususiyatlardan foydalanish samaradorligini oshirish uchun masofaviy adaptiv shema (DAS) ishlatilgan. Imo-ishora mintaqasining piksellari odatda butun chuqurlikdagi tasirning nisbatan kichik qismida to’planadi. Shunday qilib, chuqurlik qiymatlari uzoqda joylashgan al piksellari va fon piksellari o’rtasidagi kontrastlar odatda juda oz foydali ma'lumot beradi. Biroq, yaqinroq piksellar o’rtasidagi ziddiyatlar muhim ma'lumotlarni beradi. Shuning uchun, imo-ishoraning markaziy mintaqasida kontekstli piksellarga e'tibor berish uchun bir tanlov shemasi tasodifiy ravishda Gaussian taqsimlash yadrosi yordamida hosil qilingan.



2.3-rasm. Hususiy tanlov sxemalarini tasirlash: (A) Birlamchi tarqatish shemasi (EDS) va (B) masofaviy adaptiv shema (DAS).
2.3-rasmda, EDS va DAS yordamida hosil kilingan ikkita maxsus tanlov shemasi tasirlangan. Masofadan moslashuvchan kontekst nuqtalari imo-ishorada ko’proq yo’naltirilgan. Natijada DAS funksiyalari EDS funksiyalariga nisbatan imo-ishorada batafsil ma'lumotni o’z ichiga olishi mumkin[11,14].

3.