Bundan tashqari O‘zbekiston Respublikasi Prezidenti Islom Karimovning

Yashirin Markov modeli - Dinamik usul modellashda tanlanadigan yondashuv tasodifiydir. Masalan, masalan. yashirin matematik modellari (XMM) yoki Dynamic Bayesian Networks. Bir vaqt domen usuli matematik xususiyatini namoyish etadi, agar mavjud bo'lsa, ehtimol ehtimollik zichligi, barcha sovg'a va o'tgan voqealar hisobga olingan holda, faqatgina eng dolzarb voqeaning 1-qismiga bog'liq. Agar bu hodisalar avvalgi eng so'nggi o'tgan voqeaga bog'liq bo'lsa, unda uslub birlamchi tartibda stokastik jarayon deb ataladi. Buning foydali tasavvuri deb o'ylayman, ayni paytda vaqt o'qi uchun alomat signalini imo-ishoralash yo'nalishini hisobga olsak. O'zining boy matematik tuzilishi uchun juda mashhur bo'lgan HMM, tabiiy usul salohiyatining ichida keng tarqalgan vaqtinchalik ma'lumotni samarador modellash uchun keng imo-ishoralaniladigan vosita sifatida hisobga olinadi. O'tkazish vaqtida foydalaniladigan algoritmlar Baum-Welch va Viterbi-ni tahlil qilish, o'rganish va tahlil qilish uchun qabul qilishni o'rganish uchun ishlatish uchun Hmm umumlashtirilgan topologiyani tushunishdan oldin boshlanadi, chunki Achar-ning muddati shartlariga muvofiq Ergodik modeli, har qanday davlat ko'pincha boshqa davlatdan kelib chiqadi.

1.3-rasm. Tavsiya etilgan tizim diagrammasi.

2. 
   Imo –ishorani tanish tizimida olib borilgan izlanishlar
   

Real vaqtda ishlaydigan imo-ishorali tanishish tizimi va chuqurlik ma'lumotlarini yuqori aniqlik darajasi bilan ishlatish mavjud bo'lsa-da, hisoblangan ma'lumotlar to'plami kichik va yaxshi ajralib turadi. Katta ma'lumotlar majmui va ayniqsa barmoqli alfavitlarni hisobga oladigan tizimlar, yuqori aniqlik darajalariga erishish uchun hali ham maxsus muhit yoki markerlarni talab qiladi. Barmoq harflarini ishlatish bilan yozilgan so'zlarni tushunish juda oz ahamiyatga ega. Bu yo'naltirilgan gradyanlar histogramlari va yashirin Markov modeli ingliz belgilarining barmoq alifbosi uchun yagona foydalanuvchi tizimidagi so'zlarni tasniflash uchun ishlatiladi[8,9].
Imo-ishorali alfa-bet harflarini tan olish yondashuvimiz chuqurlik ma'lumotidan va maxsus rangli ma'lumotlardan imo-ishorani aniqlashga bog'liqdir. Xususan, ANMM klassifikatori ilgari gestrni aniqlash uchun tavsiya qilingan. Biroq, imo-ishorani tanib olish oddiy vazifadir, chunki odatda faqat bir-biridan farqli imo-ishoralardan foydalaniladi. Imo-ishora tillarida harflar uchun belgilari oldindan aniqlangan va hozirgi chuqurlik sensorlarining shovqini va past o'lchamlari tufayli juda aniq emas.
ASL kabi ingl. -Xitekturali tillarning belgilarini aniqlash juda faol maydondir. Masalan, SignSpeak loyihasi doimiy matnli tilni matnga tarjima qilish uchun tafakkurga asoslangan texnologiyani ishlab chiqishni maqsad qilgan. Biroq, ushbu tizimlarning aksariyati imo-ishora tilining arbitraj yo'li bilan tanlangan quyi qismini tan olishga urinib ko'radi, buning yordamida tasvirlar ketma-ketligini harakatlantirish yoki imo-ishorada chiqarilgan statik harakatlarning tan olinishi mumkin. Quyida biz yagona foydalanuvchi tizimiga yagona tizimni yaratamiz, ya'ni tizimlar bitta foydalanuvchi uchun tayyorlanadi va ko'p foydalanuvchilar tizimi, ya'ni foydalanuvchi hech qanday ma'lumot bermaydi[6,7]:
Bitta foydalanuvchi tizim. Polshadagi barmoq alifbosi belgilarda off-layn tartibda tasniflangan. Ko'rib chiqilgan 23 ta imo-ishoralarning har biri uchun stereo-sozlash orqali imo-ishoraga kiritilgan nisbatan baland piksellardagi va chuqurlikdagi ma'lumotlarda kulrang-tasvirli tasvirdan iborat edi. Tasvirda rangli imo-ishoraqop ishlatilgan ispan imo-ishora harflari uchun haqiqiy vaqtda tanishuv tizimi ishlab chiqildi. Haqiqiy vaqt tizim ASL belgilaridan iborat 46 ta ishorani tan oladi. Ta'lim va sinov uchun doimiy yoritish shartlarini talab qiladi va aniq imo-ishora segregatsiya qilish uchun bilaguzuk va maxsus fondan foydalanadi. Yaqinda ingliz imo-ishora tilining barmoq matn terish xususiyati bo'lib, u erda har ikkala imo-ishoraning 26 ta statik harakatlariga aloqasi bor. Teri rangi ustida ishlaydigan imzo chekuvchi kiyimni kiyib, fon bir xil rangda bo'lgan deb taxmin qilinadi. Tizim oldindan aniqlangan leksikonda yozilgan so'zlarni, shuningdek, ushbu ishda so'zni aniqlashning yondashuviga o'xshash so'zlarni ham taniydi[7,9].
Ko'p foydalanuvchi tizimlari. 3D va rangli ma'lumotlarni olish uchun stereo kameradan foydalanish, Takimoto va boshq 41 ta Yapon imo-ishora belgilarini tan olish usuli taklif qildi. Ma'lumotlar 20 ta test predmetidan olingan va olingan klassifikatorning ishlash muddati taxminan 3fps. Garchi yondashuv alohida fon yoki yorug'lik sharoitlarini talab qilmasa-da, o'z imo-ishoraini qiyinchilik bilan ishlaydigan imo-ishorani segmentlarga ajratish, qora bilaguzuk yordamida juda soddalashtiriladi. Rangli imo-ishoraqoplar davrida Irlandcha ishora belgilarining 23 ta ramzini tan olish uchun ishlatilganda ASL barmoq alifbosi off-lineni aniqlash uchun bir usul taklif qilingan. Kirish ma'lumotlari oq fon oldida imo-ishoraga kiritildi va har bir tasvir uchun imo-ishora cheklov qutisi aniqlandi. [15] da shunga o'xshash tizim ishlatilgan. Al ishorasini aniqlashning eng qiyin vazifasini, ya'ni bilakni aniqlashni oldini olish uchun, bu ishlar bilakuzuklar yoki imo-ishoraqoplar kabi markerlarga tayanadi, ammo bizning yondashuvimiz faqat past chuqurlikdagi chuqurlik sensori bilan olingan xom chuqurlik ma'lumotlariga asoslangan.
ASL so'zni aniqlashda tizimning umumiy ko'rinishi 4-rasmda berilgan. Chuqurlikdagi ma'lumotlar imo-ishorani lokalizatsiya qilish va ajratish uchun ishlatiladi. Kesilgan imo-ishora qiyofasini aylantirganda va miqdordan keyin, xat, o'rtacha qo'shni margin maksimizatsiyasi (ANMM), chuqurlikdagi farq (DD) va imo-ishorada aylanish (ROT) asosida tasniflovchi yordamida aniqlanadi. Keyinchalik harflarning ishonchliligi so'z balini hisoblash uchun birlashtiriladi.

1.4-rasm. ASL so'zni aniqlash tizimi.
Eng ko'p ehtimollikdagi so'z, agar uning balining darajasi va ikkinchi ehtimollikdagi so'zning darajasi, oldindan belgilangan chegara oshib ketgan bo'lsa, qabul qilinadi.

1.5-rasm. Harakat bo'laklash paytida imo-ishoraning markazi (qora doira),
Bunda palma kattaligi (qizil yarim doira) va imo-ishora tomonlama yo'nalish (qora chiziq) bir xil tarzda baholanadi. Eshim chuqurligi ma'lumotlariga (a) asoslangan qo'pol segmentatsiya bilan boshlangan holda, heuristik ko'p hollarda to'g'ri echim (s) ga qaytaradi va ko'paytiriladi. Keyin segmentlangan imo-ishora normallashtiriladi va ko'rsatilgan harfni tasniflash uchun ishlatiladi[6,7].
Chuqurlik ma'lumotlarini normallashtiradigan va kamaytirgandan so'ng, biz eng yaqin bog'langan ob'ekt bizni qiziqtiradigan tomon deb hisoblaymiz, biz 5‑rasmda ko'rsatilgandek palma o'lchamini va joylashishini va imo-ishoraning yo'nalishini taxmin qilamiz. Chuqurlik qiymatlari 0 dan 1 gacha bo'lgan oraliqda normallashtiriladi.

1.6-rasm. (a) Yulduz modeli, palmiyaning radiusiga yaqin. (b) Qizil rangli maydon. Imo-ishora markaz faqat imo-ishora segmentatsiyasini barqarorlashtirish uchun palma uchun hisoblangan. (c) Segmentatsiya tozalash bosqichining tasvirlari.
I mo-ishora tasvirini normalizatsiya qilgandan keyin, gravitatsiyasi nuqtasi hisoblanadi, bu erda p piksellar imo-ishoraga tegishlidir. Markazni egallab turgan holda, palma radiusini baholash uchun imo-ishora markazidagi yulduzga o'xshash profildan foydalanamiz. Profil imo-ishoraning yo'nalishi bilan qaytarilur va shakl 3 (a) da ko'rsatilgandek, etti yo'nalishga olib keladi. Har bir yo'nalishda markazdan kontur nuqtasiga eng katta masofa o'lchanadi. Radius sifatida o'rtacha o'lchamdagi kichik o'lchamlarga nisbatan meditsinaning kichik tomonlarini bartaraf etish uchun radius yordamida biz masofani masofadan o'lchash uchun = 1.065 ga teng. Radius va imo-ishoraning oldingi markaziga ega bo'lgan holda biz markaz pc ni faqat 3-rasmda ko'rsatilganidek, palma piksellarini hisobga olgan holda hisoblab chiqamiz. Barmoqlar bilan to'liq imo-ishorani emas, balki palma markazini baholash kerak, aks holda markaz markazlashgan barmoq tomon yo'naltiriladi. Xurmolarni baholash natijasida xurmo yoki barmoqlarga tegishli bo'lmagan chuqurlik qiymatlari o'chiriladi[6]. Quyidagi hollarda nuqta o'chiriladi:

bu erda n = 1.75. Bu shakl 3 (s) da ko'rsatilgan. mintaqasi hech qanday barmoqni o'z ichiga olmaydi, shuning uchun xurvoga tegishli b o'lmagan barcha piksellar o'chirilsa, imo-ishoraning chap va o'ng tomonlarini tasvirlaydi. Ushbu hududlarda markazdan uzoqda bo'lgan piksellar faqat barmoqlarning bir qismi sifatida hisoblanmaydi.
Harakat yo'nalishni baholash D tomonlama yo'nalish d ning dastlabki bahosi asosiy komponent tahlillari (PCA) yordamida amalga oshiriladi. Ammo, PCA har doim juda to'g'ri emas va biz yo'nalishni aniqlashtirish uchun barmoq uchlarini aniqlaymiz. Segmentatsiya tozalash bosqichiga o'xshash, biz hovuchning hozirgi hisob-kitob markazi p-ga asoslangan qiziqish maydonini belgilab olamiz[5,7]:

B u erda β > 1 yo'nalish vektorining har ikki tomonida 90 ° dan ustun bo'lgan mintaqani kengaytirish uchun fermer omil hisoblanadi. Tajribalarimizda biz 130 ° burchakka mos keladigan β = 1 1025 dan foydalanamiz. Ushbu hududda biz oz bilan uchta barmoq uchini topamiz. Birinchi finning uchi - markaz c va uchun eng katta masofani bosib o'tgan p ikseli Agar barmoq uchi aniqlansa, ikkinchisi ga bilan vektorlarining burchaklari 18 ° dan kattadir. Uch barmoq uchi uchun uch barobar £ 0 = 15, = 1,275 va £ 2 = 1.02 ga o'rnatildi. Agar kamida bitta barmoq uchi aniqlangan bo'lsa, yo'nalish vektori barmoq uchlari o'rtacha holatiga ko'ra aniqlanadi.

Imo-ishora tasviri bor va segmentatsiya qilindim, imo-ishora bilan imzolangan xatni tasniflashimiz mumkin. Shu maqsadda biz uch tasniflagichdan foydalanamiz[7,8]. Birinchisi N harflaridan har biri uchun bir misolni aks ettiruvchi kod kitobiga asoslangan. U oddiygina kodlash yozuvlari Cj va kuzatilgan imo-ishora I o'rtasidagi piksel-chuqurlikdagi masofani taqqoslaydi, ya'ni,


Bu erda
Cj va men C ning chuqurlikdagi tasvirlari va men normalizatsiya qilmoqdamiz, shuning uchun o'rtacha 0 ga teng. Ikkinchi tasniflovchi har bir harf uchun saqlangan imo-ishora tomonlariga asoslangan:

Uchinchi klassifikator kuchliroq bo'lib, avariya chegarasida margin maksimalizatsiyasiga asoslangan (ANMM) [26]. Idea mahalliy qo'shnilarga masofani maksimal darajaga etkazish uchun V nuqtasini turli xil sinf yorlig'i bilan xi va bir xil sinf yorlig'i bilan qo'shnilarga masofani minimallashtirish.

Bu yerda

ANMM funktsiyalari S-C ning eng katta o'z-o'zidan qiymatlari o'z-o'zlarining vektorlari sifatida hisoblanib, V vektorida vektor shaklida saqlanadi. Tizimning real vaqtini saqlash uchun ushbu ANMM xususiyatlari Haarlets [17, 24] . Ushbu Haarlets matritsadagi F vektorida saqlanadi. Durinning klassifikatsiyasi, biz segmental imo-ishorai uchun funktsiya koeffitsiyenti p ni chiqaramiz va y = Cp bilan ANMM koeffitsientlarini hisoblaymiz.

bu mashg'ulot vaqtida hisob-kitob qilinadi. Bizning tajribamizda ANMM xususiyat vektorlarining sonini l = 13 ga aylantirdik. ANMM koefitsientlariga p funktsiyasi koeffitsiyentlarini xaritada joylashtirishni tasniflash eng yaqin qo'shni qidirish yo'li bilan amalga oshiriladi, ya'ni, eng yaqin ANMM koeffitsientlari.
Tasniflovchilarni birlashtirish uchun, biz xatning i uchun konfidentsialligini normallashtirilgan ishonchli jamlanmalar miqdori bo'yicha hisoblaymiz:

Maktubni tan olish uchun eng yuqori ishonchli bilan yozilgan xat olinadi. DD va ANMM tasniflagichlari normalizatsiya tufayli faqatgina imo-ishoraning shakliga emas, balki global miqyosda imo-ishora yo'nalishini olishiga e'tibor bering. "H" va "U" kabi bir necha harflar bir xil bo'lib, lekin asosan imo-ishorada ko'rsatilgandan farqli o'laroq, qo'shimcha ROT klassifikatori bu ishoralarni ajratib olishga yordam beradi va tajribalarimiz ko'rsatganidek, aniqlik ravshanligini oshiradi[6,7].
So'zlarni aniqlash uchun barmoq matnli so'zlarni tanib olish uchun harflarni ishonchini ishlatishimiz mumkin. Shu maqsadda, barcha mashhur so'zlarni o'z ichiga olgan lekson harf tasniflovchi xatolarining tuzatilishi va so'z chegaralarini aniqlash uchun ishlatiladi. Taqdim etilgan yondoshuvning tekis oldingi tuzilishi, ularni yangi so'zlarni osonlikcha qo'shib qo'yishni osonlashtiradi. Tavsiya etilayotgan yondashuv xatni c (i) ga biriktirib, har bir so'z uchun quyidagi qiymatni tasdiqlaydi:

Bu erda ik - "w" so'zining "i" pozitsiyasidagi harf. So'zning ishonch darajasi eng yuqori va ikkinchi darajadagi ishonchlilik darajasi 1,04 dan katta bo'lsa, so'z qabul qilinadi. Bu raqam 1,2 dan kattaroq bo'lsa, ya'ni so'zning ishonchi boshqa so'zlarning boshqa so'zlari bilan taqqoslaganda 20% dan yuqori bo'lsa, biz DD va ROT klassifikatorlari uchun kodni yangilaymiz va Cik va steep so'zning ikkita harfi uchun. Imzo qo'yilgan harflar bilan almashinish qismli imo-ishoraning harakati bilan aniqlanadi, ya'ni, xat faqat oxirgi 10 ramka bo'ylab kuzatilgan imo-ishorai harakati kichikligida aniqlanadi[7,9].

Sinov ma'lumotlari 7 ta test predmetidan MESA SR4000 TOF kamerasidan taxminan 80 sm masofada yig'ildi. Mavzu 7 dan tashqari, foydalanuvchilar ASL bilan tajribaga ega emas edilar. Tajribali bo'lmagan foydalanuvchilar uchun ASLga qisqacha kirish yozuvlar topshirilmasdan oldin taqdim etildi va yozuvlar paytida ko'rsatuvlar ko'rsatildi. Har bir foydalanuvchi uchun har bir harf uchun kamida 50 namuna mavjud. Bitta foydalanuvchi tizimida DD va ROT tasniflagichlarining kod daftarini yaratish uchun har bir harf uchun bir imo-ishora misoli ishlatiladi. Ko'p foydalanuvchini sozlashda biz sub'ektning 7 ma'lumotlarini DD va ROT tasniflagichlari bo'yicha o'quv ma'lumotlari sifatida foydalanganmiz va 1-6 fanlari bo'yicha testdan o'tkazdik. 7 ta mavzu bo'yicha test o'tkazish uchun biz 6 ta mavzu bo'yicha o'quv ma'lumotidan foydalanganmiz. ANMM klassifikatori har bir holatda alohida test predmetining ma'lumotlarini tashlab, qolgan dataset bo'yicha o'qitiladi. Tizimning 3-bo'limda ko'rsatilgan va 4-bo'limda baholanmagan parametrlari kichik tasdiqlash vositasida empirik tarzda aniqlangan[8,9]..
Al-bo'linishning aniqligi va barcha harflar uchun imo-ishora yo'nalishini baholash 4-rasmda keltirilgan. Shu maqsadda biz har bir harf uchun imo-ishorada 7 ta imo-ishora harakatini izohladik. Segmentatsiya sifati tushuntirilmagan chegara qutisi va bizning yondashuvimiz hisoblab chiqadigan chegara punktining kasaba uyushmasi (IOU) nisbati orqali o'lchanadi. Imo-ishorani yo'naltirish xatoligi tushuntirilmagan va taxminiy orientatsiya vektori orasidagi xato burchagi sifatida o'lchanadi, bu erda birinchi iteratsiya natijalari PCA tomonidan olinadi. Imo-ishora segregatsiyalashning aniqligi va imo-ishora yo'nalishini o'zgartirish yinelemeler soni bilan ortadi. 50 ta iteratsiyalardan keyin, usul chuqurlik sensori kichik o'lchamlari hisobga olinib, oqilona hisob-kitob qilish bilan birlashdi[8,10]..
Intel Core Duo T2400 1.83 gigagertsli protsessorli daftarda imo-ishorani segmentirovkalash va sinxron kvadrat uchun harfni tanib olish o'rtacha hisobga olish vaqtining 70% ni imo-ishora segmentida talab etadigan o'rtacha 62.2 ms (16fps) talab qiladi. ANMM va DD klassifikatori taxminan 10% ni talab qilganda,

ROT klassifikatori hisobini e'tiborsiz qoldirish mumkin. Qolgan 10% tasvirni olish va tizimning chiqishini saqlash uchun talab qilinadi. Biz tizimni ikkita chuqurlik sensori bilan sinab ko'rdik. Meshax SR4000 kamerasi baholash uchun foydalanilgan bo'lsa-da, Kinect kamerasi bilan real vaqtda namoyish qilishni ko'rsatadigan video qo'shimcha materialning bir qismidir.

3. YOLOv5 - Ob'ektni aniqlash bo'yicha maxsus texnologiya

YOLOv5 nima - Agar siz bir muncha vaqtdan beri mashinani o'rganish va chuqur o'rganish sohasida bo'lsangiz, YOLO haqida allaqachon eshitgan bo'lishingiz ehtimoli juda yuqori. YOLO - Siz Faqat bir marta ko'ring, degan ma'noni anglatadi. Bu bir bosqichli chuqur o'rganishga asoslangan ob'ekt detektorlari oilasi. Ular real vaqt rejimida ob'ektni eng zamonaviy aniqlik bilan aniqlashga qodir.

YOLOv5 - bu YOLO oilasidagi keyingi versiya ekvivalenti, bir nechta istisnolardan tashqari.

• 
  Loyiha Glenn Jocher tomonidan GitHub'da Ultralytics tashkiloti ostida boshlangan.
  
• 
  U Python tilidan foydalangan holda yozilgan va u foydalanilgan ramka PyTorchdir.
  
• 
  Bu ob'ektni aniqlash modellari to'plamidir. Keng qurilmalarda real vaqt rejimida FPS-ni taqdim eta oladigan kichik modellardan tortib bulutli GPU-ni joylashtirish uchun mo'ljallangan ulkan va aniq modellargacha qamrovga ega. Unda kerak bo'lishi mumkin bo'lgan deyarli hamma narsa mavjud.
  

U jami 5 ta modelni o'z ichiga oladi. YOLOv5 nano (eng kichik va eng tezkor) dan to YOLOv5 extra-lage (eng katta model) gacha.
Quyida ularning har birining qisqacha tavsifi keltirilgan:

• 
  YOLOv5n: Bu oiladagi eng kichigi boʻlgan va eng yangi, IoT qurilmalari va OpenCV DNN qoʻllab-quvvatlashi uchun moʻljallangan yangi taqdim
  
• 
  etilgan nanomodeldir. U INT8 formatida 2,5 MB dan kam, FP32 formatida esa taxminan 4 MB. Bu mobil echimlar uchun ideal. 
  
•