Bundan tashqari O‘zbekiston Respublikasi Prezidenti Islom Karimovning

Bitiruv malakaviy ishining dolzarbligi: Inson-kompyuter munosabatlari muammosi tobora muhim ahamiyat kasb etmoqda va axborot almashishning yangi usullari zarur. Imkoniyati cheklangalarni ijtimoiy hayotga moslashuvini yengillashtirish juda muhim hisoblanadi, biroq bu ishni real vaqtda amalga oshirish, tasvirdan imo-ishorani samarali va ishonchli tanib olish barcha hollarda mumkin emas. Shuning uchun bugungi kunda ushbu ish ijtimoiy moslashuv vazifasi sifatida dolzarbdir.
Bitiruv malakaviy ishining maqsadi: Imo-ishora tili harakatlari va o‘zbek tilidagi imo-ishora tili so‘zlarini matnga o‘girish va tanib olishni Python dasturiy ta’minoti orqali imo-ishorani aniqlash tizimini ishlab chiqish.
Bitiruv malakaviy ishining vazifalari.
Bitiruv malakaviy ishi maqsadigan erishish uchun quyidagi vazifalar qo‘yilgan:
- Imo-ishora tilini tanish usullarini tadqiq qilish;
- Imo-ishora tilini tanish usullarining yaxshilangan algoritmlari;
- Qo‘l harakatini tanish algoritmlari tahlili;
- Qo‘l harakatini tanish algoritmlaridan foydalanib harf va sonlarni tanuvchi tizimni C# tilining Open CV kutubxonasida dasturiy ta’minotini yaratish;
Ushbu bitiruv malakaviy ishining tadqiqot ob'ekti - bu tizim imo-ishorani aniqlash usullari va algoritmlari hisoblanadi.
Loyihaning predmeti - bu tizimning Imo – ishora harakatlari algoritmlari va arxitekturasi, imo-ishoralar ma'lumotlarini tan olinishi va uzatilishini amalga oshiruvchi dasturiy vositalari.


I-BOB. IMO-ISHORA TILINI TANISHNING IMKONIYATLARI VA DASTURIY TAHLILI.

1. 
   Avtomatik imo ishoralarni tanish tizimi.
   

Avtomatik imo-ishora tilini aniqlash va tasvirni aniqlash kompyuterni ko‘rishi fani bilan uzviy bog’langan hisoblanadi. Imo-ishorali tilni aniqlashda progress, yomon eshituvchi bolalarning kompyuter bilan aloqa qilish imkoniyatlarini oshirish uchun salohiyatga ega interfaol interfeyslar orqali tizimdir. Shuningdek, yomon eshituvchi va eshitish qobiliyatini bir-biri bilan muloqot qilish qobiliyati yo‘q kishilar Imo-ishora tillarini so‘zlashuv tillaridan ko‘ra yaxshiroq tushuniladi va bu tilni qayta ishlash texnologiyalari so‘zlash texnologiyalaridan ko‘ra ancha kamroqdir[5].
Imo-ishora tillari xom-ashyo va tabiiy tillar juda qadimgi yillarga to'g'ri kelishi mumkin, chunki insoniy tsivilizatsiyaning paydo bo'lishi tarixda dastlabki tillarning asosiy kuramlari paydo bo'lgan. Og'zaki tillar paydo bo'lishidan oldin boshlangan va bu juda katta miqdordagi tanlov dasturiga ega. Tahlilning natijasi shundaki, u juda ko'p turli xil ilovalarning boshlanishi bo'lib, bu ko'rsatma tizimi karlarni yig'uvchilar jamoalari va shu bilan birga eshitish guruhini xalq bilan muloqot qilishda foydali bo'lishi mumkin. Ikkinchidan, masofadan turib o'qitish uslubini ishlab chiqish usuli qo'shimcha ravishda tibbiy sohada yordam berishi bilan birga qo'shimcha ravishda bemorlarni kuzatishda ham katta yordam beradi. Hadyali tahlil qilish tilni avtomatlashtirilgan aniqlash uchun model tizim bo'lishi mumkin, sun'iy neyron tarmoqlarining , HMM, ANFIS. Ushbu til standart odam, kar va soqov kishilar uchun foydali bo'lgan tizim ishlab chiqilgan. Bir imo-ishoradagi tekis oldinga til, doimiy sayyora va "xristian" yoki "xayr" degan ma'noni anglatadi. Xorijiy davlatlarning ko'pchiligi tashrif buyurgan mamlakatning rasmiy tilini bilmagan holda va muloqot qilishda yomon munosabatda bo'lishni davom ettirmoqda. Ushbu misollar, tilni xalqaro miqyosda o'ylab, sayyoramizdagi ko'pchilikni ishlatib, to'g'ri ma'lumotni etkazish mumkinligini ko'rsatadi. Shu sababli, bu texnikada, tilning mashhurligi uchun ANFIS asosan klassifikatordan foydalanmoqdamiz.

1.1-rasm.ZEIIT barmoqli alifbosi.
Ilgari, ko'plab imo-ishorani aniqlash metodologiyasi qo'shimcha ravishda insoniy hisoblash interfeysi (HCI) neyron tarmoq, HMM va loyqa tizimlar kabi tez so'raladi, biroq ularning modellashuvlaridan muammo yuzaga keladi. Ularning bir nechta hududiy nerv tarmoqlari, HMMlar va loyqa tizimlar. O'tgan o'n yillar tilni o'rganish sinflarini sinash uchun ikkita o'ziga xos namunadir guvohlik berdi. Asosiy tizim bu elektromexanik qurilmaga sinflar bo'lib, ushbu texnikani ishlab chiqilgan tahlil qilish minimal miqyosli tizimlar bilan cheklangan alomatlar tilining to'plami. Surdo alfavitdagi o'n to'rtta harfni tan olish, yangi imo-ishoralarni o'rganish va on-layn rejimda tizimdagi har bir imo-ishora modelini yangilash imkoniga ega bo'lgan imo-ishoraqoplarga asoslangan imo-ishorani aniqlash 10 Gts tezligida tizimini ishlab chiqdi ,. Ilgari imo-ishoraqop qurilmalari Sayre Glove, Deft Hand Master va Power Glove kabi dizayni qilingan[5,6].
ASL taxminan 6000 ta oddiy so'z barmog'i bilan ishora qiladigan barmoqlarni o'qiydi. Barmoq ortopediyasi alifbolarning yigirma olti harfini gapirish uchun bir imo-ishoradan va 26 ta imo-ishoradan foydalanadi. Shakllarda ko'rsatilgan belgilar namunalari. Vaktsiyalashning asosan asoslangan tahlil tizimini allaqachon bir necha texnologiyalar mavjud. Masalan, "Vizyona asoslangan" yondashuvlar faqat musiqiy o'tkazuvchanlik harakatlarini his qilish uchun faqatgina tuyuluvchi qurilmadan (kamera) foydalanadigan imo-ishora harakati tan olinishi. Bu usul bir vaqtning o'zida, uzatuvchi faqat bir tomonlama imo-ishorani ishlatadi va o'qiyotgan kamerada farq bo'lishi kerak. Kamera imo-ishora harakati tasviri tushirilganda, tizim inson manfaatlarining (ROI) zararisiz zichlikdagi rangli ma'lumotlarni olgan hududini chiqaradi[5,7].
Tizim harakatlanish tezligi va shuning uchun har qanday o'tkaziladigan vaqt naqshini tezligini ta'minlovchi imo-ishora mintaqasining (COG) o'rtasiga qarab yo'nalishga ega bo'ladi . Ushbu imo-ishora harakati tanlovi loyihasi inson-kompyuter bilan aloqa (HCI) texnologiyasiga asoslangan. Kompyuter kompyuter tilidagi kommunikatsiya (ASL) bo'yicha imo-ishora harakati tanlovini amalga oshiradi. Tizim imo-ishorani aniqlash uchun MATLAB asboblar panellari, neyron tarmoqdan foydalanadi. Ushbu neyron tarmoq "o'qitilganidan so'ng, ushbu neyron tarmoq" Amerika imo-ishora tilini imo-ishorada aks ettiradigan ko'plab harakatlarni amalga oshiradi ".
Signs-lardan foydalanishni yaratadigan tizimni ishlab chiqdi, ya'ni videolardan olingan joylarning aksariyat qismidagi hududiy sovg'alarning belgilar elementlari. Belgilarni ajratish shartli rejimlarni (ICM) takrorlash natijasida tugatilgan. Tasvirni tahlil qilish funktsiyasining ekstrakti tomoni suratlardagi intervalda joylashgan ob'ektlarning o'ziga xos xususiyatlarini yoki xususiyatlarini aniqlashga intiladi[6].
Bu yalang'och imo-ishoralarning tasvirlarini o'z ichiga oladi, bu foydalanuvchi bilan tabiiy ravishda tizim bilan ishlashga imkon beradi. Tizim karlarni oddiy odamlar bilan tarjimon keraksiz muloqot qilish imkoniyatini beradi. Maratining ishora tilini avtomat tarzda tanib olish uchun tizim va usullarni yaratamiz. Ushbu tizimning dastlabki bosqichi Maratxaning ishora tilining ma'lumotlar bazasini yaratishdir. Al-bo'laklash har bir imo-ishorada imo-ishorani aniqlash tizimidagi eng muhim qadamdir, chunki biz yaxshiroq ajratilgan mahsulotga ega bo'lsak, yaxshi tan olinishi mumkin. Tavsiya etilgan tizim, shuningdek, yaxshiroq tan olinishi uchun samarali va mustahkam imo-ishora segregatsiya va kuzatuv algoritmini ham o'z ichiga oladi.
Ushbu vazifani bajarish uchun videolarni formatlash usullariga ramka chiqarish, eroziya, kengayish, chekka aniqlash, loyqalikni yo'q qilish, shovqinlarni yo'q qilish, dalgacık konvertatsiyasi, tasvirni birlashma metodikasi kabi tasvirni tayyorlash usullari imo-ishoralaniladi. Bundan tashqari, elliptik Fourier identifikatorlarini shaklning xususiyatini olish uchun foydalanadi va shuningdek, xususiyatni to'siqni qisqartirish va optimallashtirish uchun tahlilni imo-ishoralaydi. Hint tilidagi matnli hoshiyali xususiyatlar ma'lumotlar bazasida saqlanadi va imzolaganning kirish sinov videosi bilan o'qitilgan aniq nomutanosiblik tizimi bilan taqqoslanadi. Olimlar tavsiya etilgan usulda tasvirni qayta ishlash usullarini va sintetik razvedka strategiyasidan foydalanadi. Tavsiya etilgan vazifani bajarish uchun tasvirni qayta ishlash usullari, tasvirni tahlil qilish, chekka aniqlash, dalgacık konvertatsiya qilish, eroziya, dilatatsiya, loyqalikni yo'q qilish, shovqinlarni yo'q qilish, videolarni tayyorlash kabi usullardan foydalaniladi [5].
Bundan tashqari, SIFT deb nomlangan kinematografik Fourier identifikatorlari ham funktsiyani optimallash va qisqartirish uchun eng muhim qismi tahlil qilish uchun ishlatiladi. Natijani tahlil qilish uchun ushbu maqola turli xil videofayllar, masalan, haftalar, oylar, aloqalar va hokazolarni imo-ishoralamoqda. Natijalarning ma'lumotlar bazasi tizimga yuborilgan video bilan taqqoslanmagan inferratsion tizim sifatida qaraladi.
Tavsiya etilgan vazifani bajarish uchun rasmni ko'rib chiqish usullaridan foydalaniladi, masalan, videolarimizdagi ramka farqlash asosida monitoring, chekka tanishi, dalgacıkların o'zgarishi, rasm kombinasyon tizimlari. Bundan tashqari, shakli xususiyatlarni ekstraktsiyalash uchun elliptik Fourier identifikatorlaridan foydalanadi va shuningdek, optimallashtirishni va shuningdek, xususiyatlar to'plamini qisqartirish maqsadida tahlilni imo-ishoralaydi. Ajratilgan funktsiyalar ma'lumotlar bazasiga saqlanadi va imzolaganning kirish videoi bilan o'qitilgan aniq nomutanosiblik tizimi bilan taqqoslanadi [7].
Insonlar hajmi va shakli jihatidan har xil bo'lganligi sababli, eng katta qiyinchiliklarni ajratish segmentatsiya, shuningdek, qo'shimcha tasvirli kameralar yordamida olingan tasvirning to'g'ri tasniflashidan iborat. Ushbu maqolaning maqsadi, kuchli va ishonchli statik imo-ishora imo-ishorani aniqlash tizimiga ega bo'lishdan ko'ra yuqoriroq ko'rsatilgan masalalarni echish uchun texnikani muvaffaqiyatli sinovdan o'tkazganligini va ishlatilganligini ko'rsatishdir.
Imo-ishora belgilarini tan oladigan tizim eshitish qobiliyatli odamlar bilan muloqot vositasi sifatida ishlatilishi mumkin. Dastlabki ikki bosqichga bo'lingan, ekstraksiya bosqichi bo'lib, bu o'z navbatida statik belgidan imo-ishorani olib tashlash uchun histogramme texnikasi, xo'p va segmentirovkadan foydalanadi. Ayrim tasniflash bosqichida namunaviy o'qitish uchun neyron tarmoqdan foydalaniladi. Yulduzli skeletlari topildi yordamida segmentli imo-ishoradan ekstremal nuqtalar chiqarildi va masofa imzo bilan amalga oshirildi[5,6,8].
Ushbu maqola, gradient asoslangan kalit ramkani ajratib olish texnikasi yordamida muammoni hal qiladi. Ushbu kalit ramkalar uzluksiz til ishoralarini, shuningdek, unifikatsiyalanmagan ramkalarni olib tashlash uchun belgilanadigan ketma-ketliklarga ajratish uchun foydalidir. Imo-ishoralarning bo'linishidan keyin har bir belgi alohida darajadagi izolyatsiya qilingan imo-ishora sifatida baholandi. Keyinchalik oldindan qayta ishlangan imo-ishoralarning xususiyatlari OH dan so'ng olingan xususiyatlarning o'lchamlarini kamaytirish uchun asosiy komponent tahlillari (PCA) bilan orientatsiya histogrami (OH) yordamida chiqariladi. Ushbu tahlildan Korrelyatsiya va Evklid masofasidan olingan natijalar yuqori aniqlik va undan keyin muqobil tasniflagichlarni taqdim etishini aniqlaymiz.
Neyron tarmog'i qo'shimcha ravishda sun'iy nerv tarmoqlari (ATN) deb ataladi, bu biologik neyron tarmoqqa asoslangan insoniy-aqlli aqlli tizimdir. Nerv tarmoqlari ushbu qismlar orasidagi bog'lanishlar qiymatlarini (og'irligi) takrorlash orqali ma'lum bir ishni bajarishga o'rgatilishi mumkin. [7,8] 1-rasmda nerv tarmoqlari diapazoni ko'rsatilgan bo'lib, u ma'lum bir maqsadli chiqishda haqiqiy kirish tugallanishi uchun o'rnatiladi va o'qitiladi. Shaklga misol sifatida tarmoq o'rnatiladi, chiqishni taqqoslashda, shuningdek, tarmoq chiqishi maqsadga mos kelguncha maqsadga erishiladi. Endi bir kun, neyron tarmoq ko'pincha muammolarni hal qilish uchun o'qitiladi, ba'zi muammolar individual va kompyuter bilan bog'liq.

1.2- rasm. Neyron tarmoq blok diagrammasi.