Fan: Katta hajmdagi ma’lumotlarni boshqarish (Big Data) Mavzu

4-bosqich. O‘zgarishlar.
Ushbu bosqichda yuklash va ma’lumotlar omborini yangilash uchun ETL jarayonida yoki manbalar to‘plamlari bo‘yicha so‘rovlarga javoblarda o‘zgarishlarni bajarish amalga oshiriladi.
5-bosqich. Tozalangan ma’lumotlarning qarshi oqimi.
Alohida manbadagi xatolar bartaraf etilgandan so‘ng, yaxshilangan ma’lumotlar eski ilovalarga tushishi va keyinchalik olish jarayonida qo‘shimcha tozalashni talab qilmasligi uchun dastlabki manbalardagi ifloslangan ma’lumotlar tozalanganiga almashtiriladi. Tozalangan ma’lumotlar omborlar uchun ma’lumotlarni saqlash sohasida joylashgan.
O‘zgarishning bunday jarayoni metama’lumotlarning katta hajmini talab qiladi (sxemalar, sxema darajasidagi ma’lumotlarning xususiyatlari va boshqalar). Boshqa holatlarda moslashuvchanlik, egiluvchanlik va foydalanish qulayligi uchun ushbu meta ma’lumotlar MBBT asosida omborda saqlanishi kerak. Ma’lumotlar sifatini saqlab turish uchun o‘zgarish jarayoni to‘g‘risidagi batafsil axborot ham omborda ham o‘zgartirilgan ma’lumot elementlarida, xususan dastlabki ma’lumotlarning to‘liqligi va yangiligi to‘g‘risidagi axborotni hamda o‘zgartirilgan manbalarning asl manbai va ularga kiritilgan o‘zgarishlar to‘g‘risidagi ma’lumotlarni yozilishi kerak.
Avtomatik tadqiqot va kashfiyot(Erkin qidiruv)
Masala misoli: bozorning yangi segmentlarini kashf qilish. Masalaning berilgan sinfini yechish uchun klaster tahlil usulidan foydalaniladi.
Bashoratlash va sinflashtirish. Masala misoli: joriy qiymatlar asosida xaridlar hajmini avvaldan aytish. Usullar: regressiya, neyron to‘rlar, genetik algoritmlar, daraxt yechimlar.
Sinflashtirish va bashoratlash masalalari induktiv modellashtirish deb nomlanadigan guruhni o‘z ichiga oladi, natijada tahlil qilinuvchi ob’ekt yoki tizimni o‘rganish ta’minlanadi.Ma’lumotlar to‘plami asosidagi ushbu masalalarni yechish jarayonida umumiy model va faraz ishlab chiqiladi.
Tushuntirish va tavsiflash. Masala misoli: demografik ma’lumotlar va xaridlar tarixi bo‘yicha mijozlar xarakteristikasi. Usullar: daraxt yechim, qoidalar tizimi, assotsiatsiyalar qoidasi, bog‘lanishlar tahlili. Umumlashgan modelni talqin qilishda tahlilchi yangi bilim oladi. Ob’ektlarni guruhlashtirish ularni o‘xshashliklari asosida amalga oshadi.

Inson tomonidan noaniq va noravshan muhitda qaror qabul qilishni amalga oshiruvchi mashinalarni yaratish ko’pgina hollarda, sun’iy intellekt sohasida noaniqlik bilan xarakterlanuvchi masalalarni yechishning aniq modellari va algoritmlarini ishlab chiqish bilan uzviy bog’liq. Sun’iy intellekt usullari ikkita xarakterli xususiyatlarga asoslangan:

1. Belgili ko’rinishdagi axborotlar: harf, so’z, ibora, belgi, rasmlardan foydalanish.
2. Belgili mantiqdan foydalangan holda qidirish.

Belgili sonli bo’lmagan axborotni qayta ishlashda kompyuterlar so’z va iboralarni ikkilik shaklda kodlashtirilgan belgilarga almashtiradi. Sun’iy intellekt klassiklarining qayd etishlaricha, kompyuterlar tomonidan belgilarni boshqarish ham shu qadar osondir. So’ngra, keyingi amallarni bajarish yoki bajarmasligini solishtirish natijalari mashinada inson ongining eng yuqori namoyondasi- deduktiv mantiqiy mulohazalar funksiyalarini amalga oshirish imkonini beradi. Axborotni belgili qayta ishlashga asoslangan sun’iy intellektni yaratish yo’lidagi kompyuterning potensial imkoniyatlari chegarasiz ko’rinishi mumkin. Klassik ma’nodagi sun’iy intellektning ulkan muvaffaqiyatlariga qaramay, masalalarni yechish, teoremalarni avtomatik isbotlash, o’yin tizimlari, ekspert tizimlari, tabiiy tilni tushunish tizimlarining keng spektrini yaratishda unga yuklangan umidlar o’zini oqlamadi. An’anaviy sun’iy intellekt masalalarni inson ularni ongli ravishda yechishi kabi yecha olmaydi, insonning anglash va mulohaza yuritish qobiliyatiga o’xshash protseduralar bilan muvozanatda bo’la olmaydi. An’anaviy sun’iy intellekt robotshunoslik, kompyuterning ko’rish qobiliyati, nutqni va qo’lyozmalarni aniqlashtirish, mashina tarjimasi, ta’lim berish va dunyoviy boshqa muhim masalalarni yechishda o’zini ko’rsata olmadi. Qayd etilgan muammolar va haqiqiy dunyoning boshqa murakkab masalalari nazardan chetda qoldirib bo’lmaydigan noaniqlik va noravshanlik bilan bog’liqdir. Professor L. Zadening qayd etishicha, an’anaviy sun’iy intellekt maqsadlariga erishish yo’lida o’zini faqatgina belgili axborotni qayta ishlash va birinchi tartibli mantiq (first order logic) dan foydalanish bilan cheklab qo’ymaganida katta muvaffaqiyatlarga erishishi mumkin edi.

Sun’iy intellektning barcha an’anaviy tizimlari Hard Computing texnologiyasi (ya’ni dasturni zaruriy funksionallashtirishga erishishga qaratilgan sun’iy intellektual protsedura ta’siri ostida yangilanmaydigan operatorlarning qat’iy ketma-ketligi sifatida qabul qiluvchi kompyuter texnologiyasidan foydalanish) asosida ishlab chiqilgan, bu esa shu tizimlarning imkoniyatlarini anchagina cheklab qo’ygan. Yana bir narsa. An’anaviy sun’iy intellekt yuqorida keltirilgan xususiyatlari hisobiga noaniqlik va noravshanlikni hisobga olishda juda muhim hisoblangan sonli usullardan foydalanmadi. Qayd etilgan holatlarga ko’ra an’anaviy sun’iy intellekt tizimlarining mashina intellekt darajasi – MIQ (Machine Intelligence Quotient) uncha yuqori emas ekan. Shuning uchun intellektual tizimlarning mashina intellekt darajasini oshirish masalasi qo’yilgan edi. Jumladan bunda kalit uslubiyat vazifasini sun’iy intellektning usullari va umuman olganda boshqa usullar bilan ham yechib bo’lmaydigan haqiqiy dunyoning ko’pgina masalalarini yechishga imkon beruvchi noravshan mantiq, neyron tarmoqlar, evolyutsion hisoblashlar kabi yangi sonli yondashuvlarni avtonom ravishda emas, birgalikda qo’llashni nazarda tutuvchi Soft Computing o’taydi.
Har tomonlama noaniqlik, hamda atrofimizni o’rab olgan haqiqiy dunyoning to’liq bo’lmagan aniqlik bilan ish ko’ruvchi Genetik Algoritmlar-GA(genetic algorithms), Xaos Nazariyasi-CT(chaos theory) va Ta’lim Nazariyasi-LT(learning theory) ning bir qismini o’z ichiga olgan Noravshan Mantiq-FL(Fuzzy Logic), Neyron Tarmoqlar-NN(neural networks), Ehtimolli Mulohazalar-PR(probabilistic reasoning) kabi intellektual paradigmalar (kompyuterli qayta ishlash vositalari sifatida) majmui Soft Computing – SC (so’zma-so’z tarjima qilganda, “yumshoq”, egiluvchan, hisoblash qayta ishlash) ni tashkil etadi. An’anaviy hisoblash qayta ishlashdan (Hard Computing(HC)-ya’ni “qattiq”, qat’iy hisoblash) farqli o’laroq SC ishlab chiqaruvchanlik va samaradorlikni yo’qotmagan holda noaniqlik, noravshanlik va qisman rostlik bilan ish ko’rishga qodirdir. Bu vaqt masalasidir, 10 yil o’tmay sun’iy intellekt an’anaviy HC ga emas, Soft Computing (SC) ga asoslanadi. L.Zadening qayd etishicha, an’anaviy HC dan farqli o’laroq, SC ning maqsadi haqiqiy dunyoning har joydagi noaniqlik bilan hamohanglikda yashashdir. SC ning asosiy tamoyili noaniqlik, noravshanlik va qisman rostlikni hisobga olgan holda bayon etilishga (sifatli belgili yoki lingvistik ko’rinishda ifodalash), robastlikka (kichik xatoliklarga bardoshlilikka) va yechimning past narxiga erishishdir.
Aniqlik o’zining narxiga egadir, afsuski bu tamoyil ko’pincha hisobga olinmaydi, ya'ni me'yoriy narxdagi masalani yechish uchun yetarli darajada aniq, lekin keragidan ortiq bo’lmagan yechimga e’tiborni qaratish kerak. Aynan shu noaniqlik va qisman aniqlikka (partial truth) ham taaluqlidir. Aytib o’tilganlarning yaqqol misollari vertolyotning qo’nish masalasi yoki mashinaning avtoto’xtovda joylashish masalasidir. Ikkinchi holni ko’rib o’tamiz. Mashinani uning yakuniy vaziyati berilmaganligi tufayli masofalarni va burchakni o’lchamay turib ham joylashtirish mumkin.
Agar bu o’rinli bo’lsa, u holda millimetrlar va bir nechta burchak sekundalar chegarada o’lchashlar olib borishga to’g’ri kelsa, u holda chamalash uchun ko’pvaqt va qurilmaviy o’lchashlar talab etilgan. Undan tashqari, yechimning narxi aniqlikni oshirish bilanoq geometrik tarzda ortib ketardi.
Soft Computing texnologiyasi ma’lumotlarni siqishda ayniqsa HDTV (katta ruhsat beruvchi qobiliyatli televizorlar), sifatli ovoz yozish, tasvir va nutqni aniqlashtirish hamda shular bilan bog’liq sohalarda ulkan ahamiyat kasb etadi. Aslida, Soft Computingga asoslangan qonun va vositalar yuqori darajadagi MIQ li mahsulotlar va tizimlarni loyihalashtirish va ishlab chiqarishda katta rol o’ynaydi. L.Zade qayd etganidek, SC ning eng yaxshi modeli inson miyasidir.
Yuqorida qayd etilganidek, sun’iy intellektning barcha an’anaviy tizimlari, shu jumladan inson faoliyatining turli xil jabhalarida keng qo’llaniluvchi ekspert tizimlari HC asosida, ko’pincha kompyuterlar asosida ishlab chiqarilgan. Hisoblashlarning bunday asosi esa, tabiiyki samaradorlikni va umuman olganda har xil maqsadlarga yo’naltirilgan sun’iy intellekt tizimlarini yaratish imkoniyatini chegaralab qo’ygan. Bugungi kunda belgili qayta ishlash va an’anaviy HC ga emas, neyron tarmoqlar, noravshan qayta ishlash (fuzzy computing), evolyutsion hisoblashlar, belief-tarmoqlarga asoslangan sun’iy intellektning amaliy tizimlari soni sezilarli darajad ortib bormoqda. Shuningdek, ilmiy konferensiyalarning ishlari, sun’iy intellektga oid jurnallarda noravshan mantiq (fuzzy logic), genetik algoritmlar, sun’iy hayot (atificial life), biologik hisoblashlar (biological computing), neyron hisoblashlar (neural computing) va boshqalarga oid maqolalar soni sezilarli darajada ortib bormoqda.
Qayd etilganlarning guvoh berishicha, sun’iy intellekt tizimlarini ishlab chiqish va o’rganishning og’irlik markazi Soft Computing tomonga siljib bormoqda. Hozirgi vaqtda Soft Computingning asosiy qismlari quyidagilardir: Noravshan Mantiq-FL (fuzzy logic), Neyron Tarmoqlar Nazariyasi-NN (neural networks), Ehtimolli Mulohazalar – PR (probabilistic reasoning), ular o’z ichiga Genetik Algoritmlar (genetic algotithms), Xaos Nazariyasi-CT (chaos theory) ni oladi. Soft Computing tarkibidagi FL asosan noaniqlik va taxminiy mulohazalar, NN-ta’limot bilan va PR-noaniqlik bilan ish ko’radi. Umuman olganda FL, NN va PR lar ustuvor yondashuvlardan ko’ra, bir-birini to’ldiruvchi yondashuvlardir.
Soft Computing qismlari mustaqil ravishda, masalan noravshan hisoblashlar (fuzzy computing), neyron hisoblashlar (neural computing), evolyutsion hisoblashlar (evolutionary computing) da, hamda ko’pincha kombinatsiyali ko’rinishda qo’llanilishi mumkin. Mustaqil qo’llanilishga asoslanib, Soft
Computingni tashkil etuvchilar, noravshan texnologiya, neyron texnologiya, xaos texnologiya va boshqalar ayni vaqtda sanoat sohasida ham, undan tashqarida ham keng qo’llanilib kelinmoqda.
Soft Computingning old tarkibiy qismi noravshan mantiq (fuzzy logic) dir. Soft Computingda noravshan mantiq (FL) sonli vazifani o’taydi. FL so’z bilan ifodalanishni va hisoblashlarning interpretatsiyalanishini ta’minlaydi. Noravshan mantiq ko’pgina sanoat sohalarida muvaffaqiyatli qo’llanilgan. Robot texnikasi, mayatnik tizimi (inverted pendulum system) ni muvozanatlash, qaror qabul qilish va tashxis qo’yishning murakkab tizimlarida, ma’lumotlarni siqishda, TV va boshqa sohalarda, lingvistik shaklda yoki noravshan sonli ma’lumotlar ko’rinishida berilgan bilimlarni boshqarishga qaratilgan tizimli protsessorni loyihalashtirishda biz tizimning noravshan modeliga muhtojlik sezamiz. Noravshan to’plamlarni mukammal approksimator tariqasida ishlatish mumkin, bu esa noma’lum obyektlarni modellashtirishda, hamda operator berilgan vaziyatda qanday turdagi amaldan foydalanishi to’g’risida aniq tasavvurga ega bo’lmaganida o’ta muhimdir, uning boshqaruv faoliyatini sonli ma’lumotlardan foydalangan holda modellashtirish foydalidir.