Ta’limda axborot texnologiyalari” mutaxasissligi Ahmedov Abdulaziz Mashrabovich

§1.3. Ma'lumotlarni intelektual qidirish vazifalari va tahlil qilish asoslari
Data Mining-ga qanday vazifalar berilishi kerakligi haqida hech qanday kelishuv yo'q. Vazifalar ishlab chiqarilgan ma'lumot turiga qarab taqsimlanadi, bu Data Mining vazifalarining eng umumiy tasnifi:

• 
  tasniflash
  
• 
  klasterlash,
  
• 
  bashorat qilish,
  
• 
  birlashma,
  
• 
  vizualizatsiya.
  

Tasniflash muammosini yechish natijasida o'rganilayotgan sinflar ma'lumotlari ob'ektlari guruhlarini tavsiflovchi belgilar topildi; ushbu belgilar bilan yangi ob'ekt u yoki bu sinfga tegishli bo'lishi mumkin. Tasniflash muammosini hal qilish uchun quyidagi usullardan foydalanish mumkin: Yaqin qo'shnilar; k-eng yaqin qo'shni (k-eng yaqin qo'shni); Bayesian Tarmoqlari qaror daraxtlarini tanishtirish; neyron tarmoqlari (neyron tarmoqlari).
Klasterlash bu tasniflash g'oyasining mantiqiy davomidir. Bu vazifa yanada murakkab, klasterlashning o'ziga xos xususiyati shundaki, ob'ektlar sinflari oldindan aniqlanmagan. Klasterlash natijasi ob'ektlarni guruhlarga bo'lishdir.
Prognozlash muammosini tarixiy ma'lumotlar asosida hal qilish natijasida maqsadli raqamli ko'rsatkichlarning yetishmayotgan yoki kelajakdagi qiymatlari baholanadi. Bunday muammolarni hal qilish uchun matematik statistika usullari, neyron tarmoqlari va boshqalar keng qo'llaniladi.
Assotsiativ qoidalarni izlash muammosini hal qilish jarayonida ma'lumotlar to'plamidagi bog'liq hodisalar o'rtasidagi qonuniyatlar topiladi. Oldingi ma'lumot konstruktsiyalarining birlashmasidan farqi shundaki, ma’lumotlarni qidirish tahlil qilinayotgan ob'ektning xususiyatlariga emas, balki bir vaqtning o'zida sodir bo'ladigan bir nechta hodisalar orasida.
Vizualizatsiya natijasida tahlil qilingan ma'lumotlarning grafik tasviri yaratiladi. Vizualizatsiya muammosini hal qilish uchun ma'lumotlarda ma’lumot mavjudligini ko'rsatadigan grafik usullar qo'llaniladi. Vizualizatsiya texnikasiga misol sifatida
2-D va 3-D o'lchovlarda ma'lumotlarni taqdim etish mumkin.
Strategiyalar bo'yicha tasnifga ko'ra, Data Mining vazifalari quyidagi guruhlarga bo'linadi:

• 
  o'qituvchi bilan mashg'ulotlar;
  
• 
  o'qituvchisiz o'qitish.
  

"O'qituvchi bilan dars berish" toifasi quyidagi ma'lumotlarni ishlab chiqish vazifalari bilan ifodalanadi: tasniflash, baholash, prognozlash. "O'qituvchisiz dars berish" toifasi klasterlash vazifasi bilan ifodalanadi.
Ma'lumotlar konstruktsiyasining vazifalari, ishlatilgan modellarga qarab, tavsiflovchi va bashoratli bo'lishi mumkin.
Ushbu tasnifga muvofiq, Data Mining vazifalari tavsiflovchi va bashoratli vazifalar guruhlari tomonidan taqdim etiladi. Ta'rif muammolarini hal qilish natijasida tahlilchi talqin qilinishi mumkin bo'lgan ma'lumotlarni tavsiflovchi shablonlarni oladi. Ushbu vazifalar tahlil qilinayotgan ma'lumotlarning umumiy tushunchasini tavsiflaydi, ma'lumotlarning informatsion, yakuniy, farqlovchi xususiyatlarini aniqlaydi. Ta'rif vazifalari tushunchasi ma'lumotlar to'plamini tavsiflash va taqqoslashni o'z ichiga oladi. Ma'lumotlar to'plamining xarakteristikasi ma'lumotlar to'plamining qisqacha va qisqacha tavsifini beradi. Taqqoslash ikki yoki undan ortiq ma'lumotlar to'plamining qiyosiy tavsifini beradi.
Bashoratli vazifalar ma'lumotlarni tahlil qilish, modellarni yaratish, yangi yoki noma'lum ma'lumotlarning tendentsiyalari yoki xususiyatlarini bashorat qilishga asoslangan.
Tasviriy statistika, shu jumladan miqdoriy ma'lumotlarni yig'ish va yig'ish texnologiyasi raqamli ma'lumotlarni massasini qabul qilish va muhokama qilish uchun qulay shaklga aylantirish uchun ishlatiladi. Ta'rif statistikasining maqsadi kuzatuvlar va tajribalar natijasida olingan dastlabki natijalarni umumlashtirishdir.
Ta'rif statistikasining tarkibi quyidagi xususiyatlarni o'z ichiga oladi: o'rtacha; standart xato; median; moda; standart og'ish; namuna o'zgarishi; ortiqcha; assimetriya; oraliq; minimal; maksimal Miqdor hisob.
Korrelyatsion tahlil o'lchovsiz shaklda taqdim etilgan ikkita ma'lumotlar to'plamining o'zaro bog'liqligini aniqlash uchun ishlatiladi. Korrelyatsiya tahlili ma'lumotlar to'plamlari kattaligiga bog'liqligini aniqlashga imkon beradi. Re [0,1] korrelyatsiya koeffitsienti bu ikki xususiyat o'rtasida o'zaro bog'liqlik mavjudligini aniqlash uchun ishlatiladi. Belgilar orasidagi aloqa (Ceddock shkalasi bo'yicha) kuchli, o'rta va zaif bo'lishi mumkin; Aloqa zichligi korrelyatsiya koeffitsientining qiymati bilan belgilanadi:

Korrelyatsiya koeffitsientining qiymati, r	0,1-0,3	0,3-0,5	0,5-0,7	0,7-0,9	0,9-1
Kuchlanish xarakteristikasi	Zaif	Mo'tadil	E'tiborga loyiq	Yuqori	Juda yuqori

O'zgaruvchilar o'rtasidagi har qanday munosabatlar ikkita muhim xususiyatga ega: kattalik va ishonchlilik. Ikkala o'zgaruvchining o'zaro bog'liqligi qanchalik kuchli bo'lsa, bog’likning kattaroqligi va bitta o'zgaruvchining qiymatini boshqa o'zgaruvchining qiymatidan aniqlash osonroq bo'ladi. Ishonchlilikdan ko'ra bog’likni o'lchash osonroq. Bog'lanishning ishonchliligi uning qiymatidan kam emas. Ushbu xususiyat o'rganilayotgan namunaning vakilligi bilan bog'liq. Bog'lanishning ishonchliligi ushbu bog’likning boshqa ma'lumotlarda yana topilishi ehtimolini tavsiflaydi. O'zgaruvchiga bog'liqlik oshgani sayin, uning ishonchliligi odatda oshadi.

Regressiya tahlilining asosiy xususiyati: uning yordami bilan o'rganilayotgan o'zgaruvchilar o'rtasidagi munosabatlar qanday shakl va xarakterga ega ekanligi haqida aniq ma'lumot olish mumkin.
Regressiya tahlilining bosqichlari ketma-ketligi:
1. Muammoning bayoni. Ushbu bosqichda o'rganilayotgan hodisalarning bog'liqligi to'g'risida dastlabki farazlar shakllantiriladi;
2. Bog’liq va mustaqil (tushuntirish) o'zgaruvchini aniqlash;
3. Statistikalar to'plami. Regressiya modeliga kiritilgan har bir o'zgaruvchi uchun ma'lumotlar to'planishi kerak;
4. Aloqa shakli to'g'risidagi gipotezani shakllantirish (oddiy yoki ko'plik, chiziqli yoki chiziqli bo'lmagan);
5. Regressiya funktsiyasini aniqlash (regressiya tenglamasi parametrlarining raqamli qiymatlarini hisoblashdan iborat);
6. Regressiya tahlilining aniqligini baholash;
7. Natijalarni sharhlash. Rejression tahlil natijalari dastlabki farazlar bilan taqqoslanadi. Natijalarning to'g'ri va to'g'ri ekanligi baholanadi;
8. Bog'liq bo'lgan o'zgaruvchining noma'lum qiymatlarini bashorat qilish.
Regression tahlil yordamida prognozlash va tasniflash muammosini hal qilish mumkin. Bashoratli qiymatlar tushuntiruvchi o'zgaruvchilar qiymatlarini regressiya tenglamasiga almashtirish orqali hisoblanadi. Tasniflash muammosi shu tarzda hal qilinadi: regressiya chizig'i barcha to'plamni ikkita sinfga ajratadi va funktsiyaning qiymati noldan katta bo'lgan to'plamning qismi bitta sinfga, noldan pastroq qismi esa boshqa sinfga tegishli.
Regressiya tahlilining asosiy vazifalari quyidagilardir: bog’lik shaklini belgilash, regressiya funktsiyasini aniqlash, bog'liq o'zgaruvchining noma'lum qiymatlarini hisoblash.
Shaklni yaratish qo'shadi. O'zgaruvchilar o'rtasidagi munosabatlarning tabiati va shakli regressning quyidagi turlarini shakllantirishi mumkin: musbat chiziqli regressiya (funktsiyaning bir tekis o'sishi bilan ifodalangan); ijobiy teng tezlashtirilgan regressiya; ijobiy sekin ortib borayotgan regressiya; manfiy chiziqli regressiya (funktsiyaning pasayishi bilan ifodalanadi); salbiy teng tezlashtirilgan pasayuvchi regressiya; Salbiy, sekin pasayib boruvchi regressiya.
Regressiya funktsiyasini aniqlash. Ushbu vazifa asosiy omillar yoki sabablarning bog'liq bo'lgan o'zgaruvchisiga ta'sirini aniqlash uchun kamayadi, boshqa sharoitlarda teng bo'lib, unga bog'liq o'zgaruvchiga tasodifiy elementlarning ta'siri istisno qilinadi. Regressiya funktsiyasi bu yoki boshqa turdagi matematik tenglama sifatida aniqlanadi.
Bog'langan o'zgaruvchining noma'lum qiymatlarini baholash. Ushbu muammoni hal qilish turlaridan birini yechish uchun keladi:
- bog'liq bo'lgan o'zgaruvchining qiymatini, dastlabki ma'lumotlarning ko'rib chiqilayotgan oralig'i doirasida baholash, ya'ni etishmayotgan qiymatlar bu holda interpolyatsiya muammosi hal qilinadi;
- bog'liq bo'lgan o'zgaruvchining kelajakdagi qiymatlarini baholash, ya'ni manba ma'lumotlarining belgilangan oralig'idan tashqarida qiymatlarni topish; bu ekstrapolyatsiya muammosini hal qiladi.
Ikkala muammo ham mustaqil o'zgaruvchilar qiymatlari parametrlarini topilgan hisob-kitoblarni regressiya tenglamasiga almashtirish orqali hal qilinadi. Tenglamani yechish natijasi maqsad (bog'liq) o'zgaruvchining qiymatini taxmin qilishdir.