Ta’limda axborot texnologiyalari” mutaxasissligi Ahmedov Abdulaziz Mashrabovich

Data mining(ma'lumotlarni topish) - biron qonuniyatni topish maqsadida ma'lumotlarni intellektual analiz qilishga aytiladi. Isroillik matematik Grigoriy Pyatetskiy-Shapiro 1989-yilda bu atamani fanga kiritgan.⁴
Ma'lumotlarni qidirish sun'iy intellektning yangi yo'nalishlaridan biridir. Ushbu atama ingliz tilidan Data Mining and Knowledge Discoveryin atamalarining qisqa va juda aniq bo'lmagan tarjimasidir.
Ma'lumotlar bazalari (DM & KDD). Aniqroq tarjima - bu "ma'lumotlar qidirish" va "ma'lumotlar bazasidagi bilimlarni aniqlash" demakdir.
IAD (Data Mining) - bu ma'lumotlarda yashirin ma’lumotlarni (naqshlarni) qidirish asosida qarorlarni qo'llab-quvvatlash jarayoni. Bundan tashqari, to'plangan ma'lumotlar bilim sifatida tavsiflanishi mumkin bo'lgan ma'lumotlarga avtomatik ravishda umumlashtiriladi.
Umuman olganda, IAD jarayoni uch bosqichdan iborat:
1) ma’lumotlarni aniqlash (bepul qidirish);
2) noma'lum qiymatlarni bashorat qilishda aniqlangan ma’lumotlardan foydalanish (bashoratli modellash);
3) topilgan ma’lumotdagi anomaliyalarni aniqlash va izohlash uchun mo'ljallangan istisnolarni tahlil qilish.
Ba'zan, topilgan ma’lumotlarning topilishi va ishlatilishi o'rtasidagi ishonchliligini tekshirishning oraliq bosqichi aniq ajratib turiladi.

IAD bosqichlari




Ma’lumotlarni aniqlash (bepul qidirish(discovery))

Bashoratli modellashtirish (Predictive Modeling)

Istisnolar tahlili (ForensicAnalysis)





Noma'lum qadriyatlarni bashorat qilish (Outcome Prediction)

Tendentsiyalar va tebranishlarni aniqlash (Trends and Variations)

Chetlikni aniqlash (Deviation Detection)

Jarayonni bashorat qilish (Forecasting)

Assotsiativ mantiq naqshlarini aniqlash (Associtions and Affinities)

Shartli mantiq naqshlarini aniqlash (Conditional Logic)

1-shakl
IADning barcha usullari ma'lumot manbalari bilan ishlash printsipiga ko'ra ikkita katta guruhga bo'lingan.

Birinchi holda, dastlabki ma'lumotlar aniq batafsil shaklda saqlanishi mumkin va to'g'ridan-to'g'ri bashoratli modellashtirish va / yoki istisnolarni tahlil qilish uchun ishlatilishi mumkin; Bu ishlarni tahlil qilishga asoslangan fikrlash usullari. Ushbu usullar guruhining asosiy muammosi ularni katta hajmli ma'lumotlarda ishlatish qiyinligidir, garchi aniq ma'lumotlar omborlarini tahlil qilishda IAD usullari eng foydalidir.
Ikkinchi holda, ma'lumot birinchi navbatda dastlabki ma'lumotlardan olinadi va ba'zi rasmiy tuzilmalarga aylantiriladi (ularning shakli ma'lum usulga bog'liq). Oldingi tasnifga ko'ra, ushbu bosqich asosan birinchi guruh usullarida mavjud bo'lmagan bepul qidirish bosqichida amalga oshiriladi. Shunday qilib, prognostik modellashtirish va istisnolarni tahlil qilish uchun ushbu bosqichning natijalari qo'llaniladi, ular dastlabki ma'lumotlarning o'zlariga qaraganda ancha ixchamdir. Bundan tashqari, natijada paydo bo'lgan inshootlar "shaffof" (tushunarli) yoki "qora qutilar" (ishonib bo'lmaydigan) bo'lishi mumkin.
Ushbu ikki guruh va ularga kiritilgan usullarning namunalari 2-shaklda keltirilgan.

IAD usullari





Formalangan ma’lumotlarni aniqlash va ulardan foydalanish (Data Distillation)

Ma'lumotlardan bevosita foydalanish (Data Retention)







Tenglama derivatsiyasi usullari (Equational Distillation)
1.Statistika:
1) karnaylarning qatorlari
2) korrelyatsiya-regressiya tahlili
3) chiziqli bo'lmagan regressiya
2. Neyron tarmoqlari (Neural Nets)


Mantiqiy induksiya usullari (Logical Distillation)
1.Qaror daraxtlari (Decision Trees)
2. Induksiya qoidalari (Rule Learning)

O'zaro faoliyat yorliq usullari (Cross Tabulational Distillation)
1.O'zaro faoliyat jadvalni ko'rsatish
2.Bayesian tarmoqlari (Bayesian Networks)

Ishga asoslangan dalillar (Case-based reasoning)
Algoritmlarni yozing
Lazy-Learning:
1) eng yaqin qo'shni usul (NN);
2) k-yaqin qo'shni usuli (k-NN)
3) NGE usuli va boshqalar

2-shakl
DM va KDD texnologiyalari usullari.

DM va KDD texnologiyalari turli xil matematik usullar va algoritmlardan foydalanadi: tasniflash, klasterlash, regressiya, vaqt ketma-ketligini prognoz qilish, birlashtirish, ketma-ketlik.
Tasniflash umumlashtirish vositasidir. Bu sizga bitta ob'ektlarni ko'rib chiqishdan ba'zi ob'ektlar to'plamini tavsiflovchi va ushbu to'plamlarga (sinflarga) tegishli ob'ektlarni tanib olish uchun yetarli bo'lgan umumlashtirilgan tushunchalarga o'tishga imkon beradi. Kontseptsiyalarni shakllantirish jarayonining mohiyati sinflarga xos bo'lgan ma’lumotlarni topishdir.
Klasterlash - bu ma'lumotlar (yozuvlar) ma'lumotlar bazasidan guruhlarga (klasterlarga) yoki segmentlarga bir vaqtning o'zida ushbu guruhlarni belgilash bilan taqsimlash. Tasniflashdan farqli o'laroq, tahlil-bu yerda darslarni oldindan tayinlashni talab qilmaydi.
Rejressiya tahlili ma'lumotlar bazasidagi ob'ektlarning atributlari o'rtasidagi munosabatlar miqdoriy hisob-kitoblar bilan ifodalangan bo'lsa qo'llaniladi. O'rnatilgan regressiya tenglamalari qaram atributlarning berilgan qiymatlarini mustaqil atributlarning berilgan qiymatlari bilan hisoblash imkonini beradi.
Vaqt ketma-ketligini prognoz qilish vaqt o'tishi bilan ko'rib chiqilayotgan ob'ektlarning atributlari tendentsiyasini aniqlash vositasidir. Vaqtlar ketma-ketligini tahlil qilish o'rganilayotgan xususiyatlarning qiymatlarini taxmin qilish imkonini beradi.
Uyushma aniq ob'ektlar o'rtasidagi o'zaro bog'liq bo'lgan ob'ektlarning barqaror guruhlarini ajratishimizga imkon beradi. Yagona buyumning yoki buyumlar guruhining foiz sifatida ifoda etilishining chastotasi tarqalish deyiladi. Kam tarqalganlik (foizning mingdan biridan ozrog'i) bunday birlashma ahamiyatsiz ekanligini anglatadi.
Uyg'unlik - vaqt o'tishi bilan birlashuvlarni aniqlash usuli. Bunday holda, ba'zi bir guruh voqealarining ketma-ket ko'rinishini tavsiflaydigan qoidalar belgilanadi. Bunday qoidalar qurilish stsenariylari uchun zarurdir. Bundan tashqari, ular, masalan, ma'lum bir mahsulotning keyingi sotilishiga olib kelishi mumkin bo'lgan avvalgi savdolarning odatiy to'plamini shakllantirish uchun ishlatilishi mumkin.
Tasniflash quyidagi muammoni hal qilishga bag'ishlangan "o'qituvchi bilan dars berish" bo'limlaridan biridir. Ko'p ob'ektlar (vaziyatlar) mavjud bo'lib, ular qandaydir tarzda sinflarga bo'lingan. Cheklangan ob'ektlar to'plami berilgan bo'lib, ularning qaysi sinflarga tegishli ekanligi ma'lum. Ushbu to'plam mashg'ulotlar to'plami deb nomlanadi. Qolgan ob'ektlarning sinfga mansubligi ma'lum emas. Ixtiyoriy ob'ektni asl to'plamdan tasniflashga qodir algoritmni tuzish talab qilinadi.
Ob'ektni tasniflash bu ob'ektga tegishli bo'lgan raqamni (yoki sinf nomini) bildirishni anglatadi.
Ob'ektni tasniflash - klassifikatsiya algoritmi tomonidan ushbu muayyan ob'ektga qo'llash natijasida berilgan sinf raqami yoki nomi (3-shakl).

2-sinf “qoniqarli”

1-sinf "yaxshi"



1-sinf "yomon"







Filtrni tasniflagich





Noma'lum

3-shakl
DM & KDD-ning aqlli vositalariga neyron tarmoqlari, qaror daraxtlari, induktiv xulosalar, taqqoslash usullari, noaniq mantiqiy xulosalar, irsiy algoritmlar, uyushmalar va ketma-ketlikni aniqlash algoritmlari, tanlangan harakatlar bilan tahlil qilish, mantiqiy regressiya, evolyutsion dasturlash, ma'lumotlarni vizuallashtirish kiradi. Ba'zida sanab o'tilgan usullar turli xil kombinatsiyalarda qo'llaniladi.

Neyron tarmoqlari neyronlardan tashkil topgan asabiy to'qimalarni shartli ravishda simulyatsiya qiladigan arxitekturaga ega bo'lgan chiziqli bo'lmagan adaptiv tizimlar sinfiga kiradi. Neyronning matematik modeli o'ziga xos xususiyatlarni o'zgartirish va sozlash imkoniyatini beradigan universal turdagi chiziqli bo'lmagan elementdir.
Qaror daraxtlari - vertikallari ishlab chiqarish qoidalariga mos keladigan daraxt grafigi shaklida vazifani tuzish usuli, bu ma'lumotlarni tasniflash yoki qarorlarning oqibatlarini tahlil qilishga imkon beradi. Ushbu usul tasniflash qoidalari tizimining vizual ko'rinishini beradi.
Induktiv xulosalar ma'lumotlar bazasida saqlanadigan faktlar to'g'risida qisqacha ma'lumot olishga imkon beradi. Induktiv o'qitish jarayonida gipotezalarni yetkazib beradigan mutaxassis qatnashishi mumkin. Ushbu usul o'qituvchi bilan dars berish deb nomlanadi. Ishlarga asoslangan mulohaza (CBR) ma'lum vaziyatga tavsiflari bir qator o'xshash bo'lgan vaziyatlarni ma'lumotlar bazasida qidirishga asoslanadi. Analogiya printsipi shunga o'xshash vaziyatlarning natijalari ham bir-biriga yaqin bo'lishini taklif qiladi.
Qisqartirilgan mantiq turli xil lisoniy o'zgaruvchilar bilan ifodalanishi mumkin bo'lgan aniq bo'lmagan haqiqat qiymatlari bilan ma'lumotlarni qayta ishlash uchun ishlatiladi. Bilimning noaniq namoyishi mantiqiy natijalarga ega bo'lgan tizimlarda (deduktiv, induktiv) tasniflash va prognozlash muammolarini hal qilish uchun keng qo'llaniladi, masalan, XpertRule Miner tizimida (Attar Software Ltd., Buyuk Britaniya), shuningdek AIS va NeuFuz va h.k.
Genetika algoritmlari kombinatorial va optimallashtirish muammolarini hal qilish uchun kuchli vosita sifatida DM & KDD asboblar to'plamiga kiritilgan. Ular ko'pincha asab tarmoqlari bilan birgalikda ishlatiladi.
Mantiqiy (logistik) regressiya diskret maqsad o'zgaruvchisining ma'lum bir qiymatining ehtimolini taxmin qilish uchun ishlatiladi. Diskret bog'liq (maqsadli) o'zgaruvchini an'anaviy ko'p qirrali chiziqli regressiya usullari yordamida modellash mumkin emas.
Evolyutsion dasturlash DM va KDD ning eng yangi va istiqbolli sohasidir. Usulning mohiyati shundan iboratki, maqsadli o'zgaruvchining boshqa parametrlarga bog'liqligi shakli to'g'risidagi gipotezalar kompyuter tizimi tomonidan ma'lum bir ichki dasturlash tilidagi dasturlar shaklida tuzilgan.
Boshqa usullar bilan bog'liq bo'lgan qarorlar daraxti (asosan tasniflash va prognozlash) tanlash mezonlari doirasida yoki umumiy tuzilish ichidagi ma'lum ma'lumotlarni tanlashni qo'llab-quvvatlash uchun ishlatilishi mumkin. Qaror daraxti ikkita savolga (ba'zan ko'proq) ega bo'lgan oddiy savol bilan boshlanadi. Har bir javob keyingi savolga olib keladi, ma'lumotlarni tasniflash va aniqlash yoki bashorat qilishda yordam beradi.
Qaror daraxtlari ko'pincha xususiyatlar to'g'risidagi ma'lumotni tasniflash tizimlari va prognozlash tizimlari bilan qo'llaniladi, bu yerda turli xil prognozlar o'tmishdagi tajribaga asoslanishi mumkin, bu esa qaror daraxtining tuzilishini shakllantirishga va natijaga yordam beradi.

Xato aniqlandi




Ha

Suv darajasi

• 
  15 ft
  

Ha Yo’q

Nasoslar ishlayaptimi?

Oldindan signal



Yo’q Ha

Oldindan signali

Ogohlanth signali

4-shakl
DM & KDD texnologiyalaridan foydalanish katta istiqbolga ega, chunki u to'g'ri biznes strategiyasini tanlash orqali korxona daromadlarining o'sishiga sezilarli ta'sir qiladi.

Ma'lumotlar qidirish texnologiyalarini qo'llashda yetakchilar telekommunikatsiya kompaniyalari va kredit kartalari kompaniyalari hisoblanadi. DM & KDD mablag'lari sug'urta kompaniyalari va fond birjalari tomonidan faol foydalanilmoqda. Muhim yutuqlar ushbu yondashuvlarni tibbiyotda qo'llash bilan bog'liq bo'lib, bu yerda dori-darmonlar, jarrohlik muolajalari va tibbiy sinovlardan foydalanish samaradorligini oldindan bilish mumkin. Moliya sektorida prognoz qilish har doim eng muhim vazifalardan biri bo'lib kelgan. Hozirgi vaqtda DM texnologiyasiga asoslangan moliya bozorida faoliyat ko'rsatadigan kompaniyalar yaqin kelajakda individual va aktsionerlik imtiyozlarini bashorat qilish uchun bozor va sanoat xususiyatlarini aniqlaydilar.
DM & KDD usullarini qo'llashda muvaffaqiyat kaliti ma'lumotlarning sifati, ishlatilgan dasturiy ta'minotning kuchliligi va modelni yaratish jarayonida ishtirok etadigan tahlilchining mahorati. Dasturiy ta'minotning quyidagi parametrlari ma'lumotlarni qayta ishlash samaradorligiga ijobiy ta'sir ko'rsatadi: so'rovlarni yaratish va natijalarni vizuallashtirish uchun ishlab chiqilgan vositalar, grafik vositalarning mavjudligi, tez analitik ishlov berish imkoniyati, modelni tuzish algoritmlarining xilma-xilligi va samaradorligi.
Ma'lumotlar konstruktsiyasi amaliy statistika, qonuniyatlarnini aniqlash, sun'iy intellekt, ma'lumotlar bazasi nazariyasi va boshqalar kabi fanlar asosida vujudga kelgan va rivojlanayotgan ko'p tarmoqli sohadir. Data Mining bu ma'lumotlarning yashirin qonuniyatlarini (ma'lumotlarni) qidirish asosida qarorlarni qo'llab-quvvatlash jarayoni.