Ma’ruza №2 Mavzu: Data Mining usullari va rivojlanish bosqichlari Reja: 1

MA’RUZA №2
Mavzu: Data Mining usullari va rivojlanish bosqichlari
Reja:
1 . Data Mining usullari va bosqichlari.
2. Data Mining klassifikatsiyasi
bosqichlari.
2.1. Erkin izlash(Discovery).
2.2. Bashoratli
modеllashtirish(Predictive
Modeling).
2.3. Istisno tahlili(Forencis analysis).
3. Data Mining usullari klassifikatsiyasi.
4. Tеnglamalar asosidagi usul.
5. Data mining statistik usullari.
6. Data Mining kibеrnеtik usullari.


Tayanch so’zlar va iboralar: data mining, discovery, sinflashtirish, klasterizasiya, regressiya, assosiativ qoidalar, o’qituvchili o’rgatish, o’qituvchisiz o’rgatish, bashoratli modellashtirish, istesno tahlil, kibernetik usul, tenglamalar usuli.
Ключевые слова и фразы: интеллектуальный анализ данных, обнаружение, классификация, кластеризация, регрессия, ассоциативные правила, обучение с учителем, обучение без учителя, прогнозное моделирование, анализ исключений, кибернетический метод, метод уравнений.
Keywords and phrases: data mining, discovery, classification, clustering, regression, associative rules, teacher teaching, teacherless teaching, predictive modeling, exception analysis, cybernetic method, equation method.

1. Data Mining usullari va bosqichlari

• 
  Data Mining tеxnologiyasida qo’llanilayotgan ko’plab amaliy usullar -bu tanish bo’lgan matеmatik algoritm va usullardir. Qo’llanishdagi yangiligi, xar xil aniqlangan muammolarni xal qilishda imkoniyatlarni mavjudligidir, bu tеxnik va dasturlash vositalarida paydo bulgan imkoniyatlar bilan bogliqdir. Takidlash joizki Data Mining ko’p usullari sun'iy intеllеkt qonunlar asosida ishlab chiqilgan.
  
• 
  Usul mеyor va qoidalardan tashkil topgan, aniq yo’l, usul, tеorеtik, amaliy, boshqaruv xaraktеridagi masalalar еchimini olish. Algoritm tushunchasi EXM yaratilishidan ancha vaqt ilgari paydo bo’lgan. Xozirda algoritmlar insoniyat faoliyatining kuplab amaliy va tеoriya masalalar еchimlarining asosi xisoblanadi, kup xollarda bu masalalar еchimi PKdan foydalangan xolda topiladi
  
• 
  Algoritm (algorithm) - bu aniq ko’rsatma xarakatlar kеtma kеtligiga (shagov) nisbatan, birlamchi ma'lumotni topilgan ma'lumotga uzgartirish natijasidir.
  

Ma’lumotlarni intellektual tahlili (MIT) ma’lumotlar massividan bilimlarni ajratib olish bilan bog’liq muammolarni barcha sohasini qamrab oladi. Axborot xavfsizligi(AX) sohasida bu anomal harakatlar va hujumlarni aniqlash uchun tarmoq trafigini tahlili, firibgarlik harakatlari (fraud) va pochta tarqatmalarida xabarlarda SPAM ni aniqlash, AX insidentlarini tergovida va hodisalarni monitoring qilish tizimlarida turli ma’lumotlar (tarmoq va operatsion tizim audit tizimosti ma’lumotlari, fayl tizimlari, AHT va ilova jurnallari fayllari) asosida hodisalarni to’g’rilashlarni aniqlash bilan bog’liq vazifadir. Bu elektron pochta, moliyaviy tranzaksiya, tarmoqni skanerlash, DoS-hujumlar tarmoq operatsiyalarini ko’p marta takrorlanishini bildiradi va ularni aniqlashni avtomatlashtirish mumkinligi bilan bog’liq.
Odatda MIT Data Mining terminini transformatsiyasi kabi ko’riladi, biroq Data Mining usullari asosan ma’lumotlarni tahlili va intellektual modellashtirishga qaratiladi, MIT esa turli manbalardan ma’lumotlarni ajratib olish, ularni konsolidatsiyasi, profayling, transformatsiyam tozalash va boyitish masalalarini o’z ichiga olgan ma’lumotlardan bilimlarni olish jarayoni bilan bog’liq muammolarni to’liq spektrini qamrab oladi.
MIT ni zamonaviy konsepsiyasi quyidagilarni nazarda tutadi:

• 
  Ma’lumotlar turlicha, noaniq, to’liqmas (bo’shliqlar bo’lishi), zid, bilvosita bo’lishi mumkin;
  
• 
  Ma’lumotlar juda katta hajmli bo’lishi (big data);
  
• 
  Ma’lumotlarni tahlillashni intellektual algoritmi, xususan, umumlashtiruvchi qobiliyatga ega hodisalar asosida o’qitishga qodir algoritmdan foydalaniladi (ya’ni xususiy kuzatuvlar asosida umumiy xulosalar qilishni imkonini beruvchi);
  
• 
  Quruq ma’lumotlarni axborotga, axborotni esa bilimlarga qayta ishlash jarayonlari notrivial avtomatlashtirilishni talab etadi. Ma’lumotlarni intellektual tahlillash vazifasini yechishni quyidagi bosqichlari ajratiladi:
  

1. 
   Predmet soha tahlili, tadqiqot maqsad va vazifalarini shakllantirish.
   
2. 
   Ma’lumotlarni ajratib olish va saqlash.
   
3. 
   Ma’lumotlarni dastlabki qayta ishlovi:
   

• 
  Tozalash – dublikatlarni va qalbaki qiymatlarni olib tashlash, ziddiyatlarni, tasodifiy tashlanmalarni va to’siqlarni qayta ishlash (tekislash, shovqinni pasaytirish), bo’shliqlarni to’ldirish va qayta tiklash;
  
• 
  Konsolidatsiya – bir nechta manbalarda ma’umotlarni bitta omborga birlashtirish, informativlik va sifat kerakli darajalarini ta’minlash, yagona formatga keltirish;
  
• 
  Profayling – ma’lumotlar tuzilmasi to’g’risidagi axborot tahlili (maydon toifasi, uning qiymatlari uzunligi va oralig’i, shablonlar tahlili), berilgan cheklanishlarga mos ma’lumotlar mabai maydonini tekshiruvi hamda berilgan senariyga mos aniqlangan muammolarn tuzatish (masalan, tasavvur formatlari va qiymatli ma’lumotlar yozuv yo’llari tekshiruvi hamda qabul qilingan sintaksisga mos ularni keltirilishi);
  
• 
  Ma’lumotlar optimizatsiyasi – hajmdorlikni qisqarishi (ahamiyatli belgilar tanlovi);
  
• 
  Ma’lumotlarni boyitish – tahlillash aniq vazifasini yechosh nuqtai-nazaridan kiruvchi ma’lumotlar qiymatliligi va ahamiyatliligini oshirish maqsadida mavjud ma’lumotlar (masalan, o’rtacha qiymat yoki matematik kutilmalar hisobi) bilan qo’shimcha harakatlar yordamida olish yoki tashqi manbalardan qo’shimcha ma’lumotlarni jalb qilish;
  
• 
  Aylantirish (transformatsiya) – tasavvurlar va ma’lumotlar formatlari optimizatsiyasi tahlil maqsad va vazifalari nuqtai-nazaridan ma’lumotlarni agregatsiyasini va siqilishini, ularni normallashtirishni (kiruvchi qiymatlarni ba’zi berilgan oraliqqa keltirilishi), atributlar diskretizatsiyasini va shu kabilarni o’z ichiga olishi mumkin.
  

4. 
   Ma’lumotlarni tarkibiy tahlili – umumiy qonuniyatlarni o’rnatish yoki aniqroq, xususiy tahlil masalalarini yechish:
   

• 
  Sinflashtirish – obyektlarni oldindan berilgan sinflarga (guruhlar, toifalar) kiritish;
  
• 
  Belgini uzluksiz qiymatlarini approksimatsiyasi va bashorati – ma’lum ma’lumotlar tahlili asosida chiquvchi belgilarni noma’lum qiymatlarini natijasi sifatida olish;
  
• 
  Klasterizatsiya – o’xshashlik alomatlari bo’yicha obyektlar guruhini ajratish, klasterda obyektlarni umumiy jihatlarini tahlillash va bashoratlash;
  
• 
  Assotsiatsiya (birlashma) tahlili – o’zaro bo’glanishlar yoki korrelyatsion aloqalar qidiruvi;
  
• 
  Ketma-ketliklarni (vaqt bo’yicha bir-biri bilan bog’liq hodisalar) aniqlash, keyingi ehtimoliy hodisani bashoratlash;
  
• 
  Bashoratlash – vaqtinchalik mavjud qatorlarni qidiruvi va kelajakdagi vaqt davrlarida ulardagi qiymatlar dinamikasini bashoratlash.
  

5. 
   Tahlil natijalarini qabul qilish va intrepretatsiya uchun qulay shaklda taqdim etish (vizualizatsiya va foydali shablonlar saralanishi, informativ grafik va jadvallar shakllantirilishi), natijalar interpretatsiyasi.
   
6. 
   Qaror qabul qilish uchun yangi qiymatlardan foydalanish. Bunday tarzda avval ma’lumotlar qayta ishlanadi va tayyorlanadi. Keyin tadqiqot maqsad va vazifalariga mos keladigan algoritmlarni qisqa tarkibi tuziladi. So’ngra bu algoritmlar parametrlari tanlovi va sozlanmasi amalga oshiriladi. Va nihoyat, ulardan eng yaxshilarini tanlash uchun analitik model quriladi. Olingan natijalar tahlil maqsadiga mos keladigan holda interpretatsiyalanadi va maqbul shaklda taqdim qilinadi.