DataMiningNima? Ma'ruzadaDataMiningkontseptsiyasibatafsilmuhokamaqilinadi. Kelibchiqishi, istiqbollari, muammolariDataqazibolishtasvirlanadi. Ma'lumotlartexnologiyalaribozoriningbirqismisifatidaDataMiningtexnologiyasigaqarashberilgan

Ob'ekt yaxlitligi qoidasi asosiy kalit to'liq yoki qisman bo'sh bo'lmasligi kerakligini ta'kidlaydi.

Ma`lumotlarni konseptual modeli
Konseptual modelni yaratish
Ta’rif va orentatsiya (mo‘ljal) Modelni ishlab chiqarishda tavsiflashni shartli ravishda quyidagi pog‘onalarga bo‘lish mumkin: Konseptual matematik va dasturiy. Bu pog‘onalada modellar yaratiladi. Konseptual (mazmunli) model-abstrakt model bo‘lib, tizimni So tarkibi va strukturasini, elementlar xususiyatini va sabab-oqibat bog‘lanishlarini aniqlaydi.
Bundan tashqari elementar hodisalar orasidagi o‘zaro ta’sir turi va darajasi, har bir elementar hodisani tizimni ishlashi umumiy jarayondagi o‘rni va ahamiyati tavsiflanadi. Dastlab Konseptual model tadqiqotchini ongida vujudga keladi. Model modellashtirish maqsadiga mos ravishda Tizimni ma’lum xususiyatlarini aniqlashga qaratilgan bo‘ladi. Bu jarayon M- orentatsiya deyiladi. Tadqiqotchi tizimi xayoliy kesim bilan qiziqtirgan xususiyatlari ta’riflanadi.

2.1.Rasm. Konseptual modelni tasvirlash

Konseptual modelni ishlab chiqish tizimini So chuqur bilishni talab etadi, chunki modelda qatnashadigan va modellashtirish natijalariga ahamiyatli ta’sir etmaydigan parametrlarni tanlab olinadi.
Modelni yaratishda asosiy muammolardan biri bu modelni oddiyligi va adekvatligi o‘rtasida kompromissni aniqlashdir. Kompromiss yechimini topishni formal usullari mavjud emas. Bu muammo asosan tadqiqchining tizim haqidagi bilimlariga, hisoblash baholariga tajribasiga bog‘liq. Shuning uchun modellashtirish faqat fan bo‘libgina qolmasdan, balki san’at hamdir. Mo‘ljallanmagan modelni tuzishda ko‘pincha foydali va tashqi muhitning ta’sirlari aniqlanadi.
Stratifikatsiya.
Konsentual modelni yaratishdagi keyingi qadam modelni detallashtirish sohasini tanlash hisoblanadi.


2.2.Rasm. Model pog‘onalari.
Ma’lumki, har qanday ixtiyoriy tizim, shu jumladan hisoblash tizimlari- bu ko‘pdan-ko’p elementlar birligidir. Har bir tizim xususiyatlardan biri uning kichik bo‘laklarga bo‘linishidir. Shuning uchun tizimlar qismlar (qism bo‘laklar, elementlar) majmuasi shaklda tasvirlanadi. Bu majmuaga Tizimni butunligiga saqlab qoluvchi hamma bo‘laklar kiritiladi. Biror-bir elementni modeldan chiqarib tashlash tizimi asosiy xususiyatlarini yo‘qotilishiga olib kelmasligi lozim.
Ikkinchi tomondan esa tizimni har bir bo‘lagi bir nechta elementlar majmuasidan iboratdir va bu bo‘lak ham mayda elementlarga bo‘linadi. Shuni hisobga olgan holda detallashtirish pog‘onasini tanlash muammosi modellarni iyerarxik ketma-ketligini ko‘rish bilan yechimni topish mumkin. Har bir pog‘onada tizimni xarakterli xususiyatlari, o‘zgaruvchilar, prinsiplar va bog‘lanishlar mavjudki, bular yordamida tizim harakati yoziladi.
Detallashtirish pog‘onalari startlar deyiladi, pog‘onalarni ajratish esa stratifikatsiya deyiladi. Startlarni tanlash modellashtirish maqsadida va elementlarni xususiyatini oldindan bilish darajasiga bog‘liq. Biror bir tizim uchun turli startlar ishlatilishi mumkin. Odatda modelga faqat detallashtirishni bitta pog‘ona elementlari ishlatiladi. Sok chi start. Ba’zi hollarda modelda turli start elementlari ham ishtirok etishi mumkin. Agar alohida elementlarni umum tizim (funksional) xususiyatlari haqida kam ma’lumot bo‘lsa, yoki ularni tavsiyalash qiyin bo‘lsa, bunday hollarda har bir elemen uchun modelda quyi startdan uning detallashtirilgan tavsiyalari kiritilishi mumkin, ya’ni (K-1) startdan. Bu quyi pog‘ona elementlarini ham bo‘laklarga bo‘lish va ularni (K-2) start pog‘ona elementlari tavsiflari bilan almashtirish mukin.
Mo‘ljallangan va stratifikatsiyalangan konsentual modelni tizishda quyidagi yo‘riqnomadan foydalanish mumkin. Modelga tizimni hamma parametrlari kiritilishi lozimki, birinchi navbatda bu parametrlar modellashtirish jarayonida tadqiqotchini qiziqtiruvchi xarakteristikalarni konkret tashqi muhit ta’sirlarida berilgan vaqt intervalda T aniqlash imkoniyatini bersin. Qolgan parametrlarni (o‘zgaruvchilar) ni modeldan o‘chirib tashlash kerak.
Detallashtirish. Har qanday ixtiyoriy tizimni ishlashni modda, yoqilg‘i yoki axboratni o‘zgartirish texnologik jarayonini bajarishi ko‘rinishda tasarruf etish mumkin. Har bir jarayon elementar amallar ketma-ketligidan tashkil topadi. Har bir elementar amalni bajarishi aniq zaxira (resurs)- element bilan ta’minlanadi. Shuning uchun modelda bajaruvchi hamma texnologik jarayonlarni bajarilishini tamirlovchi hamma elementlar qatnashishi zarur. Bundan tashqari modelga zaxiralarni boshqarish uchun va o‘zgartirilayotgan ob’yektlarni saqlash uchun zarur bo‘lgan elementlar ham kiritish mumkin. Bunday qoidalarni ishlatilishi uchun elementar amal tushunchasi ta’rifini aniqlash talab etiladi.

Qarorlar daraxtini qurish

Ma'lumotlar bazasini yaratish va saqlash uchun ko'plab vositalarda qo'llaniladigan asosiy ma'lumotlar modeli - DBMS, relyatsion modeldir. Undagi ma'lumotlar asosiy maydonlar bilan bog'langan ikki o'lchovli jadvallar-munosabatlar to'plami shaklida taqdim etiladi. Takroriylikni, nomuvofiqlikni bartaraf etish va ma'lumotlar bazalarini saqlash uchun mehnat xarajatlarini kamaytirish uchun ob'ektlar jadvallarini normallashtirish uchun rasmiy apparat qo'llaniladi. Shu bilan birga, uning ishlatilishi xotira resurslari saqlangan bo'lsa-da, ma'lumotlar bazalariga so'rovlarga javoblar yaratish uchun qo'shimcha vaqt bilan bog'liq.
Ko'p o'lchovli ma'lumotlar modeli o'rganilayotgan ob'ektni ko'p o'lchovli kub shaklida ifodalaydi, ko'pincha uch o'lchovli model ishlatiladi. Kubning o'qlari yoki yuzlari bo'ylab o'lchovlar yoki atributlar chiziladi. Asosiy detallar kub hujayralarini to'ldirishdir. Qarorlarni qo'llab-quvvatlash tizimida tahliliy ish materiallari asosida hisobot va tahliliy hujjatlar va multimedia taqdimotlarini yaratishda idrok etish va taqdim etishni osonlashtirish uchun ko'p o'lchovli kub uch o'lchovli kublar kombinatsiyasi bilan ifodalanishi mumkin.
OLAP texnologiyalari doirasida ma'lumotlarning ko'p o'lchovli ko'rinishini relyatsion DBMSlar va ko'p o'lchovli maxsus vositalar yordamida tashkil qilish mumkinligiga asoslanib, ko'p o'lchovli OLAP tizimlarining uch turi mavjud:

• 
  - ko'p o'lchovli (Ko'p o'lchovli) OLAP-MOLAP;
  
• 
  - relational (Relation) OLAP-ROLAP;
  
• 
  - aralash yoki gibrid (Gibrid) OLAP-HOLAP.
  

Ko'p o'lchovli ma'lumotlar bazasida ma'lumotlar relyatsion jadvallar ko'rinishida emas, balki tartiblangan ko'p o'lchovli massivlar ko'rinishida giperkublar shaklida tashkil etiladi, bunda barcha saqlangan ma'lumotlar bir xil o'lchamga ega bo'lishi kerak, bu esa eng to'liq asosni shakllantirish zarurligini anglatadi. o'lchovlar. Ma'lumotlar polikublar shaklida tashkil etilishi mumkin, bu variantda har bir ko'rsatkichning qiymatlari o'z o'lchovlari to'plami bilan saqlanadi, ma'lumotlarni qayta ishlash tizimning o'z vositasi tomonidan amalga oshiriladi. Bu holda saqlash tuzilishi soddalashtirilgan, chunki ko'p o'lchovli yoki ob'ektga yo'naltirilgan shaklda ma'lumotlarni saqlash zonasiga ehtiyoj yo'q. Ma'lumotlarni relyatsion modeldan ob'ektga aylantirish uchun modellar va tizimlarni yaratish uchun katta mehnat xarajatlari kamayadi.
MOLAP ning afzalliklari quyidagilardan iborat:

• 
  - so'rovlarga ROLAP-ga qaraganda tezroq javob berish - sarflangan vaqt bir yoki ikki baravar kam;
  
• 
  - SQL cheklovlari tufayli ko'plab o'rnatilgan funktsiyalarni amalga oshirish qiyin.
  

MOLAP cheklovlariga quyidagilar kiradi:

• 
  - ma'lumotlar bazalarining nisbatan kichik hajmi;
  
• 
  - denormalizatsiya va dastlabki yig'ish tufayli ko'p o'lchovli massivlar 2,5-100 marta ishlatiladi. ko'proq xotira asl ma'lumotlarga qaraganda (o'lchovlar sonining ko'payishi bilan xotira iste'moli eksponent ravishda o'sadi);
  
• 
  - interfeys va ma'lumotlarni manipulyatsiya qilish vositalari uchun standartlar mavjud emas;
  
• 
  - Ma'lumotlarni yuklashda cheklovlar mavjud.
  

Ko'p o'lchovli ma'lumotlarni yaratish uchun zarur bo'lgan harakatlar keskin ortadi Bunday holatda, axborot omborida mavjud bo'lgan ma'lumotlarning relyatsion modelini ob'ektivlashtirishning ixtisoslashtirilgan vositalari deyarli yo'q. So'rovlarga javob berish vaqti ko'pincha OLAP tizimlari talablariga javob bera olmaydi.
ROLAP tizimlarining afzalliklari quyidagilardan iborat:

• 
  - to'g'ridan-to'g'ri saqlash tarkibidagi ma'lumotlarni tezda tahlil qilish qobiliyati, chunki ko'pgina manba ma'lumotlar bazalari relyatsiondir;
  
• 
  - muammoning o'zgaruvchan o'lchami bilan RO-LAP g'alaba qozonadi, chunki ma'lumotlar bazasini jismoniy qayta tashkil etish talab qilinmaydi;
  
• 
  - ROLAP tizimlari kamroq kuchli mijoz stantsiyalari va serverlaridan foydalanishi mumkin, va serverlar murakkab SQL so'rovlarini qayta ishlashning asosiy yukini o'z zimmalariga oladilar;
  
• 
  - relyatsion ma'lumotlar bazasida axborotni himoya qilish darajasi va kirish huquqlarini farqlash ko'p o'lchovlilarga qaraganda beqiyos yuqori.
  

ROLAP tizimlarining kamchiliklari unumdorlikning pastligi, ma'lumotlar bazasi sxemalarini sinchkovlik bilan o'rganish, maxsus indekslarni sozlash, so'rovlar statistikasini tahlil qilish va ma'lumotlar bazasi sxemalarini o'zgartirishda tahlil natijalarini hisobga olish zarurati, bu esa sezilarli qo'shimcha mehnat xarajatlariga olib keladi.
Ushbu shartlarning bajarilishi ROLAP tizimlaridan foydalanganda kirish vaqti bo'yicha MOLAP tizimlariga o'xshash ko'rsatkichlarga erishish, shuningdek, xotirani tejash bo'yicha o'tish imkonini beradi.
Gibrid OLAP tizimlari relyatsion va ko'p o'lchovli ma'lumotlar modelini amalga oshiradigan vositalar kombinatsiyasidir. Bu sizga bunday modelni yaratish va texnik xizmat ko'rsatish uchun resurslarning narxini, so'rovlarga javob berish vaqtini keskin kamaytirish imkonini beradi.
Ushbu yondashuv dastlabki ikkita yondashuvning afzalliklaridan foydalanadi va ularning kamchiliklarini qoplaydi. Ushbu tamoyil shu maqsadda eng ishlab chiqilgan dasturiy mahsulotlarda amalga oshiriladi.
OLAP tizimlarida gibrid arxitekturadan foydalanish ko'p o'lchovli tahlilda dasturiy vositalardan foydalanish bilan bog'liq muammolarni hal qilishning eng maqbul usuli hisoblanadi.
Naqshni aniqlash rejimi ma'lumotlarni aqlli qayta ishlashga asoslangan. Bu erda asosiy vazifa o'rganilayotgan jarayonlardagi qonuniyatlarni, turli omillarning munosabatlari va o'zaro ta'sirini aniqlash, katta "noodatiy" og'ishlarni izlash va turli muhim jarayonlarning borishini prognoz qilishdir. Bu soha ma'lumotlarni ishlab chiqarishga tegishli.
1993 yilda ma'lumotlar bazalarini qurishda relyatsion yondashuv asoschisi Edgar Kodd va uning hamkorlari (Edgar Kodd, matematik va IBM hamkori) "Arbor Software" kompaniyasi (bugungi kunda bu mashhur Hyperion Solutions kompaniyasi) tashabbusi bilan maqola chop etdi. , "Tahlilchi foydalanuvchilari uchun OLAP (operatsion tahliliy ishlov berish) ni taqdim etish" deb nomlangan, bu OLAP texnologiyasining 12 ta xususiyatini shakllantirgan, keyinchalik ular yana oltita bilan to'ldirildi. Ushbu qoidalar yangi va juda istiqbolli texnologiyaning asosiy mazmuniga aylandi.
OLAP texnologiyasining asosiy xususiyatlari (Basic):

• 
  ma'lumotlarning ko'p o'lchovli kontseptual tasviri;
  
• 
  ma'lumotlarni intuitiv manipulyatsiya qilish;
  
• 
  ma'lumotlarning mavjudligi va batafsilligi;
  
• 
  ommaviy ma'lumotlarni chiqarib olish va talqin qilish;
  
• 
  OLAP tahlil modellari;
  
• 
  mijoz-server arxitekturasi (OLAP-ga ish stolidan kirish mumkin);
  
• 
  shaffoflik (tashqi ma'lumotlarga shaffof kirish);
  
• 
  ko'p foydalanuvchi qo'llab-quvvatlash.
  

Maxsus xususiyatlar (maxsus):

• 
  rasmiylashtirilmagan ma'lumotlarni qayta ishlash;
  
• 
  OLAP natijalarini saqlash: ularni dastlabki ma'lumotlardan alohida saqlash;
  
• 
  etishmayotgan qiymatlarni istisno qilish;
  
• 
  etishmayotgan qiymatlarni qayta ishlash.
  

Hisobotning xususiyatlari (hisobot):

• 
  hisobot berishda moslashuvchanlik;
  
• 
  standart ishlash hisobotlar;
  
• 
  avtomatik sozlash ma'lumotlarni qidirishning jismoniy qatlami.
  

O'lchamlarni boshqarish:

• 
  o'lchovlarning universalligi;
  
• 
  cheksiz miqdordagi o'lchamlar va yig'ish darajalari;
  
• 
  o'lchamlar orasidagi cheksiz miqdordagi operatsiyalar.
  

Tarixan, bugungi kunda "OLAP" atamasi nafaqat oxirgi foydalanuvchi ma'lumotlarining ko'p o'lchovli ko'rinishini, balki maqsadli ma'lumotlar bazasidagi ma'lumotlarning ko'p o'lchovli tasvirini ham anglatadi. “Relational OLAP” (ROLAP) va “Multimensional OLAP” (MOLAP) atamalarining mustaqil atamalar sifatida paydo bo‘lishi aynan shu bilan bog‘liq.
OLAP xizmati real vaqt rejimida katta hajmdagi ma'lumotlarni tahlil qilish vositasidir. OLAP tizimi bilan o'zaro aloqada bo'lgan foydalanuvchi ma'lumotni moslashuvchan ko'rishni amalga oshirishi, o'zboshimchalik bilan ma'lumotlar bo'laklarini olishi va ko'p parametrlarda bir vaqtning o'zida tafsilotlarni aniqlash, konvolyutsiya, oxirigacha taqsimlash, vaqt davomida taqqoslash bo'yicha analitik operatsiyalarni bajarishi mumkin. OLAP tizimi bilan barcha ishlar mavzu sohasi bo'yicha amalga oshiriladi va biznes holatining statistik jihatdan haqiqiy modellarini yaratishga imkon beradi.
OLAP dasturiy ta'minoti ombordagi ma'lumotlarni onlayn tahlil qilish vositasidir. Asosiy xususiyat shundaki, ushbu vositalar ushbu sohada mutaxassis bo'lmagan shaxs tomonidan foydalanishga qaratilgan. axborot texnologiyalari, ekspert statistik emas, balki amaliy boshqaruv sohasidagi professional - bo'lim, bo'lim, boshqaruv va, nihoyat, direktor. Asboblar tahlilchiga kompyuter bilan emas, balki muammo bilan muloqot qilish imkonini beradigan tarzda yaratilgan. Shaklda. 6.14 elementar OLAP kubini ko'rsatadi, bu sizga ma'lumotlarni uch o'lchovda baholash imkonini beradi.

Ko'p o'lchovli OLAP kubi va mos keladigan matematik algoritmlar tizimi statistik ishlov berish istalgan vaqt oralig'ida har qanday murakkablikdagi ma'lumotlarni tahlil qilish imkonini beradi.