Modul nomi: Katta ma’lumotlar tahliliga kirish (kirish kursi) Kurs haqida

7-bosqich. Ma'lumotlarni tozalash - ma'lumotlar elementining har bir nusxasini o'chirish

• 
  korxonalar. Ideal holda, bu arxivdan amalga oshirilishi kerak. Ushbu bosqichda ma'lumotlarni boshqarish vazifasi tozalash haqiqatan ham to'g'ri bajarilganligini aniqlashdir.
  

Shuni ta'kidlash kerakki, ma'lumotlar barcha etti bosqichdan o'tishi shart emas; o'zaro ta'sir bosqichlari ma'lum bir ketma-ketlikda turishi shart emas; haqiqatda fazalar xaotik tarzda paydo bo'lishi mumkin.

• 
  Har qanday holatda ham, tashkilotning ma'lumotlarni boshqarish strategiyasi o'z-o'zidan katta ahamiyatga ega. Ma'lumotlarni boshqarish tizimining zamonaviy ko'rinishi Big Data ^{40 bilan ishlashning tashkiliy asoslarini ishlab chiqish natijasidir} .
  

3. 
   Katta ma'lumotlar bilan ishlashning tashkiliy asoslarining evolyutsiyasi
   

• 
  21-asrning birinchi o'n yilligi Katta ma'lumotlar atamasi infratuzilma sifatida qabul qilindi - bu ma'lumotlar bazalarining maxsus klassi sifatida tushunildi, bu katta hajmdagi ma'lumotlarni tezda qayta ishlash imkonini berdi. Big Data nomi ma'lum hisob-kitoblarni amalga oshirishga qodir bo'lgan serverlar ("apparat") toifasiga nisbatan qo'llanilgan.
  

Odatdagidek "temir" katta hajmdagi ma'lumotlar bilan ishlashga moslashtirilmagani uchun ular kerak edi. Unga xotira va tezlik yetishmasdi.


Ovozli fayllar, tasvirlar, murakkab va yarim tuzilgan ma'lumotlar juda oz ishlov berildi. Ular maxsus dasturiy ta'minotga muhtoj edilar.
Asta-sekin, muammo nafaqat apparatda, balki tugunlarda birlashtirilgan eng oddiy kompyuterlarda ishlaydigan dasturiy ta'minotda (dasturiy ta'minot) ham ekanligi ayon bo'ldi. Bunday tuzilmalar parallel ravishda ishlashi mumkin

40. 
    Blagirev A., Xapaeva N. Farmon. op. 26
    

maxsus ma'lumotlarni qayta ishlash vazifasi. Ular dasturiy komplekslar yoki klasterlar deb atalgan. Buni anglab etgach, katta ma'lumotlar texnologiyalari tez rivojlana boshladi ⁴¹ .


2010 yilda allaqachon katta ma'lumotlarning o'sib borayotgan muammolarini hal qilish bo'yicha birinchi urinishlar boshlandi va ulkan axborot massivlaridan foydalanishda xavflarni minimallashtirishga qaratilgan dasturiy mahsulotlar chiqarildi ⁴² .

• 
  Hozirgi vaqtda ko'plab yirik kompaniyalarning korporativ arxitekturasiga kiritilgan Big Data boshqaruv vositalariga quyidagilar kiradi:
  

‒ dasturiy ta'minot va apparat tizimlari va ma'lumotlar bazasi tezlatgichlari . Maxsus


ma'lumotlar bazasini boshqarish va boshqarish uchun optimallashtirilgan maxsus apparat va dasturiy platformada saqlash, qayta ishlash, ulanish va tezkor so'rovlarni bajarishni birlashtiradi. Ma'lumotlar bazasi tezlatgichlari ma'lumotlar bazasi hajmini kamaytirish va murakkab so'rovlarni tezlashtirish uchun ma'lumotlarni saqlash va so'rovlarni optimallashtirishning so'nggi yutuqlaridan foydalanadi. Agar apparat platformasining oddiy yangilanishi an'anaviy relyatsion ma'lumotlar bazasining ish faoliyatini ikki baravar oshirishi mumkin bo'lsa, unda ixtisoslashtirilgan qurilmalar va tezlatgichlardan foydalanish narx / unumdorlik ko'rsatkichini deyarli yuz baravar yaxshilashi mumkin. Muhimi, bu texnologiyalar malakali sozlash va maʼlumotlar konfiguratsiyasiga boʻlgan ehtiyojni yoʻqotib, boshqaruv va maʼmuriyatni soddalashtiradi;


‒ NOSQL ‒ ma'lumotlar omborlari. No-Only-SQL texnologiyasi paydo bo'ldi-


Internetga asoslangan bo'lib, u boshidanoq millisekundlarda so'rov qilinishi kerak bo'lgan ulkan, taqsimlangan ma'lumotlar to'plamini boshqarish uchun yaratilgan. So'rovlarga javob berish uchun birlashtirilishi kerak bo'lgan relyatsion jadvallarga ma'lumotlarni normallashtirish o'rniga, o'ta katta ma'lumotlar to'plamlari yuzlab yoki minglab protsessorlar bo'ylab taqsimlanadi, shuning uchun tegishli ma'lumotlar yonma-yon joylashgan bo'ladi. So'rovlar barcha protsessorlarda parallel ravishda amalga oshiriladi; har biri o'z mahalliy ma'lumotlariga asoslangan javoblarni qaytaradi. Bu oddiy va kengaytiriladigan

41. 
    Blagirev A., Xapaeva N. Farmon. op.
    
42. 
    Katta ma'lumotlar - katta ma'lumotlar tizimlari nima?
    

27

yondashuv juda samarali va moslashuvchan bo'lib chiqdi va u har xil turdagi ma'lumotlarni birgalikda saqlashga, shuningdek murakkab so'rovlarni bajarishga imkon beradi;

•