Modul nomi: Katta ma’lumotlar tahliliga kirish (kirish kursi) Kurs haqida

DWH va ma'lumotlar ko'li turli maqsadlarga ega . DWH



menejerlar, tahlilchilar va biznesning boshqa yakuniy foydalanuvchilari tomonidan qo'llaniladi, ma'lumotlar ko'li esa asosan murakkab muammolarni hal qilish uchun texnik ko'nikmalarga ega bo'lgan ma'lumotlar tahlili bo'yicha mutaxassislar, shuningdek, ushbu muammolarni o'rnatishga yordam beradigan qiziquvchanlikdir (ular Data deb ataladi) Olimlar ). Ma'lumotlar ko'lida saqlanadigan tuzilmagan, "xom" ma'lumotlar (dronlar va kuzatuv kameralaridan olingan video yozuvlar, transport telemetriyasi, grafik tasvirlar, foydalanuvchilarning xatti-harakatlari jurnallari, sayt va axborot tizimining ko'rsatkichlari, shuningdek, turli xil saqlash formatlari (sxemalari)dagi boshqa ma'lumotlar) ), BI tizimlarida kunlik tahlil qilish uchun hali mos emas , lekin ma'lumotlar olimlari tomonidan mashinani o'rganish algoritmlari ^{102 yordamida yangi biznes farazlarini tezda ishlab chiqish uchun ishlatilishi mumkin} .


Ma'lumotlar ko'li bilan ishlash uchun kompaniya texnik mutaxassislarga ega bo'lishi kerak: Data Scientist , Data Engineer (ma'lumotlar uchun ishonchli infratuzilma dizayneri), biznes-tahlilchi. Bunday mutaxassislar ko'ldagi ma'lumotlarga kirish huquqiga ega va ularni qayta ishlashlari mumkin

101. 
     Springer E. Ma'lumotlar ko'llari nima va ularda katta ma'lumotlarni saqlash nima uchun arzonroq [Elektron resurs]. URL: https://mcs.mail.ru/blog/chto-takoe-ozera-dannyh-i-zachem-tam-hranyat-big-data (kirish sanasi: 19.06.2020).
     

101. 
     Korporativ ma'lumotlarni qayerda saqlash kerak: Ma'lumotlar ombori bo'yicha qisqacha ta'lim dasturi.
     

69

turli tahliliy tizimlar va yondashuvlardan foydalanish. Ko'lda ma'lumotlarni ekstraktsiyasiz qayta ishlash mumkin - uning ichida tahlil qilish uchun tizimlarni jihozlash kifoya ¹⁰³ ;

• 
  DWH va ma'lumotlar ko'li dizaynga yondashuvida farq qiladi . DWH dizayni aloqador ma'lumotlar mantig'iga asoslangan (normallashtirilgan do'konlar uchun uchinchi normal shakl, o'lchamli do'konlar uchun yulduz yoki qor parchalari sxemalari (4-bobga qarang)). Ma'lumotlar ko'lini loyihalashda, Katta me'morlar Ma'lumotlar va ma'lumotlar muhandisi ko'p formatli ma'lumotlar manbalari va qabul qiluvchilarining xilma-xilligini hisobga olgan holda ETL jarayonlariga ko'proq e'tibor beradi . Va to'g'ridan-to'g'ri ma'lumotlarni saqlash masalasi juda oddiy hal qilinadi - sizga faqat HDFS yoki Amazon S3 kabi kengaytiriladigan, nosozliklarga chidamli va nisbatan arzon fayl tizimi kerak ;
  

•