Big data tahlili

Katta ma’lumotlar tahlili va ma’lumotlar ombori
Yuqoridagi misollardan ma’lumotlar ombori va katta ma’lumotlar muhitining imkoniyatlarini birlashtirish foydali bo‘ladi. Katta ma’lumotlar ma’lumotlar ombori bilan qo‘lda ishlashi mumkin bo‘lgan gibrid muhitni yaratish kerak. Birinchidan, bugungi kunda yaratilgan ma’lumotlar ombori qisqa muddatda o‘zgarmasligini tushunish kerak. Shunday qilib, ma’lumotlar omborini nima uchun mo‘ljallangan bo‘lsa, o‘sha biznes tahlil qilmoqchi bo‘lgan mavzu haqidagi haqiqatning asosli versiyasini taqdim etish pragmatikdir. Omborda ma’lum bir kompaniyaning mahsulot qatori, uning mijozlari, yetkazib beruvchilari haqidagi ma’lumotlar, shuningdek, bir yil uchun tuzilgan bitimlar to‘g‘risidagi ma’lumotlar bo‘lishi mumkin. Ma’lumotlar ombori yoki bo‘lim ma’lumotlar bazasida boshqariladigan ma’lumotlar metadata aniqligini ta’minlash uchun ehtiyotkorlik bilan tuzilgan. Yangi tarmoq ma’lumotlarining ko‘payishi bilan, bu katta hajmdagi ma’lumotlarni tarixiy ma’lumotlar kontekstida tahlil qilish amaliy va ko‘pincha zarur bo‘lib qoladi. Bu yerda gibrid model paydo bo‘ladi.
Ma’lumotlar omborini katta ma’lumotlar bilan birlashtirishning ba’zi jihatlari nisbatan oson bo‘lishi mumkin. Masalan, ko‘plab katta ma’lumotlar manbalari o‘zlariga yaxshi o‘ylangan metadata bo‘lgan manbalardan keladi. Murakkab elektron tijorat saytlari yaxshi aniqlangan ma’lumotlar elementlarini (xaridor, narx va boshqalar) o‘z ichiga oladi. Shunday qilib, ombor va katta ma’lumotlar manbasini tahlil qilganda, axborotni boshqaruvchi tashkilot puxta ishlab chiqilgan metadata modellari bo‘lgan ikkita ma’lumotlar to‘plami bilan ishlaydi, ularni ratsionalizatsiya qilish kerak.
Albatta, ba’zi holatlarda axborot manbalarida aniq metadata yo‘q. Tahlilchi tarixiy bitim ma’lumotlarini kamroq tuzilgan katta ma’lumotlar bilan birlashtirishdan oldin, ishni bajarish kerak. Odatda, petabayt ma’lumotlarning dastlabki tahlili, biznesdagi nozik o‘zgarishlarni yoki bemorning tashxisining mumkin bo‘lgan yechimlarini bashorat qilishga yordam beradigan qiziqarli naqshlarni ochib beradi. Dastlabki tahlilni Hadoop DFS asosidagi MapReduce kabi vositalar yordamida bajarish mumkin. Bu vaqtda siz hal qilinayotgan muammoni baholashga yordam beradimi yoki yo‘qligini tushunishni boshlashingiz mumkin. Tahlil jarayonida, biznes kontekstiga tegishli ma’lumotlarni aniqlash kabi, keraksiz ma’lumotlarni olib tashlash ham muhim ahamiyatga ega. Ushbu qadam tugagandan so‘ng, qolgan ma’lumotlar aniq metadata ta’riflarini ta’minlash uchun o‘zgartirilishi kerak. Shunday qilib, katta ma’lumotlar ombordan an’anaviy tarixiy ma’lumotlar bilan birlashtirilganda, natijalar aniq va mazmunli bo‘ladi.