Big data tahlili

1-toʻlqin: boshqariladigan ma’lumotlar strukturalarini yaratish
1960-yillarning oxirida kompyuterlar tijorat bozoriga koʻchib oʻtganda, ma’lumotlar hech qanday strukturaga ega boʻlmagan tekis fayllarda saqlangan. Agar kompaniyalar mijozlar haqida batafsil tushunchaga ega boʻlishlari kerak boʻlsa, ular qandaydir qiymat yaratish uchun qoʻpol usullarni, shu jumladan juda batafsil dasturlash modellarini qoʻllashlari kerak edi. Keyinchalik, 1970-yillarda ma’lumotlar relyatsion model va ixtirolarni takomillashtirish uslubi va uslubini oʻrnatgan ma’lumotlar bazasini boshqarish tizimining (RDBMS) ixtiro qilinishi bilan oʻzgarishlar oʻzgardi. Eng muhimi, relyatsion model abstraktsiya darajasini (tuzilgan soʻrovlar tili [SQL], hisobot generatorlari va ma’lumotlarni boshqarish vositalari) qoʻshdi, shuning uchun dasturchilarga tobora ortib borayotgan biznes talablarini qondirish ma’lumotlardan qiymat olish uchun osonroq boʻldi.
Relyatsion model koʻplab rivojlanayotgan dasturiy ta’minot kompaniyalari vositalarining ekotizimini taklif qildi. Bu kompaniyalarga oʻz ma’lumotlarini yaxshiroq tartibga solish va tranzaktsiyalarni bir geografiyadan boshqasiga taqqoslash imkoniyatini berishga yordam berish uchun tobora ortib borayotgan ehtiyojni qondirdi. Bundan tashqari, bu inventarizatsiya kabi ma’lumotlarni oʻrganishni va qaror qabul qilish maqsadida mijozlarning buyurtma ma’lumotlari bilan taqqoslashni istagan biznes menejerlariga yordam berdi. Ammo bu talabga javoban muammo paydo boʻldi: oʻsib borayotgan ma’lumot hajmini saqlash qimmatga tushdi va ularga kirish sust edi. Vaziyatni yomonlashtiradigan boʻlsak, koʻplab ma’lumotlarning nusxalari mavjud edi va ushbu ma’lumotlarning haqiqiy biznes qiymatini oʻlchash qiyin edi.
Ushbu bosqichda relyatsion modelni qoʻllab-quvvatlash uchun yangi texnologiyalar toʻplamini topish zarurati yuzaga keldi. Entity-Relationship (ER) modeli paydo boʻldi, bu ma’lumotlarning qulayligini oshirish uchun qoʻshimcha abstraktsiyani qoʻshdi. Ushbu modelda har bir element ishlatilishidan mustaqil ravishda aniqlangan. Shuning uchun ishlab chiquvchilar murakkab dasturlashsiz ma’lumotlar manbalari oʻrtasida yangi aloqalar oʻrnatishi mumkin edi. Bu oʻsha paytda juda katta yutuq edi va bu ishlab chiquvchilarga texnologiyaning chegaralarini oshirishga va birlashish uchun murakkab texnikani talab qiladigan yanada murakkab modellarni yaratishga imkon berdi. Relyatsion ma’lumotlar bazalari bozori portladi va bugungi kunda ham faol boʻlib qolmoqda. Bu yuqori darajada tuzilgan ma’lumotlarning tranzaktsion ma’lumotlarini boshqarish uchun juda muhimdir.
Tashkilotlar boshqarishi kerak boʻlgan ma’lumotlar hajmi nazoratdan chiqib ketganda, ma’lumotlar ombori yechimini taqdim etdi. Ma’lumotlar ombori AT tashkilotiga saqlanadigan ma’lumotlarning bir qismini tanlashga imkon berdi, shunda biznes uchun tushuncha olishga harakat qilish osonroq boʻladi. Ma’lumotlar ombori kompaniyalarga ma’lumotlar hajmini kichikroq va biznesning ma’lum bir sohasiga yoʻnaltirilgan holda qisqartirish orqali tahlil qilish imkoniyatiga ega boʻlgan tobora koʻproq tuzilgan ma’lumotlar bilan shugʻullanishda yordam berishga moʻljallangan edi. Bu operatsion qarorlarni qoʻllab-quvvatlash jarayonini va qarorlarni qoʻllab-quvvatlashni ajratish zarurligini qondirdi natijalar uchun. Bundan tashqari, omborlarda tashkiliy faoliyatni tushunish, tendentsiyalarni aniqlash va xulq-atvor shakllarini oshkor qilishga yordam berish uchun koʻpincha oldingi yillar ma’lumotlari saqlanadi. Shuningdek, u tahlil qilish uchun ishlatilishi mumkin boʻlgan turli xil ma’lumot manbalarining yaxlit ma’lumot manbasini taqdim etdi. Ma’lumotlar omborlari 1990-yillarda tijoratlashtirildi va bugungi kunda ikkala kontentni boshqarish tizimlari va ma’lumotlar omborlari apparatning kengayishi, virtualizatsiya texnologiyalari va qurilmalar deb ham ataladigan yaxlit apparat va dasturiy ta’minot tizimlarini yaratish qobiliyatining yaxshilanishidan foydalanishga qodir.
Ba’zan ushbu ma’lumotlar omborlari oʻzlari juda murakkab va katta boʻlib, biznes talab qiladigan tezlik va tezkorlikni taklif qilmaydilar. Bunga javob, ma’lumotlar marshrutlari orqali boshqariladigan ma’lumotlarni yanada takomillashtirish edi. Ushbu ma’lumotlar marshrutlari biznesning muayyan masalalariga yoʻnaltirilgan boʻlib, biznesning tezkor soʻrovlarga boʻlgan ehtiyojini ancha ommaviy ma’lumotlar omborlariga qaraganda ancha soddalashtirilgan va qoʻllab-quvvatlagan. Ma’lumotlarni boshqarishning har qanday toʻlqini singari, ombor ham rivojlangan texnologiyalarni qoʻllab-quvvatlash uchun rivojlandi, masalan, integral tizimlar va ma’lumotlar qurilmalari.
Ma’lumotlar omborlari va ma’lumotlar bozori katta miqdordagi tranzaksiya ma’lumotlarini boshqarishning izchil usuliga muhtoj boʻlgan kompaniyalar uchun koʻplab muammolarni hal qildi. Ammo katta hajmdagi tuzilmagan yoki yarim tuzilgan ma’lumotlarni boshqarish haqida gap ketganda, ombor oʻzgaruvchan talablarga javob beradigan darajada rivojlana olmadi. Vaziyatni murakkablashtirish uchun ma’lumotlar omborlari, odatda, haftalik yoki har kuni partiyalar oraligʻida beriladi. Bu rejalashtirish, moliyaviy hisobot va an’anaviy marketing kampaniyalari uchun juda yaxshi, ammo tobora real vaqtda biznes va iste’molchilar uchun juda sekin.
Tuzilmaydigan ma’lumotlar elementlarining kengayib borayotgan hajmini boshqarish uchun kompaniyalar an’anaviy ma’lumotlarni boshqarish usullarini qanday oʻzgartira oladilar? Yechim bir kechada paydo boʻlmadi. Kompaniyalar tuzilmagan ma’lumotlarni saqlashni boshlaganlarida, sotuvchilar BLOB (ikkilik yirik ob’ektlar) kabi imkoniyatlarni qoʻshishni boshladilar. Aslini olganda, tuzilmaydigan ma’lumotlar elementi ma’lumotlarning bittasi sifatida aloqador ma’lumotlar bazasida saqlanadi. Ushbu ob’ekt etiketlanishi mumkin (ya’ni mijozning soʻrovi), lekin siz ushbu ob’ekt ichida nima borligini koʻrmadingiz. Shubhasiz, bu oʻzgaruvchan mijozlar yoki biznes ehtiyojlarini hal qila olmaydi.
Ob’ektlar bazasini boshqarish tizimini (ODBMS) kiriting. Ob’ekt ma’lumotlar bazasi BLOB-ni manzilga mos qismlar toʻplami sifatida saqladi, shunda u erda nima borligini koʻrishimiz mumkin edi. An’anaviy relyatsion ma’lumotlar bazasiga qoʻshilgan mustaqil birlik boʻlgan BLOBdan farqli oʻlaroq, ob’ekt ma’lumotlar bazasi tuzilmagan ma’lumotlar bilan ishlash uchun yagona yondashuvni taqdim etdi. Ob’ekt ma’lumotlar bazalari dasturlash tili va ma’lumotlar elementlari uchun tuzilmani oʻz ichiga oladi, shuning uchun dasturlashsiz va murakkab birikmalarsiz turli xil ma’lumotlar ob’ektlarini boshqarish osonroq boʻladi. Ob’ekt ma’lumotlar bazalari yangi darajadagi yangiliklarni joriy etdi, bu ma’lumotlarni boshqarishning ikkinchi toʻlqiniga olib keldi.