Big data tahlili

2-toʻlqin: Veb va kontentni boshqarish
Bugungi kunda dunyoda mavjud boʻlgan ma’lumotlarning aksariyati tuzilmasiz ekanligi sir emas. Paradoksal ravishda, kompaniyalar oʻzlarining investitsiyalarini daromadlar bilan chambarchas bogʻliq boʻlgan tuzilgan ma’lumotlar bilan yoʻnaltirdilar: biznes-tranzaktsion tizimlar. Korxona tarkibini boshqarish tizimlari 1980-yillarda rivojlanib, korxonalarga tuzilmagan ma’lumotlarni, asosan hujjatlarni yaxshiroq boshqarish imkoniyatini yaratdi. 1990 yillarning koʻtarilishi bilan Internet, tashkilotlar hujjatlar doirasidan tashqariga chiqib, veb-tarkib, rasmlar, audio va videofilmlarni saqlash va boshqarishni xohlashdi.
Bozor uzilib qolgan yechimlar toʻplamidan ushbu elementlarni biznes jarayonlarini boshqarish, versiyalarni boshqarish, axborotni tanib olish, matnlarni boshqarish va hamkorlikni oʻz ichiga olgan platformaga birlashtirgan yanada yaxlit modelga aylandi. Ushbu yangi avlod tizimlari metama’lumotlarni qoʻshdilar (saqlangan ma’lumotlarning tashkil etilishi va xususiyatlari haqida ma’lumot). Ushbu yechimlar ushbu ma’lumotlarning barchasini mantiqiy ravishda boshqarishga muhtoj boʻlgan kompaniyalar uchun nihoyatda muhim boʻlib qolmoqda. Ammo shu bilan birga, bizni keyingi toʻlqinga olib boradigan yangi avlod talablari paydo boʻla boshladi. Ushbu yangi talablarga, asosan, veb, virtualizatsiya va bulutli hisoblash kabi omillarning yaqinlashuvi sabab boʻldi. Ushbu yangi toʻlqinda tashkilotlar misli koʻrilmagan tezlikda qayta ishlanishi kerak boʻlgan ma’lumotlar manbalarining yangi avlodini misli koʻrilmagan darajada va xilma-xilligi bilan boshqarish kerakligini anglay boshladilar.
3-toʻlqin: Katta ma’lumotlarni boshqarish
Katta ma’lumotlar haqiqatan ham yangi yoki bu ma’lumotlarni boshqarish sayohatidagi evolyutsiyami? Javob ijobiy - bu ikkalasi ham. Ma’lumotlarni boshqarishda boshqa toʻlqinlar singari, katta ma’lumotlar ham soʻnggi besh oʻn yillikda ma’lumotlarni boshqarish amaliyoti evolyutsiyasi asosida qurilgan. Yangilik shundaki, birinchi marta hisoblash tsikllari va saqlash narxi eng yuqori darajaga yetdi. Bu nima uchun muhim? Faqat bir necha yil oldin, tashkilotlar odatda oniy tasvirlarni yoki muhim ma’lumotlarning pastki qismlarini saqlash bilan murosaga kelishadi, chunki saqlash va qayta ishlashga sarflanadigan xarajatlar tahlil qilishni istagan hamma narsani saqlashga taqiq qoʻydi.
Koʻp holatlarda bu murosa yaxshi natija berdi. Masalan, ishlab chiqaruvchi kompaniya tizimlarning sogʻligʻini aniqlash uchun har ikki daqiqada bir marta mashina ma’lumotlarini toʻplagan boʻlishi mumkin. Biroq, rasmda yangi turdagi nuqsonlar haqida ma’lumot boʻlmasligi va bir necha oy davomida sezilmasdan qolishi mumkin boʻlgan holatlar boʻlishi mumkin.
Katta ma’lumotlarga ega boʻlgan holda, endi ma’lumotlarni virtualizatsiya qilish mumkin, shunda ular samarali tarzda saqlanishi mumkin va bulutga asoslangan xotiradan foydalanib, iqtisodiy jihatdan ham samaraliroq boʻladi. Bundan tashqari, tarmoq tezligi va ishonchliligining yaxshilanishi katta miqdordagi ma’lumotlarni maqbul darajada boshqarish imkoniyatiga ega boʻlishning boshqa jismoniy cheklovlarini olib tashladi. Bunga narxlarning oʻzgarishi va kompyuter xotirasining nafliligini qoʻshib qoʻying. Ushbu barcha texnologik oʻtishlar bilan endi kompaniyalar faqat besh yil oldin aqlga sigʻmaydigan ma’lumotlarni ishlatishi mumkin boʻlgan usullarni tasavvur qilish mumkin.
Ammo hech qanday texnologiya oʻtishi yakka holda boʻlmaydi; bu texnologiyaning mavjudligi va etukligi bilan qondirilishi mumkin boʻlgan muhim ehtiyoj mavjud boʻlganda sodir boʻladi. Virtualizatsiya, parallel ishlov berish, tarqatilgan fayl tizimlari va xotiradagi ma’lumotlar bazalari kabi katta ma’lumotlarning asosida joylashgan koʻplab texnologiyalar oʻnlab yillar davomida mavjud edi. Ilgʻor tahlillar ham oʻnlab yillar davomida mavjud boʻlib, ular har doim ham amaliy boʻlmagan. Hadoop va MapReduce kabi boshqa texnologiyalar sahnada bir necha yil davomida mavjud. Texnologiya yutuqlarining ushbu kombinatsiyasi endi muhim biznes muammolarini hal qilishi mumkin. Korxonalar har xil ma’lumotlardan kerakli tezlikda tushunchalar va amaliy natijalarga erishishni xohlashadi qancha ma’lumot jalb qilinmasin.
Agar kompaniyalar petabayt ma’lumotlarini (matnli fayllar bilan toʻldirilgan toʻrt millionli toʻrtta tortma fayllar shkafiga yoki 13,3 yillik HDTV tarkibiga teng) maqbul ishlash koʻrsatkichlari bilan naqsh va anomaliyalarni tahlil qila olsalar, korxonalar ma’lumotlarni yangi usullar bilan tushunishni boshlashlari mumkin. Katta ma’lumotlarga oʻtish nafaqat biznes bilan bogʻliq. Ilm-fan, tadqiqotlar va hukumat faoliyati ham uni oldinga siljishga yordam berdi. Odam genomini tahlil qilish yoki rasadxonalarda toʻplangan barcha astronomik ma’lumotlar bilan shugʻullanish haqida oʻylab koʻring, atrofimizdagi dunyoni tushunishimizga yordam bering. Hukumat aksilterror faoliyatida ham yigʻadigan ma’lumotlarning miqdorini koʻrib chiqing va siz katta ma’lumotlar faqat biznes bilan bogʻliq emas degan fikrga kelasiz.
Ma’lumotlar bilan ishlashga turli xil yondashuvlar harakatdagi ma’lumotlar yoki dam olish holatidagi ma’lumotlarga asoslangan holda mavjud. Mana har birining tezkor namunasi. Harakatdagi ma’lumotlar, agar kompaniya qimmatbaho xatolarga yoʻl qoʻymaslik uchun ishlab chiqarish jarayonida mahsulot sifatini tahlil qila olsa, foydalaniladi. Dam olish holatidagi ma’lumotlar biznes-tahlilchi tomonidan xaridorlar munosabatlarining barcha jabhalariga, shu jumladan sotuvlar, ijtimoiy tarmoqlar ma’lumotlari va mijozlarga xizmat koʻrsatish shovqinlariga asoslangan mijozlarning amaldagi sotib olish tartibini yaxshiroq tushunish uchun foydalaniladi.
Shuni yodda tutingki, biz biznesni 360 daraja koʻrinishini olish va mijozlar kutishidagi siljishlar va oʻzgarishlarni taxmin qilish uchun katta hajmdagi ma’lumotlardan foydalanishning dastlabki bosqichidamiz. Biznesga kerakli javoblarni olish uchun zarur boʻlgan texnologiyalar hanuzgacha bir-biridan ajratilgan. Istalgan soʻnggi holatga erishish uchun uchta toʻlqinning texnologiyalari birlashtirilishi kerak. Ushbu kitobni oʻqiyotganingizda koʻrasizki, katta ma’lumotlar shunchaki bitta vosita yoki bitta texnologiya haqida emas. Gap shundaki, ushbu texnologiyalarning barchasi odamlar, mashinalar yoki Internet tomonidan yaratilgan boʻladimi-yoʻqligiga, kerakli ma’lumotlarga asoslanib, kerakli vaqtda kerakli tushunchalarni berish uchun qanday birlashadi.

Katta ma’lumotlarni aniqlash

Katta ma’lumotlar - bu bitta texnologiya emas, balki kompaniyalarga amaliy tushuncha olishga yordam beradigan eski va yangi texnologiyalarning kombinatsiyasi. Shuning uchun katta ma’lumotlar - bu turli xil ma’lumotlarning kerakli hajmini, kerakli tezlikda va real vaqt rejimida tahlil qilish va reaksiya berish uchun kerakli vaqt ichida boshqarish imkoniyatidir. Ushbu bobda ilgari ta’kidlaganimizdek, katta ma’lumotlar odatda uchta xususiyat boʻyicha taqsimlanadi:

• 
  Hajmi: qancha ma’lumot;
  
• 
  Tezlik: bu ma’lumotlar qanchalik tez qayta ishlanadi;
  
• 
  Xilma-xillik: har xil turdagi ma’lumotlar.
  

Uchta V-da katta ma’lumotlarni soddalashtirish qulay boʻlsa-da, bu notoʻgʻri va oʻta soddalashtirishi mumkin. Masalan, siz juda oz miqdordagi juda xilma-xil, murakkab ma’lumotlarni boshqarishingiz yoki juda katta hajmdagi juda oddiy ma’lumotlarni qayta ishlashingiz mumkin. Ushbu oddiy ma’lumotlar barchasi tuzilgan yoki barchasi tuzilmagan boʻlishi mumkin. Bundan ham muhimroq toʻrtinchi V: aniqlik. Ushbu ma’lumotlar biznes qiymatini taxmin qilishda qanchalik toʻgʻri? Katta ma’lumotni tahlil qilish natijalari haqiqatan ham mantiqiymi?
Sizga qoʻyilgan vazifani kamsitmasligingiz juda muhimdir. Ma’lumotlar aniqlik va kontekst asosida tekshirilishi kerak. Innovatsion biznes ushbu mijozning qiymatini va ushbu mijozga qoʻshimcha takliflarni taqdim etish imkoniyatini tezda baholash uchun real vaqtda katta hajmdagi ma’lumotlarni tahlil qilishni xohlashi mumkin. Biznes natijalariga ta’sir qilish uchun tahlil qilinadigan ma’lumotlarning toʻgʻri miqdori va turlarini aniqlash kerak. Katta ma’lumotlar barcha ma’lumotlarni, shu jumladan tuzilgan ma’lumotlar va elektron pochtadan, ijtimoiy tarmoqlardan, matnli oqimlardan va boshqa narsalardan tuzilmaydigan ma’lumotlarni oʻz ichiga oladi. Ushbu turdagi ma’lumotlarni boshqarish kompaniyalardan oʻzlarining tuzilgan va tuzilmagan ma’lumotlaridan foydalanishni talab qiladi.

Katta ma’lumotlarni boshqarish arxitekturasini yaratish

Biz tashkilot ma’lum bir loyiha ehtiyojini qondirish uchun ma’lumotlar bazasini amalga oshirishi mumkin boʻlgan davrdan koʻchib oʻtdik. Ma’lumotlar oʻsish va innovatsiyalarning yoqilgʻisiga aylanganligi sababli, oʻsib borayotgan talablarni qoʻllab-quvvatlash uchun asosiy arxitekturaga ega boʻlish har qachongidan ham muhimroqdir.