Big data tahlili

Nazorat savollari:

1. 
   Ma’lumotlarni boshqarish evolyutsiyasiga katta ma’lumotlar qanday olib kelinadi?
   
2. 
   Katta ma’lumotlar nechta xususiyat boʻyicha taqsimlanadi ?
   
3. 
   Boshqariladigan ma’lumotlar strukturalarini yaratilish tarixi haqida ma’lumot bering?
   
4. 
   Ma’lumotlar omborlari nechanchi yillarda tijoratlashtirildi va ma’lumotlar omborlari apparatning kengaytirildi.
   
5. 
   Ob’ekt ma’lumotlar bazasini qaysi manzilga mos qismlar toʻplami sifatida saqladi?
   
6. 
   Ob’ekt ma’lumotlar bazalari dasturlash tili va ma’lumotlar elementlari uchun nimalarni oʻz ichiga oladi?
   
7. 
   Veb va kontentni boshqarish deganda nimani tushinasiz?
   
8. 
   Katta ma’umotlarni boshqarish sikli qanday boʻladi?
   
9. 
   Operatsion ma’lumotlar manbalari umumiy xususiyatlari haqida ma’lumot bering?
   
10. 
    Hadoop haqida ma’lumot bering?
    
11. 
    Katta ma’lumotlar dasturlarining umumiy jihatlari nimada?
    

2-BOB.

KATTA MA’LUMOTLAR TURLARI

Ushbu bobda:

• 
  Strukturalangan va strukturalanmagan ma’lumotlar;
  
• 
  Ma’lumot turlari uchun real va real boʻlmagan vaqt talablari;
  
• 
  Ma’lumot turlarini katta ma’lumotlar muhitiga birlashtirish.
  

Turli xillik hayot ziravoridir, xilma-xillik katta ma’lumotlarning tamoyillaridan biridir. 1-bobda biz har xil ma’lumotlar turlarini boshqarish imkoniyatiga ega boʻlishning muhimligini muhokama qilamiz. Shubhasiz, katta ma’lumotlar dollar operatsiyalaridan tortib, tvitlarga, rasmlarga, audioga qadar hamma narsani oʻz ichiga oladi. Shuning uchun katta ma’lumotlardan foydalanish ushbu ma’lumotlarning barchasi tahlil qilish va ma’lumotlarni boshqarish uchun birlashtirilishini talab qiladi. Ushbu turdagi mashgʻulotlar bilan shugʻullanish qiyinroq. Ushbu bobda biz katta ma’lumotni tashkil etadigan ikkita asosiy ma’lumotlarni koʻrib chiqamiz tuzilgan va tuzilmasiz va har birining ta’riflari va misollarini sizga taqdim etamiz.
Ma’lumotlarni boshqarish uzoq vaqtdan beri mavjud boʻlsa-da, katta ma’lumotlar dunyosida ikkita omil yangi:

• 
  Ba’zi katta ma’lumotlar manbalari aslida sensorlar, smartfon va planshetlardan olingan ma’lumotlar kabi yangi.
  
• 
  Ilgari ishlab chiqarilgan ma’lumotlar saqlanmagan yoki saqlanmagan va foydalanishga yaroqli tarzda tahlil qilinmagan. Buning asosiy sababi shundaki, buning uchun texnologiya mavjud emas edi. Boshqacha qilib aytganda, bizda ushbu ma’lumotlarning barchasi bilan ishlashning iqtisodiy jihatdan samarali usuli yoʻq edi.
  

Muammolarni hal qilish uchun sizda katta ma’lumotlarni joylashtirishning turli xil usullari mavjud. Masalan, ba’zi holatlarda, siz trafik ma’lumotlarini kuzatayotganda, masalan, real vaqt rejimida ma’lumotlar bilan ishlashni xohlaysiz. Boshqa holatlarda, masalan, shubhali naqshni aniqlash uchun ommaviy rejimda tahlil qilmoqchi boʻlgan katta miqdordagi ma’lumotlarni toʻplash kabi ma’lumotlarni real vaqtda boshqarish kerak boʻlmaydi. Xuddi shunday, ba’zida siz katta ma’lumot yechimining bir qismi sifatida bir nechta ma’lumot manbalarini birlashtirishingiz kerak boʻladi, shuning uchun nima uchun ma’lumotlar manbalarini birlashtirishni xohlashingiz mumkinligini koʻrib chiqamiz. Xulosa shuki, siz oʻzingizning tuzilgan va tuzilmagan ma’lumotlaringiz bilan nima qilishni xohlasangiz, siz amalga oshiradigan texnologik xaridlarni xabardor qiladi.

Strukturalangan ma’lumotlar

Strukturalangan ma’lumotlar atamasi odatda belgilangan uzunlik va formatga ega boʻlgan ma’lumotlarni anglatadi. Strukturalangan ma’lumotlarga qatorlar, sanalar va qatorlar deb nomlangan soʻzlar va raqamlar guruhlari kiradi (masalan, mijozning ismi, manzili va boshqalar). Aksariyat mutaxassislarning fikriga koʻra, ushbu turdagi ma’lumotlar u erda mavjud boʻlgan ma’lumotlarning taxminan 20 foizini tashkil qiladi. Strukturalangan ma’lumotlar, ehtimol siz ishlashga odatlangan ma’lumotlar boʻlishi mumkin. Ular odatda ma’lumotlar bazasida saqlanadi. Soʻrovni strukturalangan soʻrov tili (SQL) kabi til yordamida yaratishingiz mumkin, bu haqda biz keyinchalik “Strukturalanmagan ma’lumotlar” boʻlimida koʻrib qilamiz.
Sizning kompaniyangiz allaqachon “an’anaviy” manbalardan strukturalangan ma’lumotlarni toʻplashi mumkin. Bularga mijozlar bilan aloqalarni boshqarish (CRM) ma’lumotlari, operatsion korporativ resurslarni rejalashtirish (ERP) ma’lumotlari va moliyaviy ma’lumotlar kiradi. Koʻpincha ushbu ma’lumotlar elementlari tahlil qilish uchun ma’lumotlar omboriga birlashtiriladi.
Katta strukturalangan ma’lumotlar manbalarini oʻrganish garchi bu odatdagidek ish boʻlib tuyulishi mumkin boʻlsa-da, aslida katta ma’lumotlar dunyosida strukturalangan ma’lumotlar yangi rol oʻynamoqda. Texnologiya evolyutsiyasi koʻpincha real vaqtda va katta hajmlarda yaratilgan strukturalangan ma’lumotlarning yangi manbalari bilan taʻminlaydi. Ma’lumot manbalari ikki toifaga boʻlinadi:

• 
  Kompyuter yoki mashina yaratgan: Mashina yaratgan ma’lumotlar, odatda, inson aralashuvisiz mashina tomonidan yaratilgan ma’lumotlarga tegishlidir.
  
• 
  Inson tomonidan ishlab chiqarilgan: bu odamlar kompyuterlar bilan oʻzaro aloqada boʻlgan ma’lumotdir.
  

Ba’zi ekspertlar mashinalar va insonlar oʻrtasidagi gibrid boʻlgan uchinchi toifaning mavjudligini ta'kidlaydilar. Bunda, bizni birinchi ikkita toifa qiziqtiradi.
Mashina yaratgan struturalangan ma’lumotlar quyidagilarni oʻz ichiga olishi mumkin:

• 
  Sensor ma’lumotlar: Masalan, radiochastota identifikatori (RFID) yorliqlari, aqlli hisoblagichlar, tibbiy asboblar va Global Pozitsion Tizim (GPS) ma’lumotlari. Masalan, RFID tez ommabop texnologiyaga aylanib bormoqda. U masofadagi narsalarni kuzatish uchun kichik kompyuter chiplaridan foydalanadi. Bunga misol sifatida mahsulot konteynerlarini bir joydan boshqasiga kuzatib borish mumkin. Qabul qiluvchidan ma’lumot uzatilganda, u serverga oʻtishi va keyin tahlil qilinishi mumkin. Kompaniyalar bunga ta’minot zanjiri boshqaruvi va zaxiralarni nazorat qilish bilan qiziqishadi. Sensor ma’lumotlarga yana bir misol xaridorlarning xatti-harakatlarini yangi usullar bilan tushunish uchun ishlatilishi mumkin boʻlgan GPS kabi sensorlarni oʻz ichiga olgan smartfonlar.
  
• 
  Veb-log ma’lumotlar: Serverlar, dasturlar, tarmoqlar va boshqalar ishlayotganda, ular oʻzlarining faoliyatlari toʻgʻrisida barcha ma’lumotlarni toʻplashadi. Bu, masalan, xizmat koʻrsatish darajasidagi kelishuvlar bilan shugʻullanish yoki xavfsizlik buzilishini taxmin qilish uchun foydali boʻlishi mumkin boʻlgan katta hajmdagi ma’lumotlarni tashkil qilishi mumkin.
  
• 
  Savdo nuqtasi ma’lumotlari: hisobchi siz sotib olayotgan biror mahsulotning shtrix-kodini skanerlaganda, mahsulot bilan bogʻliq barcha ma’lumotlar hosil boʻladi. Endi mahsulotlarni sotib olgan barcha odamlarni tasavvur qilayli, bunda ushbu ma’lumotlar toʻplamining qanchalik katta ekanligini tushunish mumkin.
  
• 
  Moliyaviy ma’lumotlar: Hozirda koʻplab moliyaviy tizimlar dasturiy ta’minot hisoblanadi; ular jarayonlarni avtomatlashtiradigan oldindan belgilangan qoidalar asosida ishlaydi. Birja savdo ma’lumotlari bunga yaxshi misoldir. Unda kompaniya belgisi va dollar miqdori kabi strukturalangan ma’lumotlar mavjud. Ushbu ma’lumotlarning bir qismi mashinada, ba’zilari esa inson tomonidan ishlab chiqariladi.
  

Inson tomonidan yaratilgan strukturalangan ma’lumotlar quyidagilarni oʻz ichiga olishi mumkin:

• 
  Kirish ma’lumotlari: bu inson kompyuterga kiritishi mumkin boʻlgan har qanday ma’lumotlar, masalan, ism, yosh, daromad, soʻrovnoma javoblari va boshqalar. Ushbu ma’lumotlar mijozlarning xarakterini tushunish uchun muhim boʻlishi mumkin.
  
• 
  Klik-potok ma’lumotlari: ma’lumotlar har safar veb-saytdagi havolani bosganingizda hosil boʻladi. Ushbu ma’lumotlar mijozlarning xulq-atvori va sotib olish tartibini aniqlash uchun tahlil qilinishi mumkin.
  
• 
  Oʻyin bilan bogʻliq ma’lumotlar: Oʻyinda qilgan har bir harakatingiz yozib olinishi mumkin. Bu oxirgi foydalanuvchilar oʻyin portfeli orqali qanday harakat qilishini tushunishda foydali boʻlishi mumkin.
  

Ushbu ma’lumotlarning ba’zilari unchalik katta hajmga ega boʻlmasligi mumkin, masalan, profil ma’lumotlari. Shu bilan birga, millionlab foydalanuvchilarnig bir xildagi ma’lumotlarni taqdim etishi, ularning hajmi juda katta boʻladi. Bundan tashqari, ushbu ma’lumotlarning aksariyati natijalarni bashorat qilish imkoniyatiga ega modellarni tushunish uchun foydali boʻlishi mumkin boʻlgan real vaqt tarkibiy qismiga ega. Bunday ma’lumot ishonchli boʻlishi va koʻp maqsadlarda ishlatilishi mumkin.