Matematika-informatika akulteti axborot texnologiyalari kafedrasi big data va ma

I BOB. BIG DATA VA MA`LUMOTLAR TAHLILINING ASOSIY TUSHUNCHALARI

1. 
   Big data haqida tushuncha
   

Big data ya`ni – “Katta ma'lumotlar” umumiy atamasi ma'lumotlarni qayta ishlashning an'anaviy vositalari (masalan, RDBMS - relyatsion ma'lumotlar bazasini boshqarish tizimlari) tomonidan qayta ishlanishi uchun etarlicha katta va murakkab bo'lgan har qanday ma'lumotlar to'plami hisoblanadi. Bugunda keng tarqalgan relyatsion ma'lumotlar bazasini boshqarish tizimlari uzoq vaqt mobaynida universal vosita hisoblangan. Ammo katta ma'lumotlarni qayta ishlashga bo'lgan talab esa buni aksini ko'rsatmoqda, ya`ni relyatsion ma'lumotlar bazasini boshqarish tizimlari ayni vaqtda katta hajimli ma`lumotlarni boshqarishda yetarli imkoniyatlarni bermaydi.
Katta ma'lumotlar (inglizcha big data, [ˈbɪɡ ˈdeɪtə]) - bu 2000-yillarning oxirida paydo bo'lgan va an'anaviy ma'lumotlar bazasini boshqarish tizimlari hamda biznesga muqobil bo'lgan gorizontal ravishda kengaytiriladigan dasturiy vositalar tomonidan katta hajmli va xilma-xillikdagi tuzilgan va tuzilmagan ma'lumotlarning samarali qayta ishlanadigan va Business Intelligence sinfiga kiruvchi ma`lumotlar to`plamidir.
Katta ma`lumotlarni xususiyatlarini 3 ta V xarifi bilan ifodalash mumkin. Ya`ni Volume, Velocity, Variety. Birinchi V-hajm, ikkinchi V-tezlik, uchinchi V-xilma-xillik. Big Data birinchi navbatda hajmga bog`liq. Xozirda ma'lumotlar hajmi eksponent ravishda o'sib bormoqda: masalan, samolyotlar dvigatellariga o'rnatilgan sensor datchiklari orqali har yili 2,5 milliard TB ma'lumot generatsiya qilinadi. Shu bilan birga, ma'lumotlar doimiy ravishda yangilanadi, yangilari hosil bo'ladi va ularni "katta" deb hisoblash uchun yangilanish tezligi ham muhimdir. Misol uchun, dunyo bo'ylab har daqiqada Google qidiruv tizimiga deyarli 2,5 million so'rov yuboriladi. Katta ma'lumotlar loyihalari uchun qiyinchilik - bu ma'lumotlarning yaratilish tezligini yengish va ularni real vaqtda tahlil qilishdir.
Xilma-xillik shuni anglatadiki, Big Data loyihalari turli formatlardagi ma'lumotlarni o'z ichiga olishi kerak: tuzilgan va tuzilmagan ma'lumotlar, matn, grafikalar, korporativ pochta yoki ijtimoiy media ma'lumotlari, video va boshqa ko`rinishdagi ma`lumotlar bo`lishi mumkin. Ushbu turdagi ma'lumotlarning har biri har xil turdagi tahlillarni va tegishli vositalarni talab qiladi. Ijtimoiy media brend egalariga mijozlarning kayfiyatini tahlil qilishda yordam berishi mumkin va sensorli ma'lumotlar mahsulotning uni yaxshilash uchun ushbu bilimlarni qo'llash uchun eng ko'p ishlatilishi haqida ma'lumot berishi mumkin. Big Data ni aynan mazkur 3 ta asosiy xususiyati bilan ifodalash lozim:

• 
  Hajm – Volume – to`plamda qancha ma`lumot mavjudligi;
  
• 
  Tezlik –Velocity – yangi ma`lumotlar qanday tezlikda generatsiya bo`lishi;
  
• 
  Xilma-xillik –Variety – ma`lumotlarni tipi bir-biridan qanchaga farq qilishi.
  

Demak bundan shuni tushunish mumkinki Big Data texnologiyalarining mohiyati ulkan ma'lumotlar massivlari bilan ishlashini bildiradi (bu Big Data atamasining o'zidan kelib chiqadi). Big Data da ma'lumotlar miqdori asosiy tushuncha, biroq tahlilchilar Big Data ni to`liq formulasini ishlab chiqdilar. Unga ko`ra ettita muhim xususiyat, "7 V" Big Data loyihasining ta'rifida paydo bo'lishi kerak, deb hisoblashadi: hajm, tezlik, xilma-xillik, haqiqat, o'zgaruvchanlik, vizualizatsiya, qiymat. Har bir "V" Big Data ni umumiy tushunish uchun muhimdir.
Ma'lumotlar fanining kontseptsiyasi katta hajmdagi ma'lumotlarni tahlil qilish va ulardagi ma'lumotlarni olish usullaridan foydalanishni o'z ichiga oladi. Katta ma'lumotlar va ma'lumotlar fanlari o'rtasidagi munosabatlar xom neft va neftni qayta ishlash zavodi o'rtasidagi kabidir. Ma'lumotlar fani va katta ma'lumotlar statistika va an'anaviy ma'lumotlarni boshqarishdan rivojlangan, ammo hozir alohida fanlar hisoblanadi.