Ma’lumotlar bazalari va katta hajmdagi ma’lumotlar bilan ishlash texnologiyalari Reja

BIG DATA ga bo'lgan qiziqish Google Trends da aniq ko'rinadi (10.3-rasm).

10.3-rasm. Google Trendsda katta big data qidiruv natijalari⁴.
Raqamli biznes gigantlari - Microsoft, IBM, Oracle, EMC va boshqalar - yangi yo'nalishni rivojlantirishga qo'shilishdi. 2014-yildan buyon big data universitetlarda o'rganilib, amaliy fanlar - muhandislik, fizika, sotsiologiyada qo’llanilmoqda.
Vikipediya, 2018 yil o'rtalarida, Big Data atamasiga quyidagi ta'rifni berdi:
Big Data — 2000-yillarning oxirida paydo bo'lgan va an'anaviy ma'lumotlar bazalarini boshqarish tizimlari va Business Intelligence turkumining yechimlariga muqobil bo'lgan gorizontal ravishda kengaytiriladigan dasturiy vositalar tomonidan samarali qayta ishlangan, katta hajmdagi tizim
Ko'rib turganingizdek, ushbu ta'rifda "ulkan", "muhim", "samarali" va "muqobil" kabi atamalar mavjud. Hatto nomining o'zi ham juda sub'ektivdir. Masalan, 4 Terabayt (zamonaviy noutbukning tashqi qattiq diski hajmi) katta ma'lumotmi yoki yo'qmi?
IBS kompaniyasi tahlilchilari "butun dunyo ma'lumotlar hajmini" quyidagicha baholadilar:
2003-yil. — 5 eksabayt ma’lumot (1 EB = 1 mlrd gigabayt)
2008-yil. — 0,18 zettabayt ma’lumot (1 ZB = 1024 eksabayt)
2015-yil. — более 6,5 zettabaytdan ortiq
2020-yil. — 40–44 zettabayt (bashorat)
2025-yil. — bu ko’rsatgich yana 10 barobarga oshadi.
Hisobotda ma'lumotlarning aksariyati iste'molchilar tomonidan emas, balki korxonalar tomonidan ishlab chiqarilishi ta’kidlanadi⁵.
Siz jurnalist va marketologlar fikriga to'liq mos keluvchi oddiyroq ta'rifdan foydalanishingiz mumkin.
BIG DATA— bu uchta operatsiyani bajarishga mo'ljallangan texnologiyalar to'plami:

1. 
   "Standart"ssenariyga nisbatan katta hajmdagi ma'lumotlarni qayta ishlash.
   
2. 
   Juda katta hajmdagi tez keladigan ma'lumotlar bilan ishlashni o'rganish.
   
3. 
   Tartiblangan va tartiblanmagan ma’lumotlar bilan parallel va turli mezonlarga ko’ra ishlay olish⁶.
   

Ushbu "ko'nikmalar" insonning cheklangan idrokidan chetda qolgan yashirin narsalarni ochib berishga imkon beradi deb ishoniladi. Bu bizning hayotimizning ko'plab sohalarini: hukumat, tibbiyot, telekommunikatsiya, moliya, transport, ishlab chiqarish va boshqalarni optimallashtirish uchun misli ko'rilmagan imkoniyatlarni beradi. Jurnalistlar va marketologlar Big Data iborasini shu qadar tez-tez ishlatib kelganliklari sababli, ko'plab mutaxassislar ushbu atamani noaktual deb hisoblashadi va undan voz kechishni taklif qilishadi⁷.
Katta ma'lumotlarni aniqlovchi xususiyatlari sifatida, ularning fizik hajmidan tashqari va uni tahlil qilish murakkabligi ham sanab o’tiladi. VVV xususiyatlar to'plami (volume, velocity, variety — jismoniy hajm, ma'lumotlarning o'sish tezligi va ularni tezkor qayta ishlashga bo'lgan ehtiyoj, bir vaqtning o'zida har xil turdagi ma'lumotlarni qayta ishlash qobiliyati) Meta
Group tomonidan 2000-yilda barcha uch yo’nalish bo'yicha ma'lumotlarni boshqarishning teng ahamiyatini ta'kidlash uchun ishlab chiqilgan.

1. 
   Hajm (Volume) – ma'lumotlar miqdori va raqamli muhitda egallagan o’rni bilan o'lchanadi. "BIG" turkumiga kuniga 150 Gb dan ortiq massivlar kiradi.
   
2. 
   Yangilanish tezligi (Velocity) – ma'lumotlar muntazam ravishda yangilanadi va real vaqtda qayta ishlash uchun aqlli katta ma'lumot texnologiyalari zarur.
   
3. 
   Xilma-xillik (Variety) – massivlardagi ma'lumotlar turli formatga ega bo'lishi mumkin bo’lib, qisman, to'liq va tartibsiz to'planishi mumkin⁸.
   

Masalan, ijtimoiy tarmoqlarda katta ma'lumotlar, matn, video, audio, moliyaviy tranzaksiyalar, rasmlar va boshqalar qo'llaniladi.
Zamonaviy tizimlarda ikkita qo'shimcha omil ko'rib chiqiladi:

1. 
   O’zgaruvchanlik (Variability) – ma'lumot oqimlari ko’tarilish va pasayish, mavsumiylik, davriylik omiliga ega bo'lishi mumkin. Tartyibsiz axborotni boshqarish qiyin va ularni qayta ishlash uchun kuchli texnologiyalarini talab qilinadi.
   
2. 
   Ma'lumotlar qiymati (Value) – axborotni idrok etish va qayta ishlash jarayonida turli xil murakkabliklar bo'lishi mumkin. Bu esa intellektual tizimlar ishini murakkablashtiradi. Masalan, ijtimoiy tarmoqlardan keladigan xabarlar massivi - bu ma'lumotlarning bir darajasi, tranzaksiya operatsiyalari boshqasi. Mashinalarning vazifasi - tezkor tartiblash uchun kiruvchi ma'lumotlarning muhimlik darajasini aniqlash.
   

Katta ma'lumotlar texnologiyasining ishlash tamoyili foydalanuvchini har qanday ob'ekt yoki hodisa to'g'risida maksimal darajada xabardor qilishga asoslanadi. Ma'lumotlar bilan tanishishning maqsadi to'g'ri qaror qabul qilish uchun ijobiy va salbiy tomonlarni ko’rib chiqishga yordam berishdir. Aqlli mashinalarda bir qator ma'lumotlar asosida kelajak modeli quriladi, so'ngra turli xil variantlar simulyatsiya qilinadi va natijalar kuzatiladi.
Zamonaviy analitik agentliklar g'oyani, taxminni yoki muammoni hal etishda millionlab shunga o’xshash simulyatsiyalarni qo’llaydilar. Jarayon avtomatlashtirilgan.
Katta ma'lumot manbalariga quyidagilar kiradi:

• 
  Internet bloglar, ijtimoiy tarmoqlar, saytlar, OAV va turli forumlar;
  
• 
  Arxiv, tranzaksiyalar, ma’lumotlar bazasi;
  
• 
  o'qish moslamalari - meteorologik qurilmalar, uyali aloqa dachchiklari va boshqalar.
  

Yuqoridagi ta'riflarga asoslanib, katta ma'lumotlar bilan ishlashning asosiy tamoyillari quyidagilar:

1.