Modul nomi: Katta ma’lumotlar tahliliga kirish (kirish kursi) Kurs haqida

Ma'lumotlar - bu faktlar va g'oyalarning ma'lum bir axborot jarayonida uzatish va qayta ishlash uchun mos bo'lgan rasmiylashtirilgan shakldagi ifodasidir .


Ma'lumotlarning o'zi ma'lumot manbai bo'lishi mumkin. Ma'lumotlardan olingan ma'lumotlar qayta ishlanishi mumkin va qayta ishlash natijalari yangi ma'lumotlar shaklida qayd etiladi .


Ko'rib chiqilayotgan mavzu sohasidagi ob'ektlarning holatini va ularning munosabatlarini aks ettiruvchi nomlangan ma'lumotlar to'plami ma'lumotlar bazasi (MB ) deb ataladi. Ma'lumotlar bazasi boshqaruv va avtomatlashtirishni tashkil qilish uchun ishlatiladi, masalan, korxonalar, universitetlar va boshqalar.
Ma'lumotlar bazasini boshqarish uchun ma'lumotlar bazasini yaratish, to'ldirish, yangilash va o'chirish uchun til va dasturiy vositalar ishlab chiqilgan .


Qadim zamonlardan beri odamlar o'zlarida mavjud bo'lgan ma'lumotlarni (qoya yozuvlari, suyaklar va qayin po'stlog'idagi yozuvlar, yog'och ustunlar) saqlab qolishga va ulardan foydalanishga harakat qilganlar. Biroq, yozishning rivojlanishi bilan, atrofdagi dunyo tajribasi va voqealarini yozib olish qobiliyati to'plangan ma'lumotlar miqdorini sezilarli darajada oshirdi.


Yozuvning eng qadimgi shakli miloddan avvalgi 3200-yillarda Mesopotamiyada rivojlangan. e. va biznes maqsadlarida foydalaniladi. Buxgalteriya hisobi tranzaksiya deb ataladigan ma'lumotlarni - mahsulotni sotish, schyot-fakturani rasmiylashtirish, etkazib berish, kredit karta to'lovi, sug'urta da'volari va boshqalar kabi voqealar haqida ma'lumotni oladi.


Demografiya kabi tranzaksiyaviy bo'lmagan ma'lumotlar ham uzoq tarixga ega. Birinchi ma'lum bo'lgan aholini ro'yxatga olish qadimgi Misrda miloddan avvalgi 3000 yillarda bo'lib o'tgan . e. Qadimgi hukmdorlar katta hajmdagi ma'lumotlarni yig'ish loyihalariga ko'p kuch va resurslarni sarflashlari sababi , ular soliqlarni oshirish va armiyani ko'paytirish kerak edi.

• 
  17-asrning o'rtalarida etarli miqdordagi ma'lumotlarning to'planishi mavjud ma'lumotlarni jiddiy tahlil qilishni boshlash zarurligiga olib keldi .
  

19-asrda olingan ma'lumotlarni hisoblashda muammo yuzaga keldi . Qo'shma Shtatlardagi mutaxassislar buni 1880 yilda aholini ro'yxatga olish paytida uchratishgan: o'sha paytda mavjud bo'lgan ma'lumotlar bilan ishlash yondashuvlari bilan hisob-kitoblar 8-10 yil davomida amalga oshirilgan, ya'ni natijalar keyingi aholini ro'yxatga olish uchun o'z vaqtida tayyor bo'lgan.


1881 yilda amerikalik muhandis va ixtirochi Herman Xollerit perfokartalar bilan ishlaydigan qurilma (tabulyator) yaratdi, u 10 yillik ishni uch oygacha qisqartirdi. U 1924 yilda CTR tomonidan sotib olingan , 1924 yilda IBM nomi bilan qayta nomlangan jadvallash mashinalarini yaratishga ixtisoslashgan TMC kompaniyasini yaratdi. ¹¹ .


Ikkinchi jahon urushi davrida ingliz olimlari mashina yaratdilar Koloss , uning ma'lumotlari teshilgan g'ildirak orqali uzatilgan, chunki uning shaxsiy xotirasi yo'q edi. Ushbu mashina dushman xabarlarini dekodlashni bir necha haftadan bir necha soatgacha tezlashtirdi.


Tahlil tezligi 20-asrning o'rtalarida olimlar o'ylagan yagona masala emas edi. Nashr etilgan asarlarning o'sishi tufayli omborlar (xususan, kutubxonalar) hajmi muammoga aylandi. 1950-yillardan beri axborotni saqlash va uni tezkor tahlil qilish masalalarini hal etish natijasida ma'lumotlarni qayta ishlash markazlari (MHM) paydo bo'ladi.

• 
  Internetning paydo bo'lishi bilan qidiruv tizimlari paydo bo'ldi; ulardan biri AltaVista tizimi . U lingvistik algoritmdan foydalangan , qidiruv iborasini so'zlarga bo'lgan va natijani tartiblash uchun mavjud indekslarni qidirgan. Ushbu tizimdan foydalanish so'rovlar sonini kuniga 300 mingdan 80 milliongacha oshirdi.
  

Axborot hajmining ko'payishi bilan, ularning katta qismini tuzilmagan ma'lumotlar tashkil etganligi sababli , axborot oqimlarini to'g'ri talqin qilish masalalari dolzarb va murakkablashdi. IT bozoridagi yirik kompaniyalar eng muvaffaqiyatli yuqori ixtisoslashgan firmalarni ( startuplar ) sotib olishni va katta hajmdagi ma'lumotlar bilan ishlash vositalarini ishlab chiqishni boshladilar . Bunday ma'lumotlar bilan ishlash tadqiqot markazlarida ham olib borildi ¹³ .


Hozirda katta ma'lumotlar ( Big Data ) deb ataladigan ma'lumotlar yaqinda bo'lmasa ham, o'z tarixiga ega.
Katta ma'lumotlar tushunchasi meynfreymlar (XX asrning 70-yillari) va kompyuter hisoblashlari davrida paydo bo'lgan. Ilm-fanni ko'p talab qiladigan hisoblash har doim murakkab va katta hajmlarni qayta ishlashni talab qilgan ma'lumot .


Ushbu sohadagi muhim voqea 1970 yilda ingliz olimi Edgar Kodd ma'lumotlarning relyatsion modelini (bu ikki o'lchovli jadvallar to'plami) tavsiflaganida, ma'lumotlarni saqlash, indekslash va ma'lumotlar bazalaridan olish usullarini inqilob qilganida sodir bo'ldi.


Relyatsion model ma'lumotlar bazasidan ma'lumotlarning ichki tuzilishini yoki uning jismoniy saqlanishini bilishni talab qilmasdan foydalanuvchi nimani xohlashini aniqlaydigan oddiy so'rovlar orqali ma'lumotlarni olish imkonini berdi.


Codd hujjati zamonaviy ma'lumotlar bazalari va ma'lumotlar bazasi so'rovlarini shakllantirishning xalqaro standarti bo'lgan SQL (Structured Query Language) ni ishlab chiqish uchun asos bo'lib xizmat qildi. Relyatsion ma'lumotlar bazalari ma'lumotlarni har bir ob'ekt uchun bitta satr va har bir atribut uchun bitta ustundan iborat bo'lgan jadvallarda saqlaydi. Ushbu xaritalash ma'lumotlarni asosiy qismlarga ajratish mumkin bo'lgan aniq tuzilishga ega saqlash uchun idealdir atributlar .

• 
  1990-yillar Ma'lumotlar tahlili uchun kompaniyalarga turli xil ma'lumotlar bazalaridagi ma'lumotlarni birlashtiradigan va muvofiqlashtiradigan va yanada murakkab tahlillarni osonlashtiradigan texnologiya kerak edi. Ushbu biznes muammosini hal qilish ma'lumotlar ombori va ma'lumotlar bazasini yaratish texnologiyalarining ( OLAP , NoSQL ) paydo bo'lishiga olib keldi.
  

• 
  2004 yilda Google korporatsiyasi (J. Dean va S. Gemavat) katta hajmdagi ma'lumotlarni qayta ishlashga samarali yondashuvni taklif qildi ( MapReduce ). Katta ma'lumotlar uni qayta ishlash uchun yangi platformalarning paydo bo'lishiga olib keldi ( Hadoop ). Umuman olganda, Google hozir hamma Big Data deb ataydigan narsani yaratgan deb ayta olamiz .