Matematika-informatika akulteti axborot texnologiyalari kafedrasi big data va ma

ФОЙДАЛАНИЛГАН АДАБИЁТЛАР РЎЙХАТИ 26

KIRISH

Raqamli texnologiyalarning naqadar muhimligini bugungi bugungi kun sharoiti ko`rsatimoqda. Ta’lim, davlat xizmatlari, davlat boshqaruvi tizimi, savdo va xizmat ko‘rsatishning barcha jabhalari raqamli texnologiyalar bilan bog‘liqligi yaqqol ko‘rinib turibdi.
Deyarli ko`pchilik insonlar o`zlarini kundalik hayotidagi turli axborotlarni kompyuterlar, planshetlar, smartfonlar va internet tarmog`ida almashmoqdalar.
Katta ma'lumotlar sohasiga kirish va dasturiy ta'minot ishlab chiqish bu har qanday birinchi shug‘illanayotgan inson o`zini zamonaviy dunyoning yovvoyi olamiga tushib qolganday his qiladi. Bugun ko'pgina ishlab chiquvchilar o'zlarining relyatsion ma'lumotlar bazalaridan minglab mashinalar bo'ylab tarqaqalgan va cheklangan ma'lumotlar modellari bilan aloqador bo'lmagan o'zlarining tanish qulayliklari bilan yuqori turuvchi NoSQL ma'lumotlar bazalariga o'tishdi.
Bu esa NoSQL ma'lumotlar bazalari soni eksponent ravishda o'sishiga olib keldi va ularning an`anaviy ma`lumotlar bazalaridan farqlash noziklashib qoldi. Shundan so`ng Hadoop deb nomlangan yangi istiqbolli loyiha paydo bo'ldi, bu katta hajmdagi ma'lumotlarni chuqur tahlil qilish imkonini berdi. Bu texnologiya barcha yangi vositalardan qanday qilib oqilona foydalanishni tushunish unchalik oson ish emas edi.
An`anaviy usulda ma`lumotlarni qayta ishlash tashkilotlarda axborot tizimlarining ko'lamini kengaytirish bilan bog'liq qiyinchiliklarni yuzaga keltirdi. Ushbu tizimlarning arxitekturasi qo`rqinchli darajada murakkab bo'lib, umumiy relyatsion ma'lumotlar bazalari bilan birga ishlaydigan butun tarmog'idan iborat edi. Bunday ma'lumotlar bazalaridagi ma'lumotlardan foydalanishda xavflar juda ham yuqori bo`lib, bu hodisaga qarshi turish uchun ilovalarda maxsus kodli dasturlar bilan ishlab, korruptsiyaga holatlariga yo`l qo‘yar edi. Bu esa tizimning tobe komponentlari doimo orqada qolishiga olib kelar edi. Shu sababli, mavjud axborot tizimining arxitekturasi uchun yaxshiroq, yangiroq muqobil echimini topish kerak bo`ldi. Bu esa katta ma'lumotlar texnologiyalarini paydo bo`lishiga olib keldi.
Katta ma'lumotlar (Big data) ga ta'rifi odatda juda sodda tarzda beriladi - bu qandaydir raqamli tashuvchida saqlanadigan, ko'pincha tizimsiz bo'lgan juda ko'p ma'lumot to`plamidir. Biroq, "Katta" prefiksi bo'lgan ma'lumotlar massivi shunchalik kattaki, uni oddiy tizimlashtirish va tahlil qilish vositalari bilan boshqarish, taxlil qilish badiiy qilib aytganda "qazib oilsh" mumkin emas. Shuning uchun "katta ma'lumotlar" atamasi, katta hajmdagi tuzilmagan ma'lumotlarni qidirish, qayta ishlash va qo'llash texnologiyalari sifatida ham tushuniladi. Bir nechta misollarni ko`rib chiqishimiz mumkin:
“Big data” iborasi 2008 yilda Klifford Linchning so`zi bilan paydo bo'lgan. Nature jurnalining maxsus sonida u axborot oqimlarining portlovchi o‘sishini katta ma’lumotlar deb atadi. Unda kuniga 150 Gb dan ortiq bir turga ega bo`lnagan geterogen ma'lumotlar massivlari bilan ishlah haqida yozadi.
2005 yilda tahliliy agentliklarning statistik hisob-kitoblariga ko'ra, dunyoda 4-5 ekzabayt (4-5 milliard gigabayt) ma'lumot ishlagan bo'lsa, 5 yildan keyin katta ma'lumotlar hajmi 0,19 zettabaytgacha o'sdi (1 ZB = 1024 EB). 2012 yilda bu ko'rsatkichlar 1,8 ZB ni tashkil etgan bo`lsa, 2015 yilda bu 7 ZB ga yetdi. Mutaxassislarning bashoratlariga ko'ra, 2020 yilga kelib katta ma'lumotlar tizimlari 40 zettabaytdan ortdi va 2025 yilda bundan 10 baravvarga ko`pyishi kutilmoqda.
Katta ma'lumotlar deb nomlangan harakat hozirgi kunda kelajagi bor fanga aylanib ulgurdi. U ma'lumotlar arxitekturasida va ularni taxlil qilishda o'nlab yillar davomida mavjud bo'lgan murakkabliklarni yanada kuchaytirdi. Asosan katta, qo'shimcha ma'lumotlar bazalariga asoslangan bir turda bo`lmagan ma`lumotlar bilan bo`gliq muammolardan qochishga, ma`lumotlar ustida og'ir operatsiyalar va ishlash sur`atlarini pasayishini oldini olishga imkon yaratdi. SQL va NoSQL kabi ma'lumotlar bazalari ko'pincha butunlay qarama-qarshi yoki bir-biriga o'xshash bo`lgan ma`lumotlar tuzilmalari bilan ishlashi ularni muqarrar murakkabliklari bilan bir xil arxitekturadan foydalanishni rag'batlantiradi. Ma`lumotlar bilan ishlashdagi bunday murakkablik – bu daxshatli muammodir, biz hohlaymizmi, hohlaymaymizmi ushbu bugungi kun ma`lumotlari bilan ishlashda unga duch kelamiz.
Ushbu o`quv qo`llanmada Big data arxitekturasi an'anaviy axborot tizimi arxitekturasi murakkabliklaridan qochish yo'llari haqidagi bilimlarimni, katta ma'lumotlar bilan ishlash tushunchalari, kata ma`lumot texnologiyalari, ularni qo`llash usullari kabi ma`lumotlarni o‘z ichiga oladi. Umid qilamanki, ushbu o`quv qo`llanmani Big data olamiga sarguzasht sifatida qabul qilasiz, unda siz axborot tizimlari haqida shu paytgacha bilgan ma`lumotlaringizni qayta aniqlab olishingiz va katta hajmdagi ma'lumotlar bilan nafis, sodda va qiziqarli tarzda ishlashingiz uchun fan olamida yangi dunyo kashf qilasiz.