Modul nomi: Katta ma’lumotlar tahliliga kirish (kirish kursi) Kurs haqida
Download 1.56 Mb.
|
Введение в аналитику больших массивов данных (Вводный курс) (1)
|
Juda katta ma'lumotlar: 1000 dan 10 000 terabaytgacha, ya'ni 1 dan 10 petabaytgacha (1000 petabayt yoki 1000 × 1000 terabayt 1 eksa-baytni tashkil qiladi) 20 .
McKinsey institutining "Katta ma'lumotlar: innovatsiyalar, raqobat va mahsuldorlikning yangi chegarasi" hisobotiga ko'ra , "katta ma'lumotlar" atamasi ma'lumotlarni olish, saqlash, boshqarish va tahlil qilish uchun odatiy ma'lumotlar bazalaridan kattaroq bo'lgan ma'lumotlar to'plamini anglatadi 21 . Shunday qilib, "katta ma'lumotlar" tushunchasi "katta hajmdagi ma'lumotlar" yoki "katta ma'lumotlar" atamalariga an'anaviy yondashuvdan farq qiladi. Gartner kompaniyasidan Merv Adrian tomonidan ta'riflangan katta ma'lumotlar - bu foydalanuvchining imkoni bo'lgan vaqt davomida eng ko'p ishlatiladigan apparat va dasturiy vositalar yordamida to'planishi, boshqarilishi va qayta ishlanishi mumkin bo'lmagan ma'lumotlar. Katta ma'lumotlar (Big Data). Katta ma'lumotlar A dan Z gacha. 1-qism: Katta ma'lumotlar bilan ishlash tamoyillari, MapReduce paradigmasi [Elektron resurs]. URL: https://habr.com/ru/company/ dca/blog/267361/ (Kirish 07/05/2020). Katta ma'lumotlar inqilobi: "Katta ma'lumotlar" dan kerakli ma'lumotlarni qanday olish mumkin bizning ma'lumotlarimiz"? [Elektron resurs]. URL: http://statsoft.ru/products/Enterprise/ big-data.php (kirish 18.06.2020). Katta ma'lumotlar (Big Data). 13 McKinsey Global Instituti hisobotida an'anaviy ma'lumotlar bazasi dasturiy ta'minotining yig'ish, saqlash, boshqarish va tahlil qilish imkoniyatlaridan kattaroq bo'lgan ma'lumotlar to'plami 22 katta ma'lumotlarni belgilaydi . "Katta ma'lumotlar" iborasi nafaqat ularning hajmini anglatadi. Gartner Group ma'lumotlariga ko'ra , "katta" so'zi nafaqat hajmni oshirish, balki uzatish tezligini oshirish va turli xil ma'lumotlar manbalarini ham anglatadi. Shunday qilib, siz nafaqat katta hajmdagi ma'lumotlar bilan, balki ular juda tez, murakkab shakllarda va turli manbalardan kelishi bilan shug'ullanishingiz kerak. Katta ma'lumotlarni to'lqin to'lqini bilan solishtirish tasodif emas, lekin qo'lga olish haqiqiy sinovdir. Katta ma'lumotlar quyidagi xususiyatlarga ega . Ular ko'pincha inson aralashuvisiz mashina tomonidan avtomatik ravishda yaratiladi (masalan, dvigatelga o'rnatilgan sensor hech kim so'ramasa ham ma'lumotlarni ishlab chiqaradi), an'anaviy ma'lumot manbalarida esa har doim biron bir harakatni amalga oshiruvchi shaxs borligini taxmin qiladi (masalan, hisob-kitob, telefon qo'ng'iroqlari va boshqalar). Katta ma'lumotlar odatda butunlay yangi ma'lumotlar manbalari bilan bog'lanadi. Ma'lumotlar tuzilgan, tuzilmagan, yarim tuzilmali va hatto ko'p tuzilmali bo'lishi mumkin. Katta ma'lumotlar odatda tuzilmagan deb ta'riflanadi . an'anaviy ma'lumotlar - tuzilgan , ya'ni aniq belgilangan, o'zgarmas formatda taqdim etiladi, bu ular bilan ishlashni osonlashtiradi 23 . Tarkibi bo'lmagan ma'lumotlar manbalarini nazorat qilib bo'lmaydi. Ma'lumotlarning muhim qismi yarim tuzilgan toifaga tegishli . Ular mantiqiy sxema va formatni nazarda tutadi tushunarli bo'lishi mumkin, lekin foydalanuvchi uchun "do'stona". yarim- Franks B. Katta ma'lumotlarni tamomlash. Chuqur tahlildan foydalangan holda axborot massivlaridan bilimlarni qanday olish mumkin. M. : Mann, Ivanov i Ferber, 2014. 352 b. Mana. o'n to'rt tuzilgan ma'lumotlar ba'zan ko'p tuzilgan ma'lumotlar deb ataladi . Bunday ma'lumotlar oqimida, qimmatli ma'lumotlardan tashqari juda ko'p keraksiz va keraksiz ma'lumotlar bo'lishi mumkin. Yarim tuzilgan ma'lumotlarni o'qish uchun har bir ma'lumotni o'qib chiqqandan keyin nima qilish kerakligini aniqlaydigan murakkab qoidalardan foydalanishingiz kerak. Ba'zi katta ma'lumotlar manbalari grammatika, sintaksis yoki leksik qoidalarga rioya qilmasligi mumkin. Ish bunday ma'lumotlar juda qiyin bo'lishi mumkin, ba'zan esa butunlay yoqimli emas. Katta ma'lumotlar oqimi har doim ham alohida ahamiyatga ega emas, ular foydasiz bo'lishi mumkin. Bu ma'lumotni saralashni va uning qimmatli va tegishli (tegishli) qismlarini ajratib olishni talab qiladi. Boshqa tomondan, an'anaviy ma'lumotlar manbalari boshidanoq 100% tegishli ma'lumotlarni o'z ichiga olgan holda yaratilgan. Bu miqyosli cheklovlar bilan bog'liq edi: ma'lumotlar oqimiga 24 ahamiyatsiz narsani kiritish juda qimmat edi . Endi odamlar axborot tashuvchilar hajmi bilan cheklanmaydi. Shuning uchun, sukut bo'yicha katta ma'lumotlar siz tushunishingiz kerak bo'lgan barcha mumkin bo'lgan ma'lumotlarni o'z ichiga oladi. Bunday holda, hech narsa o'tkazib yuborilmaydi, lekin ma'lumotlarni tahlil qilish jarayoni yanada murakkablashadi. Katta ma'lumotlar - bu mavjud chegaralarni kuchaytiradigan yangi ma'lumotlarning navbatdagi to'lqini. An'anaviy ma'lumotlardan farqli o'laroq, katta ma'lumotlar oqimi hajmi, uzatish tezligi, xilma-xilligi va murakkabligi jihatidan katta. Katta ma'lumotni "o'zlashtirish" hovuzga suv quyish emas, balki shlangdagi suv ichish kabidir: odam faqat o'ziga kerak bo'lgan narsani yutadi va qolganini o'tkazib yuboradi. Katta ma'lumotlarni o'zlashtirishning kaliti - qaysi bitlar uzoq muddatli strategik ahamiyatga ega ekanligini, ular faqat darhol va taktik foydalanish uchun foydali va qaysi biri foydasiz ekanligini aniqlashdir. Katta ma'lumotlar bilan bog'liq ma'lum xavflar mavjud. Shunday qilib, masalan, tashkilot juda ko'p yuk bo'lishi mumkin Franks B. Farmoni. op. 15 hech qanday taraqqiyotga qodir bo'lmagan katta ma'lumotlar; katta ma'lumotlarni yig'ish xarajatlari tashkilotning ulardan foydalanish qobiliyatidan tezroq o'sishi mumkin va hokazo. Katta ma'lumotlar tashkilotlar uchun nafaqat "katta" bo'lgani uchun, balki yuqorida sanab o'tilgan xususiyatlarni hisobga olish muhimligi nuqtai nazaridan emas, balki ulardan tashkilot manfaati uchun foydalanish yangi innovatsion tahlil vositalarini joriy etishni talab qilgani uchun ham qiziq. . Ularsiz katta ma'lumotlardan foydalanish imkonsiz bo'lib qoladi 25 . Download 1.56 Mb. Do'stlaringiz bilan baham: 
|