Big data(katta ma'lumotlar) - juda katta hajmdagi bir jinsli bo'lmagan va tez tushadigan raqamli ma'lumotlar bo'lib, ularni odatiy usullar bilan qayta ishlab bo'lmaydi. Ba'zi hollarda, katta ma'lumotlar tushunchasi bilan birga shu ma'lumotlarni qayta ishlash ham tushuniladi. Asosan, analiz obyekti katta ma'lumotlar deb ataladi.Big data atamasi 2008-yilda dunyoga kelgan. Nature jurnali muharriri Klifford Linch dunyo ma'lumotlar hajmining juda tez sur'atda o'sishiga bag'ishlangan maxsus sonida big data atamasini qo'llagan. Biroq, katta ma'lumotlar avval ham bo'lgan. Mutaxassislarning fikricha, kuniga 100 gb dan ko'p ma'lumot tushadigan oqimlarga big data deb aytilar ekan.Katta ma'lumotlarni analiz qilish, inson his etish imkoniyatidan tashqarida bo'lgan qonuniylatlarni aniqlashda yordam beradi. Bu esa kundalik hayotimizdagi barcha sohalar, hukumatni boshqarish, tibbiyot, telekommunikatsiya, moliya, transport, ishlab chiqarish va boshqa sohalarni yanada yaxshilash, ularning imkoniyatlarini oshirish, muommolarga muqobil yechimlar izlab topish imkonini yaratadi.Zamonaviy axborot tizimlarida foydalaniladigan axborot (ayniqsa video, audio multimediali ma’lumotlar) hajmini jadal o‘sishi oldimizga ushbu axborotni ma’lumotlar bazasida saqlash va ularni boshqarishning yangi murakkab masalalarni qo‘yadi. Quyida katta hajmdagi multimedia ma’lumotlarni tashkil qilishga, shuningdek ular bilan ishlash vositalari tahlil qilib chiqamiz. Katta hajmli multimedia ma’lumotlar to‘rtta asosiy xarakteristikaga ega bo‘ladi: hajm, xilma-xillik, tezlik, narhi.1. Hajm. Insonlar va mashinalar tomonidan xosil qilinayotgan ma’lumotlarning o‘sib borayotgan soni, axborot texnologiyalari infrastrukturalariga ma’lumotlarni saqlash, ishlov berish va taqdim etishida yangi talablarni qo‘yadi.2. Xilma-xillik. Turli strukturalarda taqdim etilgan ma’lumotlar xilma-xil bo‘ladi. Bular kredit kartalar bo‘yicha operatsiyalar bo‘ladimi, ilmiy tadqiqot natijalari bo‘ladimi, fotografik suratlar bo‘ladimi, video va audio ma’lumotlar bo‘ladimi barchasi o‘ziga xos ishlov va saqlash shart sharoitlarini talab etadi.3. Tezlik. Tezlik deganda nafaqat ma’lumotlarning ma’lumotlar bazasiga kelib tushish tezligi, balki bu ma’lumotlar bazasidan olinadigan ma’lumotlarni chiqarib lish tezligi ham anglanadi.4. Narhi. Katta hajmdagi ma’lumotlar – qimmat resurs hisoblanadi. Ma’lumot dolzarbligi, foydaliligi va ichidagi kontentiga qarab uning qanchalik qimat
Big data manbalari
Tranzaksiya maʼlumotlari ham onlayn, ham oflayn rejimda amalga oshiriladigan barcha kundalik tranzaksiyalardan hosil boʻladi. Hisob-fakturalar, to'lov topshiriqlari, saqlash yozuvlari, etkazib berish kvitansiyalari - barchasi tranzaksiya ma'lumotlari sifatida tavsiflanadi, biroq ma'lumotlarning o'zi deyarli ma'nosizdir va aksariyat tashkilotlar o'zlari yaratayotgan ma'lumotlar va undan qanday foydalanish mumkinligini tushunish uchun kurashadilar. Ma'lumotlardan haqiqiy qiymatni ochish. Haqiqiy biznes qiymati tushunchalar, qarorlar va harakatlarni yaratish uchun ushbu ma'lumotlarni birlashtirish qobiliyatidan kelib chiqadi. CloudMoyo kompaniyalarga keng qamrovli, yaxlit va barqaror tahliliy strategiyani ishlab chiqishda yordam beradi, bu ularga amaliy tushunchalar orqali o'zlarini farqlash vositalarini beradi va xodimlar va biznesning o'zini qo'llab-quvvatlaydi. Bir qator omillar CloudMoyo kabi kompaniyalar bajarayotgan joyning qiymatiga ishora qiladi. Yaqinda o'tkazilgan tadqiqot shuni ko'rsatdiki, ushbu sohada eng ilg'or texnologiyalarga ega bo'lgan kompaniyalarning uchdan ikki qismi ushbu imkoniyatlarni ishga tushirish uchun etarli odamlarni yollay olmaydi. Bunga qo'shimcha ravishda, tahlil resurslarni ko'p talab qiladi. Yirik kompaniyalar yetarlicha resurslarni ajratish uchun kurashadilar, ammo kichikroq kompaniyalar uchun ular samarali tahlil qilish uchun zarur bo'lgan barcha narsani bag'ishlashlari mumkin emas. Bu ikkala holatda ham autsorsing bebaho afzallik hisoblanadi. Katta ma'lumotlar raqobatbardosh ustunlikni ta'minlashi mumkinligi haqida umumiy e'tirof etilgan tushuncha mavjud bo'lsa-da, murakkab uchinchi tomon provayderlari bilan hamkorlik qilayotganlar yuqori sifatli va hamyonbop ma'lumotlardan foydalanishda ancha yaxshi imkoniyatga ega. Katta ma'lumotlar davri biz uchun yaxshi va haqiqatan ham keldi va endi korxonalar katta ma'lumotlar bilan shug'ullanishi kerakmi yoki yo'qmi degan savol emas, balki qanday qilib. Texnologik gigant Cisco 2020-yilda ishlab chiqarilgan maʼlumotlar miqdori bugungi kunga nisbatan 50 baravar koʻp boʻlishini bashorat qilmoqda. Ajablanarli emaski, kompaniyalar o'zlarini haddan tashqari ko'tarib, o'z bizneslarini tushunadigan va natijalarni berish uchun uni texnologiya bilan birlashtira oladigan mutaxassislardan qat'iy maslahatga muhtoj bo'lishadi. Faol bo'lish asosiy hisoblanadi.Anʼanaviy hisobot va BI oʻz oʻrnini Advanced Analyticsga boʻshatib bermoqda. Nima bo'lganini va nima uchun retro-aktiv tahlil qilish endi etarli emas. Buning o'rniga, yuqori sifatli ma'lumotlardan foydalanadigan tizimlar va hamkorliklarni yo'lga qo'yish va da'volarni qo'llab-quvvatlash uchun aniq dalillar bilan keyingi voqealar haqida bashorat qilish uchun ma'lumotlarni sharhlash kerak. Tashkilotlar maʼlumotlarni yetkazib berish va boshqarishdan tortib, maʼlumotlardan foydalanishgacha boʻlgan bulutli katta maʼlumotlar xizmati sifatida analitik talablarning toʻliq spektri boʻylab biznes ehtiyojlarini qondirishi mumkin. Bulutga asoslangan keng qamrovli katta maʼlumotlar maʼlumotlar strategiyasini ishlab chiqish orqali ular tushuncha doirasini belgilashi va korxona maʼlumotlarining umumiy qiymatini optimallashtirishi mumkin. Biroq, bulutga asoslangan katta maʼlumotlar tahlili yagona oʻlchamdagi yechim emas va CloudMoyo kabi AT boʻyicha mutaxassis hamkor bu yoʻlda sizga yordam berishi mumkin.
|
Big Data nima?
Aslida, atamaning ta'rifi yuzaga chiqadi: "katta ma'lumotlar" juda katta hajmdagi ma'lumotlarni boshqarish va ularni tahlil qilishni anglatadi. Agar siz kengroq qarasangiz, bu juda katta hajm tufayli klassik usullar bilan qayta ishlanmaydigan ma'lumotlar.Big Data atamasi o'zi nisbatan yaqinda paydo bo'lgan. Google Trends ma'lumotlariga ko'ra, ushbu mashhurlikning faol o'sishi 2011 yil oxiriga to'g'ri keladi:2010 yilda katta ma'lumotlarni qayta ishlash bilan bevosita bog'liq bo'lgan birinchi mahsulotlar va echimlar paydo bo'ldi. 2011 yilga kelib, eng yirik IT-kompaniyalar, shu jumladan IBM, Oracle, Microsoft va Hewlett-Packard, o'z biznes strategiyalarida Big Data atamasidan faol foydalanmoqdalar. Asta-sekin, axborot texnologiyalari bozori tahlilchilari ushbu kontseptsiya bo'yicha faol izlanishlarni boshlaydilar.Hozirgi vaqtda ushbu atama katta shuhrat qozondi va turli sohalarda faol qo'llanilmoqda. Ammo Katta Ma'lumotlar bu mutlaqo mutlaqo yangi hodisa, deb aniq aytish mumkin emas, aksincha, katta ma'lumotlar manbalari ko'p yillar davomida mavjud bo'lgan. Marketingda ularni mijozlar xaridlari, kredit tarixlari, turmush tarzi va hokazolarning ma'lumotlar bazasi deb atash mumkin. Yillar davomida tahlilchilar ushbu ma'lumotlardan kompaniyalarga mijozlarning kelajakdagi ehtiyojlarini bashorat qilish, xatarlarni baholash, iste'molchilarning xohish-istaklarini shakllantirish va h.k.Hozirgi vaqtda vaziyat ikki jihatdan o'zgargan:- turli xil ma'lumotlar to'plamlarini tahlil qilish va taqqoslash uchun yanada murakkab vositalar va usullar paydo bo'ldi;- Tahlil vositalari turli xil yangi ma'lumotlar manbalari bilan to'ldirildi, bu raqamli texnologiyalarga keng o'tish bilan bog'liq, shuningdek ma'lumotlarni yig'ish va o'lchashning yangi usullari.Tadqiqotchilar Big Data texnologiyalaridan ishlab chiqarish, sog'liqni saqlash, savdo, davlat boshqaruvi va boshqa turli sohalar va sohalarda eng faol foydalanilishini taxmin qilishmoqda.Big Data bu ma'lum bir ma'lumotlar to'plami emas, balki ularni qayta ishlash usullari to'plami. Katta ma'lumotlar uchun aniqlovchi xususiyat nafaqat uning hajmi, balki ma'lumotlarni qayta ishlash va tahlil qilishning og'ir jarayonlarini tavsiflovchi boshqa toifalardir.Qayta ishlash uchun dastlabki ma'lumotlar bo'lishi mumkin, masalan:- Internet foydalanuvchilari xulq-atvori jurnallari;- narsalar Interneti;- ijtimoiy media;- meteorologik ma'lumotlar;- yirik kutubxonalarning raqamli kitoblari;- transport vositalarining GPS signallari;- bank mijozlarining operatsiyalari to'g'risidagi ma'lumotlar;- uyali aloqa abonentlarining joylashuvi to'g'risidagi ma'lumotlar;- yirik chakana savdo tarmoqlarida xaridlar to'g'risida ma'lumot va boshqalar.
|
Big data qiymat zanjiri?
Qiymat zanjiri kontseptsiyasi 1980-yillarda Garvard professori Maykl Porter o'zining "Raqobat ustunligi" kitobida bu g'oyani taklif qilganida paydo bo'lgan. Porter nazariyasiga ko'ra, kompaniyaning barcha faoliyati asosiy va yordamchi jarayonlarga bo'linadi. Oddiy so'z bilan aytganda, qiymat zanjiri yoki qiymat zanjiri - bu kompaniya o'z mahsuloti va xizmatlarini bozorga taqdim etish uchun qiladigan harakatlar to'plami. Lekin "zanjir" bilan nima? Gap shundaki, har qanday biznes faoliyati ketma-ket jarayonlar zanjiriga "parchalanishi" mumkin. Misol uchun, telekommunikatsiya uskunalarini ishlab chiqarish uchun siz g'oyani o'ylab topishingiz va patentlashingiz, dizaynni ishlab chiqishingiz, qurilma ishlab chiqarishingiz va yig'ishingiz, uning dasturiy ta'minotini ishlab chiqishingiz va, ehtimol, uni tashqi dasturiy ta'minot bilan birlashtirishingiz kerak. Bu jarayonlarning har biri, o'z navbatida, uning tarkibiy qismlariga bo'linishi mumkin. Qurilmani yig'ish etkazib beruvchilardan qismlarga buyurtma berish, bojxona rasmiylashtiruvi, yig'ish liniyasini tuzatish, sifat nazorati, qadoqlash va boshqalarni o'z ichiga oladi. Agar barcha eng kichik jarayonlar tizimlashtirilgan va sxematik tarzda yagona zanjir sifatida tasvirlangan bo'lsa, unda bunday tahlil raqobatdosh ustunliklarni ham, biznes jarayonlarini takomillashtirish imkoniyatlarini ham ochib beradi. Keng ma'noda, qiymat zanjiri tahlili ma'lum bir biznes qanday ishlashi haqida fikr beradi.
|
Big data tushunchasining mohiyati
Big Datatoifasi endi an'anaviy usullarda qayta ishlanmaydigan ma'lumotlarni, jumladan tuzilgan ma'lumotlar, ommaviy axborot vositalari va tasodifiy ob'ektlarni o'z ichiga oladi. Ba'zi ekspertlar, yangi massiv parallel echimlar , ular bilan ishlash uchun an'anaviy monolitik tizimlar o'rnini egallaganiga ishonishadi . Nomidan ko'rinib turibdiki, " katta ma'lumotlar" atamasi shunchaki katta hajmdagi ma'lumotlarni boshqarish va tahlil qilishni anglatadi. McKinsey institutining "Katta ma'lumotlar: innovatsiyalar, raqobat va mahsuldorlikning keyingi chegarasi" hisobotiga ko'ra, "katta ma'lumotlar" atamasi o'lchami ma'lumotlarni kiritish, saqlash, boshqarish va tahlil qilish uchun odatiy ma'lumotlar bazalari (MB) imkoniyatlaridan oshib ketadigan ma'lumotlar to'plamini anglatadi. Aslini olganda, Big Data tushunchasi ish samaradorligini oshirish, yangi mahsulotlarni yaratish va raqobatbardoshlikni oshirish uchun juda tez-tez yangilanadigan va turli manbalarda joylashgan katta hajmli va xilma-xil tarkibdagi ma'lumotlar bilan ishlashni o'z ichiga oladi.
|
Big datada 3V tushunchasi
Ovoz(volume)Masalan, Ijtimoiy media maydonida hajm veb-saytlar, portallar va onlayn ilovalar orqali yaratilgan ma'lumotlar miqdorini anglatadi. Ayniqsa, B2C kompaniyalari uchun Volume mavjud ma'lumotlarni o'z ichiga oladi va ularning ahamiyati baholanishi kerak. Quyidagilarni ko'rib chiqaylik -Facebook-da 2 milliard foydalanuvchi, Youtube-da 1 milliard foydalanuvchi, Twitter-da 350 million foydalanuvchi va Instagram-da 700 million foydalanuvchi bor. Har kuni bu foydalanuvchilar milliardlab rasmlar, postlar, videolar, tvitlar va hokazolarga hissa qo'shadilar. Endi siz har daqiqada va har soatda hosil bo'ladigan juda katta hajmdagi ma'lumotlar hajmini yoki hajmini tasavvur qilishingiz mumkin.TEZLIK(velocity) Tezlik bilan biz ma'lumotlarning yaratilish tezligini nazarda tutamiz. Ijtimoiy tarmoqlardagi misolimizda har kuni Facebook’ga 900 million fotosurat yuklanadi, Twitter’ga 500 million tvit joylashtiriladi, Youtube’ga 0,4 million soatlik video yuklanadi va Google’da 3,5 milliard qidiruv amalga oshiriladi. Bu yadroviy ma'lumotlar portlashiga o'xshaydi. Katta ma'lumotlar kompaniyaga ushbu portlashni ushlab turishga, kiruvchi ma'lumotlar oqimini qabul qilishga va shu bilan birga to'siqlarni yaratmasligi uchun uni tezda qayta ishlashga yordam beradi.TURLI(variety) Katta ma'lumotlarning xilma-xilligi odamlar yoki mashinalar tomonidan ishlab chiqarilishi mumkin bo'lgan barcha tuzilgan va tuzilmagan ma'lumotlarni anglatadi. Eng ko'p qo'shilgan ma'lumotlar tuzilgan - matnlar, tvitlar, rasmlar va videolar. Biroq, elektron pochta xabarlari, ovozli pochta xabarlari, qo'lda yozilgan matn, EKG o'qishi, audio yozuvlar va boshqalar kabi tuzilmagan ma'lumotlar Variety ostida muhim elementlardir. Varete - bu kiruvchi ma'lumotlarni turli toifalarga ajratish qobiliyatidir.
|
Big datada xavfsizligi muammolari
Katta ma'lumotlar texnologiyalari bugungi kunda muhim biznes qiymatini ta'minlaydi, ammo bu loyihalarning cheklovlaridan biri axborot xavfsizligi xavflari hisoblanadi. Biroq, himoya qilishning umumiy qabul qilingan yagona kontseptsiyasi hali ham mavjud emas. Katta narxga qo'shimcha ravishda, Big Data-ni turli sohalarda amalga oshirishga to'sqinlik qiluvchi asosiy omillardan biri bu qayta ishlanadigan ma'lumotni tanlash muammosi, ya'ni qaysi ma'lumotni olish, saqlash va tahlil qilish kerakligini aniqlash va bu hisobga olinmasligi kerak.Yana bir katta ma'lumotlar muammosi axloqiy masaladir. Boshqacha qilib aytganda, mantiqiy savol tug'iladi: bunday ma'lumotlarni yig'ish (ayniqsa foydalanuvchini bilmasdan) shaxsiy hayotning chegaralarini buzish deb hisoblash mumkinmi?Google va Yandex qidiruv tizimlarida saqlanadigan ma'lumotlar IT gigantlariga doimiy ravishda o'z xizmatlarini takomillashtirish, foydalanuvchilarga qulay va yangi interfaol dasturlarni yaratishga imkon beradi. Buning uchun qidiruv tizimlari Internetda foydalanuvchi faoliyati to'g'risidagi ma'lumotlar, IP manzillari, joylashuv ma'lumotlari, qiziqishlar va onlayn xaridlar, shaxsiy ma'lumotlar, pochta xabarlari va hokazolarni to'playdi. Bularning barchasi Internetda foydalanuvchi harakatlariga qarab kontekstual reklama namoyish qilish imkonini beradi. Bunday holda, odatda foydalanuvchilarning roziligi so'ralmaydi va o'zingiz haqingizda qanday ma'lumotlarni taqdim etishni tanlash imkoniyati berilmaydi. Ya'ni, sukut bo'yicha, Big Data keyinchalik sayt ma'lumot serverlarida saqlanadigan barcha narsalarni to'playdi.
|
Big datani tahlil qilish jarayoni
Katta ma'lumotlardan modellar yaratish, naqshlarni aniqlash va odamlar yoki jarayonlar kelajakda qanday harakat qilishini bashorat qilish uchun foydalanish mumkin. Katta ma'lumotlarga asoslangan bashoratli tahlillar, masalan, reklama kampaniyalarining muvaffaqiyatini rejalashtirish, tovarlar va xizmatlarga bo'lgan talabni bashorat qilish va mijozlarning samarali o'zaro munosabatlarini yaratishga yordam beradi. Bashoratli modellar nafaqat savdo va marketing, balki boshqa har qanday sohadagi tendentsiyalarni aniqlashga xizmat qilishi mumkin. Masalan, ta'limda ular o'quvchilarning kelajakdagi faoliyati, dasturlarning samaradorligi to'g'risida taxminlar qilish uchun ishlatiladi.Bashoratli tahlil allaqachon aviatsiyada keng qo'llaniladi. Shunday qilib, Airbus 2025 yilga kelib bashoratli texnik xizmatko‘rsatish yordamida aniqlangan nosozlik tufayli samolyotning parvoziga ruxsat berilmagan holatlar sonini minimallashtirish mumkin bo‘lishini kutmoqda. Katta ma'lumotlar, agar u o'lik vaznga ega bo'lsa, foydali bo'lmaydi: bularning barchasi katta, har soniyada yangilangan heterojen ma'lumotlar massivlarini boshqarish kerak. Katta ma'lumotlar bilan ishlash bir necha bosqichda qurilgan. Birinchidan, ma'lumotlar turli manbalardan to'planishi kerak . Keyinchalik, ularni saqlash, qayta ishlash va yo'qotishdan himoya qilish kerak . Endi, bu borada bulutli echimlar alohida ahamiyatga ega bo'lib, ular o'zlarining hisoblash resurslariga nisbatan bir qator afzalliklarga ega.Katta ma'lumotlar doimiy ravishda to'planib boradi va o'zining IT infratuzilmasini barcha kengaytirilishi mumkin bo'lgan holda cheksiz ravishda oshirib bo'lmaydi. Bundan tashqari, yuklarni har doim ham oldindan aytib bo'lmaydi va eng yuqori paytlarda jismoniy server ishlamay qolishi mumkin. Qayta sug'urtalash asossiz xarajatlarga olib keladi. Infratuzilmani bulutga o'tkazish sizga qimmatbaho uskunalarni sotib olishdan, uning ishlashi va xavfsizligini ta'minlash xarajatlaridan voz kechishga imkon beradi. Hisoblash resurslarini tez masshtablash va ko'paytirish imkoniyati tufayli bulutli saqlash ishonchlilik, nosozliklarga chidamlilik va moslashuvchan konfiguratsiyani ta'minlash bilan birga katta hajmdagi ma'lumotlarni joylashtirishga qodir.Va nihoyat, katta ma'lumotlar bilan ishlashning yakuniy va asosiy bosqichi ularni tahlil qilishdir . Aynan uning sharofati bilan Big Data haqiqiy amaliy foyda keltira boshlaydi. Tahlil ortiqcha narsalarni filtrlash va biznes uchun eng qimmatli narsalarni ajratib ko'rsatish imkonini beradi. Katta ma'lumotlarni tahlil qilish usullari qanday? Ular xilma-xildir va ularning barchasini bitta maqolada tasvirlab bo'lmaydi, shuning uchun biz asosiylari haqida gaplashamiz.
|
Big datani qnday kurinishlari mavjud ?
|
Big dataning asosiy tushunchalari
|
Big dataning mohiyati
Katta ma'lumotlarning ta'rifi odatda juda sodda tarzda hal qilinadi - bu qandaydir raqamli tashuvchida saqlanadigan, ko'pincha tizimsiz bo'lgan juda ko'p ma'lumotdir. Biroq, "Katta" prefiksi bo'lgan ma'lumotlar massivi shunchalik kattaki, uni odatiy tuzilish va tahlil vositalari bilan "belkurak" qilib bo'lmaydi. Shuning uchun "katta ma'lumotlar" atamasi, shuningdek, katta hajmdagi tuzilmagan ma'lumotlarni qidirish, qayta ishlash va qo'llash texnologiyalari sifatida ham tushuniladi.Muayyan mavzu yoki hodisa haqida qanchalik ko'p bilsak, mohiyatini shunchalik aniqroq tushunamiz va kelajakni bashorat qila olamiz. Datchiklar, Internet va tranzaksiya operatsiyalaridan ma'lumotlar oqimini olish va qayta ishlash orqali kompaniyalar mahsulotlarga bo'lgan talabni aniq bashorat qilishlari mumkin va favqulodda xizmatlar texnogen ofatlarning oldini oladi. Bu erda biznes va marketingdan tashqari katta ma'lumotlar texnologiyalaridan qanday foydalanishga misollar keltirilgan.
|
Bir omilli regression model turlari
|
Do'stlaringiz bilan baham: |
