Respublikasi axborot texnologiyalari va kommunikatsiyalarini

3.3.§ BIG DATADAN FOYDALANISHDA YUZAGA KELADIGAN MUAMMOLARNI BARTARAF ETISH

Amalga oshirish mumkin bo'lgan tushunchalar: Ko'proq ma'lumotlarga ega bo'lish har doim ham amalda bo'ladigan tushunchalarga olib kelmaydi. Ma'lumotlar fanlari guruhlari uchun asosiy vazifa aniq biznes maqsadini va ushbu maqsadga erishish uchun to'plash va tahlil qilish uchun tegishli ma'lumotlar manbalarini aniqlashdir. Biroq, qiyinchilik shu bilan tugamaydi. Asosiy naqshlar aniqlangandan so'ng, korxonalar ulardan biznes qiymatini olish uchun harakat qilish va kerakli o'zgarishlarni amalga oshirishga tayyor bo'lishi kerak.
Ma'lumotlar sifati: yangi muammo emas, lekin biznes ishlab chiqaradigan har bir ma'lumotni asl shaklida saqlash qobiliyati muammoni yanada kuchaytiradi. O’g’irlangan ma'lumotlar Qo'shma Shtatlardagi kompaniyalarga har yili 600 milliard dollarga tushadi. Ko'rib chiqilishi kerak bo'lgan iflos ma'lumotlarning umumiy sabablariga foydalanuvchi kiritish xatolari, takroriy ma'lumotlar va noto'g'ri ma'lumotlar ulanishi kiradi. Katta ma'lumotlar algoritmlari ma'lumotlarni saqlash va tozalashda ehtiyotkor bo'lishdan tashqari, ma'lumotlarni tozalashga yordam berish uchun ham ishlatilishi mumkin.
Xavfsizlik: Katta ma'lumotlar ko'lini xavfsiz saqlash yana bir katta ma'lumot muammosidir. Maxsus qiyinchiliklarga quyidagilar kiradi:

• 
  Ma'lumotlarga kirish uchun har bir jamoa va jamoa a'zosi uchun foydalanuvchi autentifikatsiyasi.
  
• 
  Foydalanuvchi ehtiyojidan kelib chiqqan holda kirishni cheklash.
  
• 
  Ma'lumotlarga kirish tarixini yozib olish va boshqa muvofiqlik qoidalariga rioya qilish.
  
• 
  Tranzitda va dam olishda ma'lumotlarda shifrlashdan to'g'ri foydalanish.
  

Xarajatlarni boshqarish: Katta ma'lumotlar loyihasining narxini loyihalash qiyin va ular qanchalik tez ko'lamini hisobga olsak, resurslarni tezda iste'mol qilishi mumkin. Yangi kasb dan hisobga loyihaning barcha xarajatlarini olib qiyinchilik yolg'on apparat uchun, bir bulut provayderga to'lash uchun, yollash qo'shimcha xodimlar. Mahalliy loyihalarni amalga oshirayotgan korxonalar o'qitish, texnik xizmat ko'rsatish va kengaytirish xarajatlarini esga olishlari kerak. Bulutli loyihalardagi katta ma'lumotlar provayder bilan xizmat ko'rsatish darajasidagi kelishuvni diqqat bilan ko'rib chiqishi kerak, bunda foydalanish uchun qanday to'lov amalga oshirilishi va qo'shimcha to'lovlar bo'ladimi yoki yo'qmi?
Katta ma'lumotlar an'anaviy ma'lumotlar to'plami tomonidan baham ko'rilmaydigan xususiyatlarni yaratadi. Bu xususiyatlar ma'lumotlarni tahlil qilish uchun jiddiy qiyinchiliklar tug'diradi va yangi statistik usullarni ishlab chiqishga turtki beradi. Namuna hajmi odatda o'lchamdan kattaroq bo'lgan an'anaviy ma'lumotlar to'plamlaridan farqli o'laroq, Big Data katta namuna hajmi va yuqori o'lchovliligi bilan ajralib turadi. Birinchidan, biz katta tanlanma o'lchamlarining heterojenlikni tushunishga ta'sirini muhokama qilamiz: bir tomondan, katta tanlama o'lchamlari bizga kichik subpopulyatsiyalar va butun populyatsiyadagi zaif umumiylik bilan bog'liq yashirin naqshlarni ochishga imkon beradi. Boshqa tomondan, Katta ma'lumotlarning ichki heterojenligini modellashtirish yanada murakkab statistik usullarni talab qiladi. Ikkinchidan, biz shovqin to'planishi, soxta korrelyatsiya va tasodifiy endogenlikni o'z ichiga olgan yuqori o'lchamlilik bilan bog'liq bo'lgan bir nechta noyob hodisalarni muhokama qilamiz. Ushbu noyob xususiyatlar an'anaviy statistik protseduralarni bekor qiladi.
Tahlil qilinadigan ma'lumotlarning katta miqdorini hisobga olsak, ba'zi noto'g'ri tushunchalar shunchaki narsalarning tabiati bo'lgani uchun paydo bo'ladi. Agar xatolar kamdan-kam bo'lsa va tasodifga yaqin bo'lsa, yakuniy tahlilning xulosalari zarar ko'rmasligi mumkin. Ba'zi hollarda ular bilan shug'ullanish befoyda, chunki ma'lumotlarni yig'ishdagi xatolar bilan kurashish yangi xatolarning paydo bo'lishiga olib kelishi mumkin.
Mashhur statistik Edvard Deming ushbu paradoksning tavsifini quyidagicha shakllantirdi: eng yaxshi natijalarga erishish uchun mavjud bo'lgan kichik og'ishlarni qoplash uchun barqaror jarayonni o'rnatish, jarayonga aralashuv bo'lmaganidan ko'ra yomonroq natijaga olib kelishi mumkin.
"Katta ma'lumotlar: katta xato?" maqolasida Street Bump startapi bilan qiziqarli voqeani esladi. Kompaniya Boston aholisini mobil ilova yordamida yo‘l qoplamasi holatini kuzatishni taklif qildi. Dasturiy ta'minot smartfonning holatini va me'yordan g'ayritabiiy og'ishlarni qayd etdi: chuqurlar, bo'rtiqlar, chuqurchalar va boshqalar. Qabul qilingan ma'lumotlar real vaqt rejimida kommunal xizmatlarda kerakli adresatga yuborildi.
Biroq, bir paytlar shahar hokimligi kambag'allardan ko'ra boy hududlardan ko'proq shikoyatlar tushganini payqadi. Vaziyat tahlili shuni ko'rsatdiki, badavlat aholining internetga doimiy ulangan telefonlari bo'lgan, ular tez-tez mashina haydagan va turli ilovalar, jumladan Street Bump-ning faol foydalanuvchilari bo'lgan.
Natijada, tadqiqotning asosiy ob'ekti ilovadagi voqea bo'ldi, ammo statistik jihatdan ahamiyatli qiziqish birligi mobil qurilmadan foydalanuvchi shaxs bo'lishi kerak edi. Smartfon foydalanuvchilarining demografik holatini hisobga olsak (o‘sha paytda ular asosan o‘rta va yuqori daromadga ega oq tanli amerikaliklar edi), ma’lumotlar qanchalik ishonchsiz ekanligi ayon bo‘ldi.
Qasddan noto'g'ri qarash muammosi o'nlab yillar davomida bir tadqiqotdan boshqasiga o'tib kelmoqda: har doim boshqalarga qaraganda ijtimoiy tarmoqlar, ilovalar yoki hashtaglardan faolroq foydalanadigan odamlar bo'ladi. Ma'lumotlarning o'zi etarli emas - sifat muhim ahamiyatga ega. So'rovnomalar so'rov natijalariga ta'sir qilganidek, ma'lumotlarni to'plash uchun ishlatiladigan elektron platformalar ham ushbu platformalar bilan ishlashda odamlarning xatti-harakatlariga ta'sir qilish orqali tadqiqot natijalarini buzib ko'rsatadi.