Big data Abduvaliyev Samandar Asatjon o'g'li

Big data
Abduvaliyev Samandar Asatjon o'g'li
Toshkent davlat iqtisodiyot universiteti 2-bosqich talabasi

Annotatsiya: ushbu tezisda Katta ma'lumotlar nima ekanligi, Katta ma'lumotlarning husisiyatlari, qo'llanishi, hozirgi kunda ijtimoiy hayotmizda Katta ma'lumotlarning o'rni, Katta ma'lumotlarning ta'siri raqamliy iqtisodiyotda Katta ma'lumotlarning ko'nikmalari haqida takidlab o'tilgan.
Kalit so‘zlar: Katta ma'lumotlar tahlilining katta afzalliklari, Katta ma'lumotlardan foydalanish, Katta ma'lumotlarni tahlil qilish vositalari va texnologiyasi

Katta ma'lumotlar tahlili ma'lumotlarga asoslangan qarorlar qabul qilishga yordam berish uchun katta hajmdagi xom ma'lumotlardagi tendentsiyalar, naqshlar va korrelyatsiyalarni aniqlash jarayonini tavsiflaydi. Ushbu jarayonlar klasterlash va regressiya kabi tanish statistik tahlil usullaridan foydalanadi va ularni yangi vositalar yordamida yanada kengroq ma'lumotlar to'plamlariga qo'llaydi. Katta ma'lumotlar 2000-yillarning boshidan beri shov-shuvli so'z bo'lib kelgan, o'shanda dasturiy ta'minot va apparat imkoniyatlari tashkilotlarga katta hajmdagi tuzilmagan ma'lumotlar bilan ishlash imkonini bergan.
O'shandan beri Amazondan smartfonlargacha bo'lgan yangi texnologiyalar tashkilotlar uchun mavjud bo'lgan katta hajmdagi ma'lumotlarga ko'proq hissa qo'shdi. Ma'lumotlarning portlashi bilan katta ma'lumotlarni saqlash va qayta ishlash uchun Hadoop, Spark va NoSQL ma'lumotlar bazalari kabi dastlabki innovatsion loyihalar yaratildi. Ushbu soha rivojlanishda davom etmoqda, chunki ma'lumotlar muhandislari sensorlar, tarmoqlar, tranzaksiyalar, aqlli qurilmalar, internetdan foydalanish va boshqalar tomonidan yaratilgan katta hajmdagi murakkab ma'lumotlarni birlashtirish yo'llarini izlaydi. Hozir ham katta ma'lumotlarni tahlil qilish usullari mashinani o'rganish kabi rivojlanayotgan texnologiyalar bilan murakkabroq tushunchalarni kashf qilish va kengaytirish uchun qo'llanilmoqda.
Katta ma'lumotlar tahlili tashkilotlarga katta ma'lumotlarini ishlatishda yordam berish uchun katta ma'lumotlar to'plamlarini yig'ish, qayta ishlash, tozalash va tahlil qilishni anglatadi.
Katta ma'lumotlar tahlilining katta afzalliklari
Ko'proq ma'lumotlarni tezroq tahlil qilish qobiliyati tashkilotga katta foyda keltirishi va muhim savollarga javob berish uchun ma'lumotlardan samaraliroq foydalanish imkonini beradi. Katta ma'lumotlar tahlili muhim ahamiyatga ega, chunki u tashkilotlarga imkoniyatlar va xavflarni aniqlash uchun bir nechta manbalardan ko'p formatdagi ulkan hajmdagi ma'lumotlardan foydalanishga imkon beradi, bu esa tashkilotlarga tez harakat qilish va o'z natijalarini yaxshilashga yordam beradi. Katta ma'lumotlar tahlilining ba'zi afzalliklari quyidagilardan iborat:

1. 
   Xarajatlarni tejash.
   
2. 
   Tashkilotlarga biznesni samaraliroq qilish yo'llarini aniqlashga yordam berish
   
3. 
   Mahsulot ishlab chiqish.
   
4. 
   Mijozlarning ehtiyojlarini yaxshiroq tushunishni ta'minlash
   
5. 
   Bozor tushunchalari.
   
6. 
   Xarid qilish harakati va bozor tendentsiyalarini kuzatish.
   

Katta ma'lumotlarning katta muammolari

Katta ma'lumotlar katta foyda keltiradi, biroq u yangi maxfiylik va xavfsizlik muammolari, biznes foydalanuvchilari uchun foydalanish imkoniyati va biznes ehtiyojlaringiz uchun to'g'ri echimlarni tanlash kabi katta muammolarni ham keltirib chiqaradi. Kiruvchi ma'lumotlardan foydalanish uchun tashkilotlar quyidagilarga murojaat qilishlari kerak:
Katta ma'lumotlardan foydalanish imkoniyatini yaratish. Ma'lumotlar miqdori oshgani sayin ma'lumotlarni yig'ish va qayta ishlash qiyinlashadi. Tashkilotlar barcha malaka darajasidagi ma'lumotlar egalari foydalanishi uchun ma'lumotlarni oson va qulay qilishlari kerak.

• 
  Sifatli ma'lumotlarni saqlash. Ko'p ma'lumotlarni saqlab qolish uchun tashkilotlar dublikatlar, xatolar, yo'qliklar, nizolar va nomuvofiqliklarni tekshirish uchun har qachongidan ham ko'proq vaqt sarflamoqda.
  
• 
  Ma'lumotlarni xavfsiz saqlash. Ma'lumotlar miqdori oshgani sayin, maxfiylik va xavfsizlik bilan bog'liq muammolar ham ortadi. Tashkilotlar katta ma'lumotlardan foydalanishdan oldin muvofiqlikka intilishi va qattiq ma'lumotlar jarayonlarini o'rnatishi kerak.
  
• 
  Kerakli vositalar va platformalarni topish. Katta ma'lumotlarni qayta ishlash va tahlil qilish uchun yangi texnologiyalar doimo ishlab chiqiladi.
  

Tashkilotlar o'zlarining o'rnatilgan ekotizimlarida ishlash uchun to'g'ri texnologiyani topishlari va ularning alohida ehtiyojlarini qondirishlari kerak. Ko'pincha, to'g'ri echim, shuningdek, kelajakdagi infratuzilma o'zgarishlariga mos keladigan moslashuvchan echimdir.
Katta ma'lumotlarni tahlil qilish vositalari va texnologiyasi
Katta ma'lumotlar tahlilini bitta vosita yoki texnologiyaga qisqartirib bo'lmaydi. Buning o'rniga, katta ma'lumotlarni yig'ish, qayta ishlash, tozalash va tahlil qilishda yordam berish uchun bir nechta turdagi vositalar birgalikda ishlaydi. Katta ma'lumotlar ekotizimlarining ba'zi asosiy o'yinchilari quyida keltirilgan.

• 
  Hadoop - bu tovar apparatlari klasterlarida katta ma'lumotlar to'plamlarini samarali saqlaydigan va qayta ishlaydigan ochiq manbali ramka. Ushbu ramka bepul va katta hajmdagi tuzilgan va tuzilmagan ma'lumotlarni qayta ishlashga qodir, bu uni har qanday katta ma'lumotlar operatsiyalari uchun qimmatli tayanchga aylantiradi.
  
• 
  NoSQL ma'lumotlar bazalari relyatsion bo'lmagan ma'lumotlarni boshqarish tizimlari bo'lib, ular qattiq sxemani talab qilmaydi, bu ularni katta, xom, tuzilmagan ma'lumotlar uchun ajoyib imkoniyatga aylantiradi. NoSQL "nafaqat SQL" degan ma'noni anglatadi va bu ma'lumotlar bazalari turli xil ma'lumotlar modellarini boshqarishi mumkin.
  
• 
  MapReduce ikkita funktsiyani bajaradigan Hadoop ramkasining muhim tarkibiy qismidir. Birinchisi, ma'lumotlarni klaster ichidagi turli tugunlarga filtrlaydigan xaritalash. Ikkinchisi - qisqartirish, bu so'rovga javob berish uchun har bir tugunning natijalarini tartibga soladi va kamaytiradi.
  
• 
  YARN "Yana bir manba muzokarachisi" degan ma'noni anglatadi. Bu ikkinchi avlod Hadoop ning yana bir komponentidir. Klasterni boshqarish texnologiyasi klasterdagi ishlarni rejalashtirish va resurslarni boshqarishda yordam beradi.
  
• 
  Spark ochiq manbali klasterli hisoblash tizimi bo‘lib, u butun klasterlarni dasturlash interfeysini ta’minlash uchun yashirin ma’lumotlar parallelligi va xatolarga chidamlilikdan foydalanadi. Tez hisoblash uchun Spark ham ommaviy, ham oqimlarni qayta ishlashga qodir.
  
• 
  Tableau - bu sizga katta ma'lumotlar haqidagi tasavvurlaringizni tayyorlash, tahlil qilish, hamkorlik qilish va almashish imkonini beruvchi yakuniy ma'lumotlarni tahlil qilish platformasi. Tableau o'z-o'ziga xizmat ko'rsatish vizual tahlilida ustunlik qiladi, bu odamlarga boshqariladigan katta ma'lumotlarga oid yangi savollarni berish va bu tushunchalarni tashkilot bo'ylab osongina almashish imkonini beradi.