Big Data asosiy tamoyillari: Trumpning siyosiy strateglari va sotuvchilari

ESSEY
REJA:

1. Big Data asosiy tamoyillari:

2. Trumpning siyosiy strateglari va sotuvchilari

3. 
   Google va Yandex qidiruv tizimlarida saqlanadigan ma'lumotlar
   
4. 
   XULOSA.
   

• 
  

Hozirgi vaqtda ma’lumotlarning hajmi keskin o’sib bormoqda. Bozor o’zgarishlariga tezda javob berish, raqobatdosh ustunliklarga ega bo’lish va ishlab chiqarish samaradorligini oshirish uchun juda katta hajmdagi ma’lumotlarni olish, qayta ishlash va tahlil qilish kerak. Bunday hajmdagi ma’lumotlar bilan ishlash uchun muhandislar barcha ma’lumotlarni tahlil qilish ustida ishlash vositalarini modernizatsiya qilishga majbur bo’lishdi. Shunday qilib, 2000-yillarda BigData kontseptsiyasi shakllandi, bu faqat tor doiradagi mutaxassislar uchun qiziqarli edi. Endi bu so’zni axborot texnologiyalari sohasiga qiziqqan har bir kishi eshitadi. BigData texnologiyalari sizga katta hajmdagi ma’lumotlarni qayta ishlash, ularni tizimlashtirish, tahlil qilish va inson miyasi ularni hech qachon sezmaydigan naqshlarni aniqlash imkonini beradi. Bu ma’lumotlardan foydalanish uchun mutlaqo yangi imkoniyatlarni ochadi. BigData kontseptsiyasi nafaqat ma’lumotlarning katta qatlamlarini anglatadi. Bular yuzlab gigabaytlik va hatto petabaytlik ma’lumotlardan iborat ulkan saqlangan va qayta ishlangan massivlardir. Ulardan foydali ma’lumotlarni qayta ishlash va olish mumkin bo’lgan ma’lumotlar. Xulosa qilib aytganda, BigData ma’lumot olish uchun axborotni qayta ishlash texnologiyalari to’plami sifatida belgilanishi mumkin. Shuni ta’kidlash kerakki, BigData orqali qayta ishlangan ma’lumotlar hajmi, shuningdek, uni qayta ishlash tezligi doimiy ravishda o’sib bormoqda. Ushbu yo’nalishning rivojlanishi zamonaviy dunyoga juda mos keladi, tezkor va innovatsiondir. BigData ning rivojlanishi bilan texnologiya rivojlandi va aksincha. BigData-dan foydalanish bugungi kunda yirik IT-kompaniyalar rivojlanishining zaruriy shartiga aylanib bormoqda. Foydalanuvchilarning xatti-harakatlarini tahlil qilmasdan, bashorat qilish imkoniyatisiz, faqat tajriba va sezgi asosida, raqobatbardosh bo’lib qolish juda qiyin. Sozlangan va ishlaydigan BigData tizimi bir necha soniya ichida kompaniya mijozlarining milliardlab harakatlari tahlili natijasida olingan qimmatli ma’lumotlarni taqdim etishga qodir. Hozirgi biznesda ma’lumotlarga asoslangan boshqaruv kontseptsiyasi allaqachon paydo bo’lgan, bu kompaniyani qat’iy ma’lumotlar tahliliga asoslangan boshqarishni nazarda tutadi. Va bunday boshqaruv usullari ajoyib natijalarni ko’rsatadi. Facebook, Google, Mail.ru, Yandex uzoq vaqtdan beri qaror qabul qilish uchun tahliliy vositalardan foydalanib kelmoqda. Bugungi kunda an’anaviy biznes ham BigData ga qiziqish bildirmoqda, ularning vakillari samaradorlikni oshirish uchun yangi vositalarga muhtoj. BigData bilan ishlashning asosiy tamoyillari. 1. Gorizontal miqyoslilik: ma’lumotlar juda ko’p bo’lishi mumkinligi sababli, ular saqlanadigan tizim kengaytirilishi kerak. Agar ma’lumotlar miqdori ikki baravar ko’paygan bo’lsa, u holda klasterlar soni ikki baravar ko’payadi. 2. Xatolarga chidamlilik: gorizontal miqyoslilik klasterda ko’p sonli mashinalar mavjudligini anglatadi. Va, albatta, bu mashinalar u yoki bu sabablarga ko’ra muvaffaqiyatsiz bo’ladi. Masalan, Yahoo ning Hadoop klasterida 42 000 dan ortiq mashinalar mavjud. BigData bilan ishlash usullari ushbu omilni hisobga olishi va ko’rinadigan yo’qotishlarsiz ishlashni davom ettirishi kerak. 3. Ma’lumotlarning joylashishi: katta tizimlarda ma’lumotlar ko’p sonli mashinalar bo’ylab taqsimlanadi. Agar ma’lumotlar bir mashinada joylashgan bo’lsa va boshqa mashinada qayta ishlansa, bu ma’lumotlarni uzatish narxi hatto qayta ishlash narxidan oshib ketishi mumkin. Shuning uchun BigData dizaynidagi muhim masala - ma’lumotlarning joylashuvi, ma’lumotlarni u saqlanadigan joyda qayta ishlash printsipi. Big Data axborot texnologiyalarining eng tez rivojlanayotgan yo’nalishlaridan biri bo’lib, statistik ma’lumotlarga ko’ra, qabul qilingan va saqlanadigan ma’lumotlarning umumiy hajmi har 1-2 yilda ikki barobar ortadi. 2012-2014-yillarda mobil tarmoqlar orqali har oyda uzatiladigan maʼlumotlar hajmi 81 foizga oshdi. Cisco ning hisob-kitoblariga ko’ra, 2014-yilda mobil trafik hajmi oyiga 2,5 ekzabaytni (10 ^ 18 standart baytga teng axborot miqdori o’lchov birligi) tashkil etgan bo’lsa, 2019 yilda esa 24,3 ekzabaytga teng bo’ladi. Shunday qilib, BigData biznesning ko’plab sohalarida keng tarqalgan va kompaniyalar rivojlanishida muhim rol o’ynaydigan nisbatan yosh bo’lishiga qaramay, allaqachon shakllangan texnologiya sohasidir. BigData texnologiyalari BigData ni yig’ish va qayta ishlash uchun foydalaniladigan texnologiyalarni 3 guruhga bo’lish mumkin: - Dasturiy ta’minot; - Uskunalar; - Xizmatlar. Ma’lumotlarni qayta ishlashning eng keng tarqalgan yondashuvlari (dasturiy ta’minot) quyidagilardir: SQL - bu ma’lumotlar bazalari bilan ishlash imkonini beruvchi tuzilgan so’rovlar tili. SQL-dan foydalanib, siz ma’lumotlarni yaratishingiz va o’zgartirishingiz mumkin va ma’lumotlar massivi tegishli ma’lumotlar bazasini boshqarish tizimi tomonidan boshqariladi. NoSQL - atama Not Only SQL (nafaqat SQL) degan ma’noni anglatadi. U ma’lumotlar bazasini amalga oshirishga qaratilgan bir qator yondashuvlarni o’z ichiga oladi, ular an’anaviy, relyatsion MBBT da qo’llaniladigan modellardan farq qiladi. Ular doimiy o’zgaruvchan ma’lumotlar tuzilmasi bilan foydalanish uchun qulay. Masalan, ijtimoiy tarmoqlarda ma’lumotlarni yig’ish va saqlash. MapReduce - bu hisoblash taqsimoti modeli. Juda katta ma’lumotlar to’plamlarida parallel hisoblash uchun ishlatiladi (petabayt* yoki undan ko’p). Dasturlash interfeysida ma’lumotlar ishlov berish uchun dasturga o’tkazilmaydi, lekin dastur ma’lumotlarga o’tkaziladi. Shuning uchun so’rov alohida dastur hisoblanadi. Ishlash printsipi ikkita Map va Reduce usuli bilan ma’lumotlarni ketma-ket qayta ishlashdan iborat. Xarita dastlabki ma’lumotlarni tanlaydi, Reduce ularni yig’adi. Hadoop - yuqori yuklangan saytlar uchun qidiruv va kontekstli mexanizmlarni amalga oshirish uchun ishlatiladi - Facebook, eBay, Amazon va boshqalar. O’ziga xos xususiyat shundaki, tizim har qanday klaster tugunlarining ishdan chiqishidan himoyalangan, chunki har bir blokda kamida bitta nusxa mavjud. SAP HANA - yuqori samarali NewSQL ma’lumotlarni saqlash va qayta ishlash platformasi. Yuqori tezlikda so’rovni qayta ishlashni ta’minlaydi. Yana bir farqlovchi tomoni shundaki, SAP HANA analitik tizimlarni qo’llab-quvvatlash xarajatlarini kamaytirish orqali tizim landshaftini soddalashtiradi. BigData muammolari BigData tizimining muammolarini uchta asosiy guruhga bo’lish mumkin: hajm, ishlov berish tezligi, tizimlashtirilmaganlik. Bular uchta V - Volume, Velocity va Variety Katta hajmdagi ma’lumotlarni saqlash maxsus shartlarni talab qiladi va bu makon va imkoniyatlar masalasidir. Tezlik nafaqat qayta ishlashning eski usullaridan kelib chiqadigan mumkin bo’lgan sekinlashuv va "tormozlash" bilan bog’liq, balki bu interaktivlik masalasidir: jarayon qanchalik tez bo’lsa, daromad qanchalik ko’p bo’lsa, natija shunchalik samarali bo’ladi. Bir xil emaslik va tizimlashmaganlik muammosi manbalar, formatlar va sifatlarning parchalanishi tufayli yuzaga keladi. Ma’lumotlarni birlashtirish va ularni samarali qayta ishlash uchun nafaqat uni ishlaydigan shaklga keltirish bo’yicha ish, balki ma’lum analitik vositalar (tizimlar) ham talab qilinadi. Lekin bu hammasi emas. Ma’lumotlarning "kattaligi" ni cheklash muammosi mavjud. Buni aniqlash qiyin, ya’ni keyingi rivojlanish uchun qanday texnologiyalar va qancha moliyaviy in’ektsiya talab qilinishini oldindan aytish qiyin. Resurslar cheksiz emas, barcha mumkin bo’lgan ma’lumotlarni saqlash bir nuqtada amaliy bo’lmaydi. Shuningdek, ma’lumotlarning bir qismini rad etish zarurati mavjud. Aslida, bu kompaniyada BigData loyihalarini amalga oshirish kechikishining asosiy sababidir (agar siz yana bir omilni hisobga olmasangiz - ancha yuqori narx). Qayta ishlash uchun ma’lumotlarni tanlash va tahlil qilish algoritmi muammoga aylanishi mumkin, chunki qanday ma’lumotlarni to’plash va saqlash kerakligi va qaysi biriga e’tibor bermaslik kerakligi haqida hech qanday tushuncha yo’q. Sohaning yana bir “og’riqli nuqtasi” yaqqol ko’rinib turibdi - chuqur tahlil qilish, biznes muammolarini hal qilish uchun hisobotlar yaratish va natijada BigData dan foyda (investitsiya daromadi) olishga ishonish mumkin bo’lgan professional mutaxassislarning yetishmasligi. Bu yerda siz yana bir muammoga to’xtashingiz mumkin - ma’lumotlarni saqlash va ulardan foydalanish xavfsizligini ta’minlash. Masalan, onlayn-do’konlarning vebsaytlarida potentsial xaridorlar va ularning o’tish tarixi haqidagi ma’lumotlar ko’plab biznes muammolarini hal qilish uchun noyobdir. Ammo iste’molchilar avtomatik ravishda (shunchaki saytga tashrif buyurib) o’z ma’lumotlarini uzatadigan analitik platforma xavfsizmi, bu juda ko’p bahs-munozaralarga sabab bo’ladi. BigData biz uchun ishlab chiqarishni rejalashtirish, ta’lim, sog’liqni saqlash va boshqa sohalarda yangi ufqlarni ochadi. Agar ularning rivojlanishi davom etsa, BigData texnologiyalari ishlab chiqarish omili sifatida axborotni mutlaqo yangi sifat darajasiga ko’tarishi mumkin. Axborot nafaqat mehnat va kapitalga tenglashadi, balki zamonaviy iqtisodiyotning eng muhim resursiga aylanadi.

• 
  Aslida, atamaning ta'rifi yuzaga chiqadi: "katta ma'lumotlar" juda katta hajmdagi ma'lumotlarni boshqarish va ularni tahlil qilishni anglatadi. Agar siz kengroq qarasangiz, bu juda katta hajm tufayli klassik usullar bilan qayta ishlanmaydigan ma'lumotlar.
  
• 
  Big Data atamasi o'zi nisbatan yaqinda paydo bo'lgan. Google Trends ma'lumotlariga ko'ra, ushbu mashhurlikning faol o'sishi 2011 yil oxiriga to'g'ri keladi:
  
• 
  2010 yilda katta ma'lumotlarni qayta ishlash bilan bevosita bog'liq bo'lgan birinchi mahsulotlar va echimlar paydo bo'ldi. 2011 yilga kelib, eng yirik IT-kompaniyalar, shu jumladan IBM, Oracle, Microsoft va Hewlett-Packard, o'z biznes strategiyalarida Big Data atamasidan faol foydalanmoqdalar. Asta-sekin, axborot texnologiyalari bozori tahlilchilari ushbu kontseptsiya bo'yicha faol izlanishlarni boshlaydilar.
  
• 
  Hozirgi vaqtda ushbu atama katta shuhrat qozondi va turli sohalarda faol qo'llanilmoqda. Ammo Katta Ma'lumotlar bu mutlaqo mutlaqo yangi hodisa, deb aniq aytish mumkin emas, aksincha, katta ma'lumotlar manbalari ko'p yillar davomida mavjud bo'lgan. Marketingda ularni mijozlar xaridlari, kredit tarixlari, turmush tarzi va hokazolarning ma'lumotlar bazasi deb atash mumkin. Yillar davomida tahlilchilar ushbu ma'lumotlardan kompaniyalarga mijozlarning kelajakdagi ehtiyojlarini bashorat qilish, xatarlarni baholash, iste'molchilarning xohish-istaklarini shakllantirish va h.k.
  
• 
  Hozirgi vaqtda vaziyat ikki jihatdan o'zgargan:
  
• 
  - turli xil ma'lumotlar to'plamlarini tahlil qilish va taqqoslash uchun yanada murakkab vositalar va usullar paydo bo'ldi;
  

• - Tahlil vositalari turli xil yangi ma'lumotlar manbalari bilan to'ldirildi, bu raqamli texnologiyalarga keng o'tish bilan bog'liq, shuningdek ma'lumotlarni yig'ish va o'lchashning yangi usullari.Tadqiqotchilar Big Data texnologiyalaridan ishlab chiqarish, sog'liqni saqlash, savdo, davlat boshqaruvi va boshqa turli sohalar va sohalarda eng faol foydalanilishini taxmin qilishmoqda.

  
  
• 
  Big Data bu ma'lum bir ma'lumotlar to'plami emas, balki ularni qayta ishlash usullari to'plami. Katta ma'lumotlar uchun aniqlovchi xususiyatnafaqatuninghajmi, balki ma'lumotlarni qayta ishlash va tahlil qilishning og'ir jarayonlarini tavsiflovchi boshqa toifalardir.
  
• 
  Qayta ishlash uchun dastlabki ma'lumotlar bo'lishi mumkin, masalan:
  
• 
  - Internet foydalanuvchilari xulq-atvori jurnallari;
  - narsalar Interneti;
  - ijtimoiy media;
  - meteorologik ma'lumotlar;
  - yirik kutubxonalarning raqamli kitoblari;
  - transport vositalarining GPS signallari;
  - bank mijozlarining operatsiyalari to'g'risidagi ma'lumotlar;
  - uyali aloqa abonentlarining joylashuvi to'g'risidagi ma'lumotlar;
  - yirik chakana savdo tarmoqlarida xaridlar to'g'risida ma'lumot va boshqalar.
  
•