Big data tahlili

Fizik zaxira tarmoqlari
Tarmoqlar zaruratdan ortiq boʻlishi kerak va biznes duch keladigan “normal” tarmoq trafigidan tashqari, kiruvchi va chiquvchi ma’lumotlarning kutilayotgan hajmi va tezligini qondirish uchun yetarli tarmoqli kengligiga ega boʻlishi kerak. Katta ma’lumotni hisoblash strategiyangizning ajralmas qismiga aylantira boshlaganingizda, hajmi va tezligi oshishini kutish maqsadga muvofiqdir.
Infratuzilma dizaynerlari ushbu kutilayotgan oʻsishni rejalashtirishlari va “elastik” fizik dasturlarni yaratishga harakat qilishlari kerak. Tarmoq trafigi pasayib ketganda, amalga oshirish bilan bogʻliq boʻlgan jismoniy aktivlar toʻplami ham oʻzgaradi. Sizning infratuzilma operatoringiz ish hajmidagi oʻzgarishlarni qondirish uchun koʻproq manbalar zarur boʻlganda javob berishi uchun monitoring imkoniyatlarini taklif qilishi kerak.
Uskunani boshqarish: Saqlash va serverlar
Xuddi shu tarzda, apparat resurslari (xotira va server) barcha kutilayotgan katta ma’lumotlar imkoniyatlarini boshqarish uchun yetarli tezlik va imkoniyatlarga ega boʻlishi kerak. Sekin serverlar bilan yuqori tezlikdagi tarmoqqa ega boʻlish befoyda, chunki serverlar toʻsiq boʻlib qolish ehtimoli koʻproq. Biroq, saqlash va hisoblash serverlarining juda tezkor toʻplami oʻzgaruvchan tarmoq ish faoliyatini engib chiqishi mumkin. Albatta, tarmoq ishlashi yomon yoki ishonchsiz boʻlsa, hech narsa kutilganidek ishlamaydi.


Infratuzilma amallari
Dizaynning yana bir muhim jihati - bu infratuzilma amallarini boshqarish. Amalga oshirish va moslashuvchanlikning eng yuqori darajasi faqat yaxshi boshqariladigan muhitda boʻladi. Ma’lumotlar markazlari menejerlari ma’lumotlarning yaxlitligini va natijada ish jarayonlarini saqlab qolish uchun halokatli nosozliklarni oldindan koʻrishlari va oldini olishlari kerak. IT tashkilotlari koʻpincha e’tibordan chetda qolishadi va shuning uchun ushbu sohaga kam mablagʻ sarflanadi.

1-qatlam: Xavfsizlik infratuzilmasi

Katta ma’lumotlarning xavfsizligi va maxfiyligi talablari odatdagi ma’lumotlar muhiti talablariga oʻxshashdir. Xavfsizlik talablari aniq biznes ehtiyojlari bilan chambarchas bogʻliq boʻlishi kerak. Katta ma’lumotlar strategiyaning bir qismiga aylanganda, ba’zi bir noyob muammolar paydo boʻladi, biz ushbu roʻyxatda qisqacha bayon qilamiz:

• 
  Ma’lumotlarga kirish: Foydalanuvchining ishlov berilmagan yoki hisoblangan katta ma’lumotlarga kirishi, texnik ma’lumotlarning kichik darajadagi tatbiq etilishi bilan bir xil darajada. Ma’lumotlar faqat qonuniy biznesni oʻrganishi yoki ular bilan oʻzaro aloqada boʻlishi kerak boʻlganlar uchun mavjud boʻlishi kerak. Aksariyat asosiy saqlash platformalari kuchli xavfsizlik sxemalariga ega va koʻpincha arxitekturaning bir necha qatlamlari boʻylab tegishli kirishni ta’minlash uchun federatsiya identifikatsiya qobiliyatlari bilan toʻldiriladi.
  
• 
  Ilovaga kirish: Ma’lumotlarga dasturga kirish texnik jihatdan ham nisbatan oson. Koʻpgina amaliy dasturiy interfeyslar (API) ruxsatsiz foydalanish yoki kirishdan himoya qiladi. Ushbu himoya darajasi, ehtimol katta ma’lumotlarning koʻpchiligiga mos keladi.
  
• 
  Ma’lumotlarni shifrlash: Ma’lumotlarni shifrlash - bu katta ma’lumotlar muhitida xavfsizlikning eng qiyin jihati. An’anaviy muhitda ma’lumotlarni shifrlash va paroʻlini hal qilish haqiqatan ham tizim resurslariga zoʻriqishdir. Ushbu muammo katta ma’lumotlar bilan bogʻliq hajm, tezlik va xilma-xillik bilan murakkablashadi. Oddiy (qo'pol) yondashuv koʻproq va tezroq hisoblash quvvatini ta’minlashdir. Biroq, bu katta xarajatlarga olib keladi, ayniqsa, xatolarga bardoshlik talablariga rioya qilish kerak boʻlganda. Ushbu darajadagi xavfsizlikni talab qiladigan ma’lumotlar elementlarini aniqlash va faqat kerakli narsalarni shifrlash yanada konservativ yondashuvdir.
  
• 
  Xavfni aniqlash: Mobil qurilmalar va ijtimoiy tarmoqlarni paydo boʻlishi ma’lumotlar hajmini va xavfsizlikka tahdid qilish imkoniyatlarini keskin oshirib bormoqda. Shu sababli, tashkilotlarning xavfsizlikka multiperimetrik yondoshishi muhim ahamiyatga ega.
  

Ilovalar ichidagi va tashqarisidagi interfeyslar va kanallar

Shunday qilib, fizik infratuzilma hamma narsaga imkon beradi va xavfsizlik infratuzilmasi sizning katta ma’lumotlar muhitidagi barcha elementlarni himoya qiladi. Stekning keyingi darajasi - bu stekdagi hamma narsaga korporativ dasturlardan tortib, Internetdan ma’lumot lentalariga qadar ikki tomonlama kirishni taʻminlaydigan interfeyslar. Ushbu interfeyslarni loyihalashtirishning muhim qismi ichki va ehtimol tashqi, shuningdek texnologiya va biznes sheriklari bilan boʻlishadigan izchil tuzilmani yaratishdir.
Oʻnlab yillar davomida dasturchilar dasturiy ta’minotni amalga oshirishga kirish va kirish uchun API lardan foydalanganlar. Asboblar va texnologiya etkazib beruvchilar oʻz mahsulotlaridan foydalangan holda yangi dasturlarni yaratish uchun qoʻllaridan kelganicha harakat qilishadi. Bu juda foydali boʻlsa-da, Ba’zida IT mutaxassislari faqat kompaniya uchun maxsus yoki xususiy API yaratishlari kerak. Siz buni raqobatdosh ustunlik uchun, tashkilotingizning maxsus ehtiyojlari yoki boshqa biron bir biznes talablari uchun qilishingiz kerak boʻlishi mumkin va bu oson ish emas. Biznes qiymatini saqlab qolish uchun API-larni yaxshi hujjatlashtirish va saqlash kerak. Shu sababli, ba’zi kompaniyalar ushbu muhim faoliyatni boshlash uchun API vositalaridan foydalanishni tanlaydilar.
API asboblar toʻplamlari xususiy API-larga nisbatan bir nechta afzalliklarga ega. Birinchidan, API asboblar toʻplami - bu mustaqil uchinchi tomon tomonidan yaratilgan, boshqariladigan va saqlanadigan mahsulotlar. Ikkinchidan, ular muayyan texnik talablarni qondirish uchun moʻljallangan. Agar sizga veb yoki mobil ilovalar uchun API kerak boʻlsa, boshlash uchun sizda bir nechta alternativalar mavjud.
Katta ma’lumotlar muammolari APIni loyihalash yoki amalga oshirishda biroz boshqacha yondashuvni talab qiladi. Ma’lumotlarning aksariyati strukturalanmagan va sizning biznesingiz nazoratidan tashqarida hosil boʻlganligi sababli, tabiiy tilni qayta ishlash (NLP) deb nomlangan yangi texnika katta ma’lumotlar va sizning ilovalaringiz oʻrtasida aloqa qilishning afzal uslubiga aylanmoqda. NLP SQL kabi rasmiy soʻrovlar tili oʻrniga tabiiy til sintaksisidan foydalanib soʻrovlarni shakllantirishga imkon beradi. Koʻpgina katta ma’lumotlar foydalanuvchilari uchun 30 qatorli SQL soʻrovini yozishdan koʻra, “AQShning Janubi-sharqida yashovchi va NASCAR muxlislari boʻlgan 30-40 yoshdagi barcha turmush qurgan erkak iste'molchilarni roʻyxatini tuzing” deb soʻrash osonroq boʻladi.
Interfeyslarni hal qilishning usullaridan biri bu “ulagich” fabrikani amalga oshirishdir. Ushbu ulagich fabrikasi bu jarayonga mavhumlik va bashorat qilish qatlamini qoʻshadi va xizmatga yoʻnaltirilgan arxitektura (SOA) da qoʻllaniladigan koʻplab darslar va metodlarni qoʻllaydi.
Koʻpgina ma’lumotlarning yigʻilishi va harakati juda oʻxshash xususiyatlarga ega boʻlganligi sababli, siz tanlagan saqlash tizimida katta ma’lumotlarni toʻplash, tozalash, oʻzgartirish, normallashtirish va saqlash boʻyicha xizmatlar toʻplamini ishlab chiqishingiz mumkin. Kerakli moslashuvchanlikni ta’minlash uchun fabrika kengaytirilgan markalash tilida (XML) yozilgan interfeys tavsiflari yordamida boshqarilishi mumkin. Ushbu abstraktsiya qatlami har bir ma’lumot manbai uchun maxsus xizmatlarni yaratmasdan, aniq va tezkor ravishda aniq interfeyslarni yaratishga imkon beradi.
Amalda siz SAP yoki Oracle dastur interfeyslarining tavsifini XML kabi narsalardan foydalanishingiz mumkin. Har bir interfeys SAP yoki Oracle-dan qat’iy nazar katta ma’lumotlar va ishlab chiqarish dasturlari muhitlari oʻrtasida ma’lumotlarni koʻchirish uchun bir xil asosiy dasturlardan foydalanadi. Agar siz Internetdagi ijtimoiy saytlardan (masalan, Facebook, Google+ va hk) ma’lumotlarni toʻplashingiz kerak boʻlsa, amaliyot ham shunga oʻxshash boʻladi. XML-da sayt interfeyslarini tavsiflang va keyin ma’lumotlarni oldinga va orqaga koʻchirish uchun xizmatlardan foydalaning. Odatda, ushbu interfeyslar ichki va tashqi texnologlar tomonidan foydalanish uchun hujjatlashtirilgan.

2-qatlam: Operatsion ma’lumotlar bazalari

Har qanday katta ma’lumotlar muhitining asosiy qismida sizning biznesingizga tegishli ma’lumotlar toʻplamlarini oʻz ichiga olgan ma’lumotlar bazasi tizimlari mavjud. Ushbu tizimlar tezkor, oʻlchovli va ishonchli boʻlishi kerak. Hammasi ham teng ravishda yaratilgan emas va ba’zi bir katta ma’lumotlar muhiti bir tizim bilan boshqasiga qaraganda yaxshiroq ishlaydi yoki ehtimol ma’lumotlar bazasi tizimlarining kombinatsiyasi. Masalan, ma’lumotlar bazasini boshqarishning relyatsion tizimlarini (RDBMS) barcha katta ma’lumotlarni amalga oshirish uchun ishlatish mumkin boʻlsa-da, bu ishlash, miqyosi va hatto xarajatlari tufayli amaliy emas. Ma’lumotlar bazalarining bir qator turli xil texnologiyalari mavjud va siz ularni oqilona tanlashingiz kerak.
Ma’lumotlar bazasi tillari uchun yagona toʻgʻri tanlov mavjud emas. SQL bugungi kunda qoʻllaniladigan ma’lumotlar bazasi uchun eng keng tarqalgan soʻrovlar tili boʻlsa, boshqa tillar katta ma’lumotlar muammolarini hal qilishning yanada samarali yoki samarali usulini taqdim etishi mumkin. Tizimlar va tillarni “ishlab chiquvchilar uchun asboblar qutisi” dagi vositalar sifatida tasavvur qilish foydalidir. Sizning vazifangiz toʻgʻri vositani tanlashdir.
Masalan, agar siz relyatsion modeldan foydalansangiz, uni soʻroq qilish uchun SQLdan foydalanishingiz mumkin. Shu bilan birga, siz Python yoki Java kabi muqobil tillardan ham foydalanishingiz mumkin. Ma’lumotlar bazasi qanday turdagi ma’lumotlarni boshqarishi va haqiqiy tranzaktsion xatti-harakatni qoʻllab-quvvatlayaptimi yoʻqligini tushunish juda muhimdir. Ma’lumotlar bazasini ishlab chiquvchilari ushbu xatti-harakatni ACID deb ta’riflaydilar. Bu quyidagilarni bildiradi:

• 
  Atomiklik: Tranzaksiya atomik boʻlganda “hammasi yoki xechnarsa” hisoblanadi. Agar tranzaktsiyaning biron bir qismi yoki asosiy tizim ishlamay qolsa, butun amal bajarilmaydi.
  
• 
  Muvofiqlik: Ma’lumotlar bazasida faqat haqiqiy ma’lumotlarga ega amallar ishlaydi. Agar ma’lumotlar buzilgan yoki notoʻgʻri boʻlsa, tranzaksiya tugamaydi va ma’lumotlar bazasiga yozilmaydi.
  
• 
  Izolyatsiya: Bir vaqtning oʻzida bir nechta amallar bir-biriga xalaqit bermaydi. Barcha amaldagi tranzaksiyalar tugaguniga qadar va ularni qayta ishlashga topshirilgan tartibda amalga oshiriladi.
  
• 
  Chidamlilik: tranzaksiya ma’lumotlari ma’lumotlar bazasiga yozilgandan soʻng, u yerda “abadiy” qoladi.
  

4.1-jadvalda SQL va NoSQL ma’lumotlar bazalarining ushbu xususiyatlarini taqqoslash taklif etiladi.