Big data tahlili

Tarmoqni vituallashtirish
Tarmoqni virtuallashtirish - dasturiy ta’minot bilan aniqlangan tarmoq ulanish resurslari toʻplami sifatida tarmoqdan foydalanishning samarali usulini taʻminlaydi. Tarmoqlar boshqa fizik texnologiyalarga oʻxshash tarzda virtuallashtiriladi. Havolalar orasidagi trafikni boshqarish uchun fizik tarmoqqa ishonishdan koʻra, xuddi shu fizik dastur yordamida bir nechta virtual tarmoqlarni yaratishingiz mumkin. Bu sizga ma’lum bir ishlash va imkoniyatlar xususiyatlariga ega boʻlgan yigʻish tarmogʻini va boshqa ishlash va quvvatga ega dasturlar uchun boshqa tarmoqni belgilashingiz kerak boʻlsa foydali boʻlishi mumkin. Tarmoq sathidagi cheklovlar toʻsiqlarni yaratishi mumkin, bu esa katta ma’lumot muhitida qabul qilinmaydigan kechikishga olib keladi. Tarmoqni virtuallashtirish ushbu toʻsiqlarni kamaytirishga yordam beradi va katta ma’lumotlarni tahlil qilish uchun zarur boʻlgan katta taqsimlangan ma’lumotlarni boshqarishni yaxshilaydi.
Protsessor va xotirani virtuallashtirish
Protsessorni virtuallashtirish protsessorni optimallashtirish va ishlashni maksimal darajada oshirishga yordam beradi. Xotirani virtuallashtirish serverlardan xotirani ajratadi. Katta ma’lumotlarni tahlil qilishda sizda katta ma’lumotlar toʻplamlarining takrorlanadigan soʻrovlari boʻlishi va hali oʻrganilmagan uslub va tendentsiyalarni topish uchun moʻljallangan murakkab analitik algoritmlarni yaratishingiz mumkin. Bunday ilgʻor tahlillarga juda koʻp ishlov berish kuchi (CPU) va xotira (RAM) kerak boʻlishi mumkin. Ushbu hisob-kitoblarning ba’zilari yetarli protsessor va xotira manbalarisiz uzoq vaqt talab qilishi mumkin. Protsessor va xotirani virtuallashtirish jarayonni tezlashtirishga va tahlil natijalarini tezroq olishga yordam beradi.
Ma’lumotlarni va xotirani virtuallashtirish
Ma’lumotlarni virtuallashtirish dinamik ravishda bogʻlangan ma’lumotlar xizmatlari uchun platforma yaratish uchun ishlatilishi mumkin. Bu ma’lumotlarni qidirishni va ularni bitta ma’lumot manbasi orqali bogʻlashni osonlashtiradi. Natijada, ma’lumotlarni virtuallashtirish ma’lumotlar bazasida joylashgan ma’lumotlar bazasidan mustaqil ravishda doimiy ravishda ma’lumotlarni etkazib beradigan mavhum xizmatni taqdim etadi. Bundan tashqari, ma’lumotlarni virtuallashtirish ish faoliyatini yaxshilash uchun barcha dasturlarga keshlangan ma’lumotlarni taqdim etadi.
Xotirani virtuallashtirish yanada samarali almashish uchun fizik xotira resurslarini birlashtiradi. Bu saqlash xarajatlarini pasaytiradi va katta ma’lumotlarni tahlil qilish uchun zarur boʻlgan ma’lumotlar omborlarini boshqarishni soddalashtiradi.
Ma’lumotlarni va xotirani virtuallashtirish katta hajmdagi tezkor va turli xil ma’lumotlarni saqlash, olish va tahlil qilishni osonlashtirish va arzonlashtirishda muhim rol oʻynaydi. Shuni esda tutingki, ba’zi katta ma’lumotlar strukturalangan boʻlmaydi va an’anaviy usullar yordamida osongina saqlanmaydi. Xotirani virtuallashtirish katta va strukturalanmagan ma’lumot turlarini saqlashni osonlashtiradi. Katta ma’lumot muhitida talab boʻyicha turli xil operatsion ma’lumotlar xotiralariga kirishga imkon beradi. Masalan, sizga kamdan-kam hollarda ustunli ma’lumotlar bazasiga kirish zarurati tugʻilishi mumkin. Virtuallashtirish yordamida ma’lumotlar bazasi virtual tasvir sifatida saqlanishi va kerak boʻlganda, qimmatli resurslardan yoki ma’lumotlar markazining kuchidan foydalanmasdan chaqirilishi mumkin.

Gipervizor yordamida virtuallashtirishni boshqarish

Ideal dunyoda siz asosiy operatsion tizim va fizik qurilmalar haqida qayg'urishingizga hojat yoʻq. Gipervizor - bu tartibli va takrorlanadigan resurslarni almashishni ta’minlash uchun mas'ul boʻlgan texnologiya. Bu bir nechta operatsion tizimlarga bitta xostni baham koʻrishga imkon beruvchi transport politsiyasi. U virtual mashinalarni yaratadi va ishga tushiradi. Gipervizor apparat muhitining eng quyi darajalarida oʻtiradi va dinamik resurs almashinuvini ta’minlash uchun ingichka kod qatlamidan foydalanadi (koʻpincha tuzilma deb ataladi). Gipervizor har bir operatsion tizimda barcha fizik resurslarga ega ekanligi haqida taassurot qoldiradi.
Katta ma’lumotlar dunyosida turli xil ish muhitlarini qoʻllab-quvvatlashingiz kerak boʻlishi mumkin. Gipervizor katta ma’lumotlar toʻplamining texnologik tarkibiy qismlari uchun ideal etkazib berish mexanizmiga aylanmoqda. Gipervizor bu dasturni har bir tizimga jismonan koʻchirmasdan bir xil dasturni bir nechta tizimlarda aks ettirishga imkon beradi. Qoʻshimcha foyda sifatida, gipervizorning arxitekturasi tufayli, u har qanday (yoki bir nechta) turli xil operatsion tizimlarni xuddi boshqa dastur kabi yuklashi mumkin. Shunday qilib, hipervizor tez va samarali ravishda virtuallashtirishning amaliy usuli hisoblanadi.
Gipervizorning mohiyatini tushunishingiz kerak. U Windows OS emas, balki server OS sifatida ishlab chiqilgan. Fizik mashinada ishlaydigan har bir virtual mashina mehmon mashinasi deb ataladi. Shunday qilib gipervizor mehmon operatsion tizimlarini hamma narsaga, shu jumladan protsessor, xotira, disk kiritish-chiqarish va boshqa mexanizmlarga kirishni rejalashtiradi. Mehmon operatsion tizimlari bu virtual mashinalarda ishlaydigan operatsion tizimlar. Virtuallashtirish texnologiyasi yordamida gipervizorni fizik kompyuter resurslarini ajratish uchun sozlashingiz mumkin. Resurslarni, masalan, 50/50 yoki 80/20 ni ikkita mehmon operatsion tizim oʻrtasida boʻlish mumkin.
Bu tartibni goʻzalligi shundaki, gipervizor barcha ogʻir ishlarni bajaradi. Mehmon operatsion tizimi virtual qismida ishlayotganiga ahamiyat bermaydi (yoki tasavvurga ega emas); oʻzi uchun kompyuter bor deb oʻylaydi.
Siz asosan ikki turdagi gipervizorlarni topasiz:

• 
  Birinchi turdagi gipervizorlar toʻgʻridan-toʻgʻri apparat platformasida ishlaydi. Ular yuqori samaradorlikka erishadilar, chunki ular toʻgʻridan-toʻgʻri platformada ishlaydi.
  
• 
  Asosiy operatsion tizimda ishlaydigan 2-tur gipervizorlar. Ular koʻpincha kiritish-chiqarish qurilmalarining keng doirasini qoʻllab-quvvatlash zarurati tugʻilganda qoʻllaniladi.
  

Mavhumlik va virtuallashtirish

IT resurslari va xizmatlarini virtuallashtirish uchun ular asosiy fizik etkazib berish muhitidan ajratilgan. Ushbu ajratish harakati uchun texnik atama mavhumlik deb ataladi. Mavhumlik katta ma’lumotlarning asosiy tushunchasidir. MapReduce va Hadoop taqsimlanadigan hisoblash muhiti boʻlib, unda hamma narsa mavhumlashtiriladi. Tafsilotlar qisqartiriladi, shuning uchun ishlab chiquvchi yoki tahlilchi ma’lumotlar elementlari aslida qayerda joylashganligi haqida tashvishlanishiga hojat yoʻq.
Mavhumlik tafsilotlarni yashirish va faqat tegishli ma’lumotlarni taqdim etish orqali biror narsaning murakkabligini minimallashtiradi. Masalan, agar siz ilgari hech ko'rmagan odamni olib ketmoqchi boʻlsangiz, ular sizga qayerda uchrashishingiz, boʻyingiz, sochlaringizning ranglari va kiyinishingizni aytib berishlari mumkin. U sizga qayerda tug'ilganligi, bankda qancha pul borligi, tugʻilgan sanasi va boshqalarni aytib berishiga hojat yoʻq. Bu mavhumlik gʻoyasi - bu narsa qanday ishlashining tafsilotlarini emas, balki yuqori darajadagi spetsifikatsiyani ta’minlashdir. Masalan, bulutda infratuzilma xizmat sifatida (IaaS) foydalanuvchi tomonidan fizik va virtual infratuzilma ma’lumotlarini qisqartiradi.

Katta ma’lumotlar uchun virtuallashtirishni amalga oshirish

Virtuallashtirish sizning IT muhitingizni katta ma’lumotlarni tahlil qilish uchun yetarlicha aqlli qilishga yordam beradi. Infratuzilmangizning barcha elementlarini, shu jumladan apparat, dasturiy ta’minot va saqlashni optimallashtirish orqali siz katta hajmdagi strukturalangangan va strukturalanganmagan ma’lumotlarni qayta ishlash va boshqarish uchun zarur boʻlgan samaradorlikni qoʻlga kiritasiz. Katta ma’lumotlar bilan ishlashda siz taqsimlangan muhitda strukturalangangan va strukturalanganmagan ma’lumotlarga kirishingiz, ularni boshqarishingiz va tahlil qilishingiz kerak.
Katta ma’lumotlar taqsimlashni oʻz zimmasiga oladi. Amalda MapReduce-ning har qanday turi virtuallashtirilgan muhitda yaxshiroq ishlaydi. Sizga hisoblash va saqlash talablari asosida ish yuklarini koʻchirish qobiliyati kerak.
Virtuallashtirish sizga hali oʻrganilmagan katta muammolarni hal qilishga imkon beradi. Qanday tezlikda oʻlchov qilish kerakligini oldindan bilmasligingiz mumkin.
Virtuallashtirish bir nechta amaldagi katta ma’lumotlar zaxirasini qoʻllashga imkon beradi. Masalan, grafikalar bazasi rasm sifatida joylashtirilishi mumkin.
Virtuallashtirishning bevosita yordami bu MapReduce-ni mexanizmini yaxshiroq ishlashidir. Virtuallashtirish MapReduce uchun yanada yaxshi koʻlam va ishlashga olib keladi. Map and Reduce vazifalarining har biri mustaqil ravishda bajarilishi kerak. Agar MapReduce parallellashtirilgan boʻlsa va virtual muhitda ishlashga sozlangan boʻlsa, siz boshqaruv xarajatlarini kamaytirishingiz va ish yuklarining kengayishi va qisqarishiga imkon berishingiz mumkin. MapReduce oʻzi parallel va taqsimlangan. MapReduce mexanizmini virtual konteynerga joylashtirib, kerak boʻlganda kerakli narsani ishlatishingiz mumkin. Virtuallashtirish yordamida siz oldindan toʻlangan mablagʻlarni umumiy resurs zaxiralariga aylantirish orqali ulardan foydalanishni koʻpaytirasiz.