Big data tahlili

Kechikish bilan bogʻliq muammo
Ma’lumotlarni boshqarish bilan bogʻliq koʻp yillik muammolardan biri - ayniqsa katta miqdordagi ma’lumotlar kechikishning ta’siri boʻlgan. Kechikish - bu vazifani bajarishni kechiktirishga asoslangan tizimdagi kechikish. Kechikish hisoblashning barcha sohalarida, shu jumladan aloqa, ma’lumotlar boshqaruvi, tizimning ishlashi va boshqalarda muammo hisoblanadi. Agar simsiz telefondan foydalangan boʻlsangiz, kechikishni oʻzingiz sezgansiz. Bu siz va sizning qoʻngʻiroq qiluvchingiz oʻrtasidagi uzatmalarning kechikishi. Ba’zida kechikish mijozlar ehtiyojini qondirishga unchalik ta’sir qilmaydi, masalan, kompaniyalar yangi mahsulot chiqarishni rejalashtirish uchun parda ortidagi natijalarni tahlil qilishlari kerak. Bu, ehtimol, darhol javob yoki tanlovni talab qilmaydi. Biroq, qaror qabul qilish vaqtida mijozga ushbu javob qanchalik yaqin boʻlsa, kechikish shu qadar muhimdir.
Taqsimlangan hisoblash va parallel ishlov berish texnikasi mijozlar, etkazib beruvchilar va sheriklar tomonidan kechikish vaqtini sezilarli darajada oʻzgartirishi mumkin. Koʻpgina katta ma’lumotlar dasturlari katta ma’lumotlarning tezligi talablari, shuningdek ma’lumotlar hajmi va xilma-xilligi tufayli kam kechikishga tayanadi. Agar yuqori ish jarayoni talab qilinsa, katta kechikish muhitida katta ma’lumotlar dasturini yaratish imkoni boʻlmasligi mumkin. Yaqin vaqt ichida ma’lumotlarni tekshirish talabiga kechikish ta’sir qilishi mumkin. Real vaqt ma’lumotlari bilan ishlayotganingizda, kechikishning yuqori darajasi muvaffaqiyat va muvaffaqiyatsizlik oʻrtasidagi farqni anglatadi.
Talab yechimlarga javob beradi
Internetning tijoratdan tortib tibbiyotgacha boʻlgan hamma narsaning platformasi sifatida oʻsishi yangi avlod ma’lumotlarini boshqarish talabini oʻzgartirdi. 1990-yillarning oxirida Google, Yahoo!, va Amazon.com kabi qidiruv tizimlari va Internet kompaniyalari hisoblash va saqlash uchun arzon uskunalardan foydalangan holda oʻzlarining biznes modellarini kengaytira oldilar. Keyinchalik, ushbu kompaniyalar mijozlardan olingan katta miqdordagi ma’lumotlardan foyda olishga imkon beradigan yangi avlod dasturiy ta’minot texnologiyalariga muhtoj edilar. Ushbu kompaniyalar analitik ishlov berish natijalarini kutib oʻtirmadilar. Ularga ushbu ma’lumotlarni real vaqt ichida qayta ishlash va tahlil qilish qobiliyati zarur edi.

Ish jarayonini toʻgʻri yoʻlga qoʻyish

Katta ma’lumotlarga ishlov berish uchun toʻgʻri ishlash darajasini ta’minlashda faqat yuqori tezlikda ishlovchi kompyuterga ega boʻlish yetarli emas. Siz katta ma’lumotlar xizmatining tarkibiy qismlarini bir qator tugunlar boʻyicha taqsimlashingiz kerak. 3.3-rasmga qarang. Taqsimlangan hisoblashda tugun - bu tizimlar klasterida yoki server javoni ichida joylashgan element. Tugunga odatda protsessor, xotira va biror disk turi boʻladi. Shu bilan birga, tugun bleyd protsessor va javon ichida saqlashga asoslangan xotira boʻlishi mumkin.


3.3-rasm. Taqsimlangan hisoblash evolyutsiyasi boʻlib berilgan vazifalarni bajarish uchun vazifalarni taqsimlashga asoslangan.

Katta ma’lumotlar muhitida ushbu tugunlar odatda masshtabni ta’minlash uchun birlashadilar. Masalan, siz katta ma’lumotlarni tahlil qilishni boshlashingiz va qoʻshimcha ma’lumot manbalarini qoʻshishni davom ettirishingiz mumkin. Oʻsishni ta’minlash uchun tashkilot shunchaki oʻsib boradigan talablarga mos ravishda kattalashishi uchun klasterga koʻproq tugunlarni qoʻshadi. Biroq, shunchaki klasterdagi tugunlar sonini kengaytirish yetarli emas. Aksincha, katta ma’lumotlarni tahlil qilishning bir qismini turli xil fizik muhitlarga yuborish imkoniyatiga ega boʻlish muhimdir. Ushbu topshiriqlarni qayerga joʻnatasiz va ularni qanday boshqarishingiz muvaffaqiyat va muvaffaqiyatsizlik oʻrtasidagi farqni yaratadi.

Ba’zi bir murakkab vaziyatlarda, talab qilinadigan tahlil tezligiga erishish uchun, hattoki bir xil klaster ichida ham turli xil algoritmlarni parallel ravishda bajarishni xohlashingiz mumkin. Nima uchun turli xil katta ma’lumotlar algoritmlarini bitta javon ichida parallel ravishda bajarasiz? Funktsiyalarning taqsimlanishi bir-biriga qanchalik yaqin boʻlsa, ular tezroq bajarilishi mumkin. Mavjud imkoniyatlardan foydalanish uchun katta ma’lumotlar tahlilini tarmoqlar boʻyicha taqsimlash mumkin boʻlsa-da, jarayonlarni amalga oshirish talablari asosida ushbu turdagi taqsimlashni amalga oshirishingiz kerak. Ba’zi hollarda, ishlov berish tezligi orqa oʻringa ega. Biroq, boshqa holatlar tezkor natijalarni talab qiladi. Bunday vaziyatda tarmoq funktsiyalari bir-biriga yaqin ekanligiga ishonch hosil qilishni xohlaysiz. Umuman olganda, analitik vazifalarni bajarish uchun katta ma’lumotlar muhiti optimallashtirilishi kerak.
Shuning uchun masshtablashtirish katta ma’lumotlarning muvaffaqiyatli ishlashini ta’minlovchi vositadir. Garchi katta ma’lumotlar muhitini bitta katta muhitda ishlash nazariy jihatdan mumkin boʻlsa-da, bu amaliy emas. Katta hajmdagi ma’lumotlarning oʻlchamliligini bilish uchun faqat bulutning oʻlchamliligini koʻrib chiqish va talablarni ham, yondashuvni ham tushunish kerak. Bulutli hisoblash singari, katta ma’lumotlar tezkor tarmoqlarni va ishlashni oshirish uchun javonlarda birlashtirilishi mumkin boʻlgan arzon uskunalar klasterlarini kiritishni talab qiladi. Ushbu klasterlar dasturiy ta’minotni avtomatlashtirish orqali qoʻllab-quvvatlanadi, bu esa dinamik masshtablash va yuklarni muvozanatlash imkoniyatini beradi.
MapReduce-ni ishlab chiqish va amalga oshirish taqsimlangan kompyuterlar operatsiyalar nuqtai nazaridan katta ma’lumotlarni ko'rinadigan va kirish imkoniyatiga ega boʻlishining ajoyib namunasidir. Aslida, biz texnologiya tushunchalari kerakli vaqtda kerakli muammolarni hal qilish uchun birlashadigan hisoblashning noyob burilish nuqtalaridan biridamiz. Taqsimlangan hisoblash, takomillashtirilgan apparat tizimlari va MapReduce hamda Hadoop kabi amaliy yechimlarni birlashtirish ma’lumotlar boshqaruvini chuqur yoʻllar bilan oʻzgartirmoqda.