2. Ishlash muhandisligi Hadoop va yarn. Gnu loyiha tashabbuskori Richard Stallman bulutli hisoblash xarajatlarni oshirish va axborotga egalik qilish muammolari sifatida tavsiflandi

Amaliy ishlash muhandisligi
Asosiy maqola: Amaliy ishlash muhandisligi
Amaliy ishlash muhandisligi (APE) - bu o'ziga xos metodologiya ishlash muhandisligi tobora keng tarqalgan mobil, bulutli va er usti axborot muhitida dasturlarning ishlashi bilan bog'liq muammolarni hal qilish uchun mo'ljallangan. U dasturning hayotiy tsiklining har bir bosqichida qo'llaniladigan rollarni, ko'nikmalarni, faoliyatni, amaliyotni, vositalarni va natijalarni o'z ichiga oladi, bu dasturning funktsional bo'lmagan talablariga javob beradigan tarzda ishlab chiqilishini, amalga oshirilishini va operatsion qo'llab-quvvatlanishini ta'minlaydi.
Ishlashning jihatlari
Kompyuterning ishlashi ko'rsatkichlar (o'lchash uchun narsalar) kiradi mavjudlik, javob vaqti, kanal hajmi, kechikish, tugatish vaqti, xizmat muddati, tarmoqli kengligi, ishlab chiqarish, nisbiy samaradorlik, ölçeklenebilirlik, vatt uchun ishlash, siqilish darajasi, ko'rsatma yo'lining uzunligi va tezlikni oshirmoq. Markaziy protsessor ko'rsatkichlar mavjud.^[2]
Mavjudligi
Asosiy maqola: Mavjudligi
Tizimning mavjudligi, odatda, uning ishonchliligi omili sifatida o'lchanadi - ishonchlilik oshgani sayin, mavjudlik ham oshib boradi (ya'ni kamroq) ishlamay qolishi ). Tizimning mavjudligini ishonchliligiga emas, balki sinovga layoqatlilik va barqarorlikni oshirishga yo'naltirilgan strategiya bilan ham oshirish mumkin. Ta'mirlash qobiliyatini yaxshilash odatda ishonchlilikdan osonroqdir. Ta'minotning taxminiy ko'rsatkichlari (Ta'mirlash stavkalari) odatda aniqroq. Biroq, ishonchlilik bahosidagi noaniqliklar ko'p hollarda juda katta bo'lganligi sababli, u mavjudlik darajasi (prognozli noaniqlik) muammosida hukmronlik qilishi mumkin, garchi uni saqlab qolish darajasi juda yuqori bo'lsa ham.
Javob vaqti
Asosiy maqola: Javob vaqti (texnologiya)
Javob berish vaqti - bu xizmat uchun so'rovga javob berish uchun zarur bo'lgan umumiy vaqt. Hisoblashda ushbu xizmat oddiydan har qanday ish birligi bo'lishi mumkin disk IO majmuani yuklash uchun veb sahifa. Javob vaqti uchta raqamning yig'indisi:^[3]

Bugungi kunda biz ommaviy bulutlar deb biladigan narsa dastlab elektron tijorat, elektron pochta va veb-qidiruv kabi xizmatlarni qo'llab-quvvatlash uchun ichki ma'lumotlar markazlari sifatida yaratilgan bo'lib, ularning har biri katta ma'lumotlar to'plamlarini olishni o'z ichiga oladi. Ushbu xizmatlarni optimallashtirish uchun kompaniyalar ushbu ma'lumotlar bo'yicha katta hajmdagi tahlillarni amalga oshira boshladilar. Ushbu ma'lumotlar markazlari ommaviy bulutlarga aylangandan so'ng, ushbu tahlil vazifalari uchun ishlab chiqilgan usullar xizmatlar va ochiq kodli dasturiy ta'minot sifatida tobora ko'proq foydalanishga topshirildi. Universitetlar va boshqa kompaniyalar ham mukammal ochiq manbali vositalar to'plamining o'sishiga hissa qo'shdilar. Birgalikda bu toʻplam katta hissa qoʻshuvchilar hamjamiyati tomonidan qoʻllab-quvvatlanadigan dasturiy taʼminotning ulkan ekotizimini ifodalaydi. Bulutdagi maʼlumotlar tahlili mavzusi juda katta va tez rivojlanmoqda va butun jildni osongina toʻldirishi mumkin. Bundan tashqari, biz 7-bobda kuzatganimizdek, ilm-fan va muhandislik o'zlari ma'lumotlarga asoslangan yangi to'rtinchi paradigma sari tez rivojlanmoqda [153]. Biz bulutli maʼlumotlarni tahlil qilish boʻyicha baʼzi eng muhim yondashuvlarni koʻrib chiqamiz va ushbu kitob davomida qilganimizdek, siz oʻzingiz sinab koʻrishingiz mumkin boʻlgan tajribalar misollarini qoldiramiz. Biz birinchi yirik bulutli maʼlumotlarni tahlil qilish vositasi Hadoopdan boshlaymiz va uning evolyutsiyasini tavsiflaymiz. Apache YARN-ni o'z ichiga oladi. An'anaviy Hadoop MapReduce vositasini tasvirlash o'rniga, biz zamonaviyroq va moslashuvchan Spark tizimiga e'tibor qaratamiz. Amazon va Microsoft ham YARN ning standart xizmat ko'rsatish takliflariga integratsiyalashgan. Biz Vikipediya ma’lumotlarini tahlil qilish uchun foydalanadigan YARN Amazon Elastic MapReduce’ning Amazon versiyasi bilan Spark’dan qanday foydalanishni tasvirlaymiz. Biz YARN ning Azure versiyasi HDInsight dan foydalanish misolini ham taqdim etamiz. Keyin biz haqiqatan ham katta hajmdagi maʼlumotlar toʻplamlari boʻyicha tahlil mavzusiga murojaat qilamiz. Biz Azure Data Lake bilan tanishamiz va ikkala Azure Data Lake Analytics va Amazonning oʻxshash Ath ena analitik platformasidan foydalanishni koʻrsatamiz. Va nihoyat, biz Google-dan Cloud Datalab deb nomlangan vositani tasvirlaymiz, biz undan Milliy Okeanografiya va Atmosfera Boshqarmasi (NOAA) ma'lumotlarini o'rganish uchun foydalanamiz.