Modul nomi: Katta ma’lumotlar tahliliga kirish (kirish kursi) Kurs haqida

Katta ma'lumotlarni boshqarishning zamonaviy texnologiyalari MapReduce algoritmidan foydalanish muammolari paydo bo'ldi



hisob-kitoblarning ko'p qismini RAMga o'tkazadigan yangi vositalarni yaratish orqali tikish.

54. 
    Katta ma'lumotlar tarixi (Big Data) - 2-qism. 38
    

Hadoop, Spark, Pig, Hive, Cassandra va Kafka kabi asboblar shunday paydo bo'ldi , ularning har biri o'zining afzalliklari va kamchiliklariga ega (8-rasm).


Guruch. 8. Katta ma'lumotlarni boshqarish vositalari


Keling, ulardan ba'zilariga to'xtalib o'tamiz: Hadoop va Spark . Ularning ko'rinishi 2000-yillarning boshlariga to'g'ri keladi.


Google tadqiqotchilari tomonidan Google File System (GFS) - ma'lumotlar turli xil kompyuterlarda bir nechta nusxalarda saqlanadigan alohida bloklarga bo'lingan fayl tizimini yaratishning umumiy tamoyillari va MapReduce usuli taqdimoti nashr etilgandan so'ng . GFS ma'lumotlari bo'yicha taqsimlangan hisoblashlarni amalga oshirish Yahoo! dan bir guruh muhandislar va tadqiqotchilar ! keyinchalik (2006 yilda) Hadoop nomi bilan dunyoga ma'lum bo'lgan ochiq kodli loyihaning bir qismi sifatida ularni amaliyotga tatbiq qilishni boshladi . Ushbu dasturiy platformada yaratilgan GFS varianti Hadoop Distributed Files System (HDFS) deb ataladi .
Hadoop platformasi ko'plab kompaniyalarga katta hajmdagi ma'lumotlar bo'yicha taqsimlangan hisoblash uchun MapReduce algoritmini muvaffaqiyatli qo'llash imkonini bergan bo'lsa-da , har safar yangi vazifa paydo bo'lganda, Xarita va Reduce operatsiyalari uchun yangi kod yozish kerak edi , bu noqulay va vaqt talab qilardi. . Ushbu muammoni hal qilish uchun 2008 yilda Facebook muhandislari Hive ga asoslangan ma'lumotlar bazasini boshqarish tizimini yaratdilar
39
yangi Hadoop . Hive - ning asosiy xususiyati HDFS -da saqlangan ma'lumotlarga nisbatan SQL-ga o'xshash so'rovlarni qo'llab -quvvatlash edi ( SQLning bu yangi dialekti Hive Query Language, HQL deb nomlangan ).

• 
  yilda Berklidagi Kaliforniya universitetida MapReduce usuli yordamida taqsimlangan hisoblash samaradorligini oshirish va bunday hisob-kitoblar uchun universal platforma yaratish maqsadida Spark tadqiqot loyihasi ishga tushirildi. 2010 yilda Spark ochiq manba loyihasi sifatida nashr etildi va 2013 yilda u fondga o'tkazildi.