Ikkinchidan, ko'pchilik ma'lumotlarni tahlil qilish vazifalari ma'lumotlarni qandaydir tarzda birlashtirishni talab qiladi. Ma'lum bo'lishicha, bitta diskdan o'qilgan ma'lumotlar boshqa barcha 99 diskdagi ma'lumotlar bilan birlashtirilishi kerak. Turli xil taqsimlangan tizimlar bir nechta manbalardan ma'lumotlarni birlashtirishga imkon beradi, ammo bu vazifa o'zining murakkabligi bilan mashhur. MapReduce Diskdagi o'qish va yozishdan vazifani abstraktlashtiradigan, uni kalitlar va qiymatlar to'plami bilan hisob-kitoblarga aylantiradigan dasturlash modelini taqdim etadi. Ushbu model keyingi boblarda batafsil muhokama qilinadi, ammo hozircha ma'lumotlarni qayta ishlash ikki bosqichdan iborat ekanligini eslatib o'tish muhim: xaritalash ( Xarita ) va konvolyutsiya ( Qisqartirish ) ; ma'lumotlarni yig'ish ularning chegarasida sodir bo'ladi. HDFS , MapReduce kabi o'rnatilgan ishonchlilik mexanizmlariga ega. - Ikkinchidan, ko'pchilik ma'lumotlarni tahlil qilish vazifalari ma'lumotlarni qandaydir tarzda birlashtirishni talab qiladi. Ma'lum bo'lishicha, bitta diskdan o'qilgan ma'lumotlar boshqa barcha 99 diskdagi ma'lumotlar bilan birlashtirilishi kerak. Turli xil taqsimlangan tizimlar bir nechta manbalardan ma'lumotlarni birlashtirishga imkon beradi, ammo bu vazifa o'zining murakkabligi bilan mashhur. MapReduce Diskdagi o'qish va yozishdan vazifani abstraktlashtiradigan, uni kalitlar va qiymatlar to'plami bilan hisob-kitoblarga aylantiradigan dasturlash modelini taqdim etadi. Ushbu model keyingi boblarda batafsil muhokama qilinadi, ammo hozircha ma'lumotlarni qayta ishlash ikki bosqichdan iborat ekanligini eslatib o'tish muhim: xaritalash ( Xarita ) va konvolyutsiya ( Qisqartirish ) ; ma'lumotlarni yig'ish ularning chegarasida sodir bo'ladi. HDFS , MapReduce kabi o'rnatilgan ishonchlilik mexanizmlariga ega.
- Aslida, bu Hadoopning funksionalligi : ma'lumotlarni ishonchli umumiy saqlash va tahlil qilish tizimi. HDFS saqlashni ta'minlaydi, MapReduce esa - tahlil. Hadoop boshqa komponentlarni o'z ichiga oladi, lekin bu xususiyatlar tizimning yadrosini tashkil qiladi.
Do'stlaringiz bilan baham: |
