Axborot texnologiyalari va kommunikatsiyalarni

Hadoop Pipes
Hadoop Pipes – Hadoop interfeysi nomi MapReduce C ++ tili uchun . Displey va konvolyutsiya kodi bilan ma'lumotlarni almashish uchun standart kirish va chiqishdan foydalanadigan Streaming texnologiyasidan farqli o'laroq ¬, Quvurlar rozetkalarni o'tkazgich sifatida ishlatadi , bu orqali vazifa kuzatuvchisi ¬C ++ xaritasi yoki qisqartirish funksiyasini ishga tushiradigan jarayon bilan bog'lanadi. JNI foydalanilmaydi.
Keling, harorat misolini C ++ da qayta yozamiz va keyin uni Pipes yordamida qanday ishlatishni ko'rib chiqamiz. 2-12 ro'yxat ¬xarita va katlama funktsiyalari uchun C ++ manba kodini ko'rsatadi.



Nazorat savollari:

1. Tarmoqlarga qo'yiladigan asosiy talablar qanday?

2. Tarmoq unumdorligi nima?
3. Qanday xususiyatlar tarmoq ishlashiga ta'sir qiladi?
4. Tarmoq ish faoliyatini yaxshilashning qanday usullari bor?
5. Yuqori tezlikdagi trafikni yo'naltirishni qanday ta'minlash mumkin?
6. Tarmoq ishonchliligi qanday ta'minlanadi?
AMALIY MASHG‘ULOT- 9


Mavzu: HDFSning asosiy tushunchalari


Ishning maqsadi: HDFS bloki tushunchalarini o'rganish.
Bloklar
Disk qurilmasi bilan bog'langan blok o'lchami, bu o'qish yoki yozish operatsiyalarida foydalaniladigan ma'lumotlarning minimal miqdori. Bitta diskli fayl tizimlari ma'lumotlarni disk blokining o'lchamiga ko'p bo'lgan bloklarda qaytarish orqali bundan foydalanadi. Fayl tizimi blokining hajmi odatda bir necha kilobaytni tashkil qiladi, disk blokining hajmi esa odatda 512 baytni tashkil qiladi. Qoidaga ko'ra, bu nuanslarning barchasi fayl tizimlari foydalanuvchilari uchun mutlaqo shaffofdir, ular shunchaki fayllarga o'zboshimchalik uzunlikdagi ma'lumotlarni o'qiydilar yoki yozadilar. Biroq, fayl tizimini ta'minlovchilar (masalan, df va fsck ) fayl tizimi bloki darajasida ishlaydi.
HDFSda _ blok tushunchasi ham bor, lekin u sezilarli darajada kattaroq hajmga ega - sukut bo'yicha, 64 MB. Yagona diskli fayl tizimlarida bo'lgani kabi, HDFS fayllari bir-biridan mustaqil ravishda saqlanadigan blok bo'laklarga bo'linadi. Bitta diskli fayl tizimlaridan farqli o'laroq, bir blokdan kichikroq bo'lgan HDFS fayli blok uchun ajratilgan butun joyni egallamaydi. Agar ¬matnda boshqacha ko'rsatilmagan bo'lsa, ushbu kitobdagi "blok" atamasi HDFS bloklariga ishora qiladi .