Hadoop Pipes
Hadoop Pipes – Hadoop interfeysi nomi MapReduce C ++ tili uchun . Displey va konvolyutsiya kodi bilan ma'lumotlarni almashish uchun standart kirish va chiqishdan foydalanadigan Streaming texnologiyasidan farqli o'laroq ¬, Quvurlar rozetkalarni o'tkazgich sifatida ishlatadi , bu orqali vazifa kuzatuvchisi ¬C ++ xaritasi yoki qisqartirish funksiyasini ishga tushiradigan jarayon bilan bog'lanadi. JNI foydalanilmaydi.
Xulosa
Keling, harorat misolini C ++ da qayta yozamiz va keyin uni Pipes yordamida qanday ishlatishni ko'rib chiqamiz. 2-12 ro'yxat ¬xarita va katlama funktsiyalari uchun C ++ manba kodini ko'rsatadi.
AMALIY MASHG‘ULOT- 9
Mavzu: HDFSning asosiy tushunchalari
Ishning maqsadi: HDFS bloki tushunchalarini o'rganish.
Bloklar
Disk qurilmasi bilan bog'langan blok o'lchami, bu o'qish yoki yozish operatsiyalarida foydalaniladigan ma'lumotlarning minimal miqdori. Bitta diskli fayl tizimlari ma'lumotlarni disk blokining o'lchamiga ko'p bo'lgan bloklarda qaytarish orqali bundan foydalanadi. Fayl tizimi blokining hajmi odatda bir necha kilobaytni tashkil qiladi, disk blokining hajmi esa odatda 512 baytni tashkil qiladi. Qoidaga ko'ra, bu nuanslarning barchasi fayl tizimlari foydalanuvchilari uchun mutlaqo shaffofdir, ular shunchaki fayllarga o'zboshimchalik uzunlikdagi ma'lumotlarni o'qiydilar yoki yozadilar. Biroq, fayl tizimini ta'minlovchilar (masalan, df va fsck ) fayl tizimi bloki darajasida ishlaydi.
HDFSda _ blok tushunchasi ham bor, lekin u sezilarli darajada kattaroq hajmga ega - sukut bo'yicha, 64 MB. Yagona diskli fayl tizimlarida bo'lgani kabi, HDFS fayllari bir-biridan mustaqil ravishda saqlanadigan blok bo'laklarga bo'linadi. Bitta diskli fayl tizimlaridan farqli o'laroq, bir blokdan kichikroq bo'lgan HDFS fayli blok uchun ajratilgan butun joyni egallamaydi. Agar ¬matnda boshqacha ko'rsatilmagan bo'lsa, ushbu kitobdagi "blok" atamasi HDFS bloklariga ishora qiladi .
Do'stlaringiz bilan baham: |
