Hadoop fs -cat /user/godil/datadir/book.txt _ _ _ _ Unix- ga o'xshash boshqa ko'plab buyruqlar HBase - NoSQL ma'lumotlar ombori HDFS ustiga qurilgan
- BigTable qog'ozi asosida (2006)
- Har xil turdagi ma'lumotlar bilan ishlay oladi
- Katta hajmdagi ma'lumotlarni saqlaydi (TB, PB)
- Ustunga yo'naltirilgan ma'lumotlar ombori
- Tasodifiy o'qish va yozish bilan Big Data
- Gorizontal ravishda kengaytirilishi mumkin
- An'anaviy RDBM (Relational Database Model) kabi yaxshi emas
- Tranzaksiya dasturlari
- Ma'lumotlar tahlili
- Matn uchun samarali emas qidirish va qayta ishlash
Katta ma'lumotlar uchun oddiy dasturlash - Hadoop ekotizimining oddiy dasturlash paradigmasi
- An'anaviy parallel dasturlash turli xil hisoblash/tizim tushunchalari bo'yicha tajribani talab qiladi
- Misollar : ko'p oqimlar, sinxronizatsiya mexanizmlari (qulflar, semaforlar va monitorlar)
- noto'g'ri foydalanish: dasturni buzishi, noto'g'ri natijalarga erishishi yoki ishlashga jiddiy ta'sir qilishi mumkin
- Odatda apparatdagi nosozliklarga toqat qilmaydi
- MapReduce dasturlash modeli parallel ravishda ishlaydigan kodni ancha soddalashtiradi
- yuqoridagi masalalarning hech biri bilan shug'ullanishingiz shart emas
- faqat funktsiyalarni yaratish, xaritalash va kamaytirish kerak
Google MR qog'ozi asosida (2004)
Xaritani qisqartirish paradigmasi
Funktsiyani qo'llash xaritasi:
Ro'yxatning barcha elementlariga funktsiyani qo'llash
list1=[1,2,3,4,5];
kvadrat x = x * x
list2=Xarita kvadrati(roʻyxat1)
chop ro'yxati 2
-> [1,4,9,16,25]
|
kamaytirish:
Xulosa qilish uchun ro'yxatning barcha elementlarini birlashtiring
list1 = [1,2,3,4,5];
A = qisqartirish (+) ro'yxat1
Chop etish A
-> 15
| - Map va Reduce funktsional dasturlashga asoslangan
Kiritish
Chiqish
Xarita
Kamaytirish
Do'stlaringiz bilan baham: |
