Apache Hadoop va Spark: Ma'lumotlarni tahlil qilish uchun kirish va foydalanish holatlari Abdullayev Jasurbek kontur

RDDlar va boshqalar. DataFrames _

RDDlar Spark-ga past darajadagi interfeysni ta'minlaydi

DataFrames sxemasiga ega

DataFrames keshlangan va Spark tomonidan optimallashtirilgan

DataFrames RDD va asosiy Spark API ustiga qurilgan

Misol: ishlash

Spark operatsiyalari

Transformatsiyalar (yangi RDD yaratish)	xarita filtr namuna groupByKey kamaytirishByKey sortByKey chorraha	flatMap ittifoq qo'shilish guruh xarita qiymatlarini kesib o'tish kamaytirishByKey
Harakatlar (natijalarni haydovchi dasturiga qaytarish)	birinchi yig'ing olishni kamaytiring Buyurtma berilgan Namuna oling countByKey saqlaydi qidiruv kaliti har biriga

Yo'naltirilgan asiklik grafiklar (DAG)

A
B

S
C
E
D
F
DAGlar bog'liqliklarni kuzatib boradi (shuningdek, Lineage sifatida ham tanilgan )

• 
  tugunlar RDD hisoblanadi
  
• 
  a satrlar transformatsiyalardir
  

  Tor Vs. keng konvertatsiya

A.1
A[1,2]

A.2
Tor
Keng
Xarita
groupByKey
Vs.

Harakatlar

• 
  Harakat nima
  
  • 
    Ish jarayonining yakuniy bosqichi
    
  • 
    DAGning bajarilishini tetiklaydi
    
  • 
    Natijalarni haydovchiga qaytaradi
    
  • 
    Yoki ma'lumotlarni HDFS yoki faylga yozadi
    

  Spark ish jarayoni

tekis xarita

Xarita
groupbyKey
Spark konteksti
Haydovchi dasturi
Yig'ish