Big data tahlili

PostGIS/OpenGEO Suite
PostGIS (www.postgis.org) Refrakts Research (www.refractions.net) tomonidan qo‘llab-quvvatlanadigan va GNU umumiy jamoat litsenziyasi (GPL) asosida litsenziyalangan ochiq manbali loyihadir. PostGIS, shuningdek, OpenGeo Suite-ning jamoat nashrining bir qismidir va OpenGeo (www.opengeo.org) tomonidan hajmli litsenziya asosida taqdim etiladi va qo‘llab-quvvatlanadi.
PostGIS ushbu bobda muhokama qilingan ba’zi boshqa ma’lumotlar bazalaridan bir oz farq qiladi. Bu PostgreSQL MBBT-ga asoslangan ixtisoslashtirilgan ko‘p darajali dastur. Ushbu yondashuv ikkala dunyoning eng yaxshisini taklif etadi. SQL-ning barcha afzalliklarini olasiz (masalan, tranzaksiya yaxlitligi va ACID) va kosmik dasturlar uchun zarur bo‘lgan ixtisoslashtirilgan operatsiyalarni qo‘llab-quvvatlash (qayta loyihalash, geodezik qo‘llab-quvvatlash, geometriyani o‘zgartirish va boshqalar).
Ma’lumotlar bazasining o‘zi juda muhim bo‘lsa-da, sizga kosmik dasturlar talablariga javob beradigan boshqa texnologiyalar ham kerak bo‘ladi. Yaxshiyamki, PostGIS ushbu ehtiyojlarni qondirish uchun birgalikda ishlashga mo‘ljallangan komponentlar ekotizimining bir qismidir. PostGIS-dan tashqari, OpenGEO Suite quyidagilardan iborat:

• 
  GeoServer: Java-da tatbiq etilgan GeoServer Internetdagi bir nechta yirik fazoviy ma’lumotlar manbalaridan fazoviy ma’lumotlarni nashr etishi mumkin. U Google Earth bilan birlashishi mumkin, shuningdek veb-ga asoslangan ma’muriy interfeysga ega.
  
• 
  OpenLayers: veb-brauzerda xaritalarni va boshqa fazoviy ma’lumotlarni namoyish qilish uchun foydali bo‘lgan JavaScript kutubxonasi. U Internetdagi aksariyat xarita manbalaridan, shu jumladan Bing Maps, Google Maps, Yahoo! Xaritalar, OpenStreetMap va boshqalar.
  
• 
  GeoExt: veb-dastur ishlab chiquvchilariga OpenLayers-dan xarita ma’lumotlarini taqdim etish uchun mo‘ljallangan. GeoExt vidjetlari tahrirlash, ko‘rish, uslublar va boshqa interaktiv veb-dasturlarda ishlatilishi mumkin.
  
• 
  GeoWebCache: Agar serverda ma’lumotlar mavjud bo‘lsa va ularni brauzerda namoyish qila olsangiz, buni tezda bajarish uchun yo‘l topishingiz kerak. GeoWebCache - bu tezlatgich. U rasm ma’lumotlarining bir qismini (plitkalar deb nomlangan) keshlaydi va ularni displey qurilmasiga tezkor yetkazib berishga imkon beradi.
  

Fazoviy ma’lumotlardan ko‘plab foydalanish xaritalar va joylashuvlarni o‘z ichiga olgan bo‘lsa, fazoviy ma’lumotlar boshqa ko‘plab hozirgi va kelgusidagi dasturlarga, shu jumladan:

• 
  Inson tanasini, binolarni, atmosferani va boshqalarni to‘g‘ri 3D modellashtirish;
  
• 
  Sensor tarmoqlaridan ma’lumotlarni yig‘ish va tahlil qilish;
  
• 
  Vaqt o‘tishi bilan 3D kosmik moslamalarni o‘rganish uchun tarixiy ma’lumotlar bilan integratsiya qiladi.
  

Poliglotning chidamliligi

Poliglotning rasmiy ta’rifi – “bir nechta tillarda so‘zlashadigan yoki yozadigan”. Ushbu atama ushbu kontekstda olingan va bir nechta asosiy ma’lumotlar bazasi texnologiyalaridan foydalangan holda ilovalar to‘plami sifatida qayta aniqlangan va bu katta ma’lumotlarni joylashtirishni rejalashtirishingizning eng katta natijasidir. Katta ma’lumotlarga bo‘lgan munosabatingiz qanchalik tor bo‘lmasin, bitta saqlash uslubini tanlash qiyin bo‘ladi. Doimiy poliglot ma’lumotlar bazasi, muammoni segmentlarga ajratish va turli xil ma’lumotlar bazalari modellarini qo‘llash orqali murakkab muammoni hal qilish zarur bo‘lganda qo‘llaniladi. Keyin natijalarni gibrid ma’lumotlarni saqlash va tahlil qilish yechimiga birlashtirishingiz kerak. Ushbu qarorga bir qator omillar ta’sir qiladi:

• 
  Allaqachon o‘zingizning ish joyingizda poliglot qat’iyatidan foydalanmoqdasiz. Agar biznesingiz yoki tashkilotingiz katta bo‘lsa, ehtimol bir nechta MBBT, ma’lumotlar omborlari, ma’lumotlar marshrutlari, tekis fayllar, kontentni boshqarish serverlari va boshqalarni ishlatasiz. Ushbu gibrid muhit odatiy holdir va integratsiya to‘g‘risida to‘g‘ri qaror qabul qilish uchun buni tushunishingiz kerak, analitika, ma’lumotlarning dolzarbligi, ma’lumotlarning ko‘rinishi va boshqalar. Bularning barchasini tushunishingiz kerak, chunki bu katta ma’lumotlar dasturiga qanday mos kelishini aniqlashingiz kerak.
  
• 
  Faqat bitta doimiylik texnologiyasiga ega bo‘lgan eng ideal muhit, ehtimol katta ma’lumotlar muammolari uchun to‘g‘ri yechim emas. Hech bo‘lmaganda, yangi tatbiq etish uchun boshqa ma’lumotlar bazasi uslubini va boshqa yordamchi texnologiyalarni joriy qilishingiz kerak bo‘ladi.
  
• 
  Katta ma’lumot to‘plashning xilma-xilligi va tezligiga qarab, bitta dasturni qo‘llab-quvvatlash uchun turli xil ma’lumotlar bazalarini ko‘rib chiqishingiz kerak bo‘lishi mumkin. Shuningdek, operatsiyalaringizning yaxlitligi talablarini hisobga olishingiz kerak. Kislota muvofiqligini saqlash kerakmi yoki BASE muvofiqligi yetarli bo‘ladimi?
  

Misol tariqasida, so‘nggi 12 oy ichida xarid qilgan va ijtimoiy tarmoqlarda o‘z tajribalarini sharhlagan barcha iste’molchilaringizni va mijozlaringizni aniqlashingiz kerak - va agar ular biron bir yordam chaqiruvlari bo‘lsa (qachon, qancha qaror qilingan bo‘lsa), ular mahsulotni qayerdan sotib olishgan, qanday yetkazib berishgan (va yetkazib berish marshrut narxi energiya sarfi jihatidan samarali bo‘lganmi?), nima to‘lashdi, qanday to‘lashdi, ular kompaniyaning veb-saytida bo‘lganmi, necha marta, nima qilganlar sayt va boshqalar. Keling, aytaylik, siz (yoki sheriklaringizdan birining) chakana do‘konlaridan biriga kirib, ularga smartfonlarida reklama chegirmasini taqdim etmoqchisiz.
Bu katta ma’lumotlarning eng yaxshi ko‘rinishdagi muammosi. Ushbu savollarga javob olish uchun juda xilma-xil tuzilmalarga ega bo‘lgan bir nechta ma’lumot manbalarini to‘plash va tahlil qilish kerak. Keyin mijozlar reklama aktsiyasiga muvofiqligini aniqlab, ularga real vaqtda yangi va qiziqarli narsalarni taklif qilib kupon yuborishlari kerak.
Ushbu turdagi muammolarni ma’lumotlar bazasi texnologiyasining bir turi yordamida osonlikcha yoki iqtisodiy jihatdan yechib bo‘lmaydi. Ba’zi bir asosiy ma’lumotlar tranzaktsion va RMBBT-da joylashgan bo‘lsa, boshqa ma’lumotlar aloqador emas va kamida ikkita turg‘unlik mexanizmlarini (fazoviy va grafik) talab qiladi. Endi sizda poliglotning qat’iyati bor.