Big data tahlili

Relyatsion ma’lumotlar bazalarining katta ma’lumotlarda tutgan oʻrni
Ma’lumotlarning doimiyligi deganda, ma’lumotlar bazasi oʻzgartirilganda qanday qilib oʻz versiyasini saqlab qolishi tushuniladi. Barqaror ma’lumotlarni saqlashni eng yaxshi usuli bu ma’lumotlar bazasini boshqarishning relyatsion tizimi (RDBMS). Dastlab, hozirgi hisoblash sanoati ma’lumotlarni doimiy saqlash uchun sodda usullardan foydalangan.
1980 yilgacha yoki undan oldin tarqalgan “tekis fayllar” yoki “tarmoq” ma’lumotlar majmuini esga olaylik. Ushbu mexanizmlar foydali boʻlsa-da, ularni oʻzlashtirish juda qiyin boʻlgan va har doim tizim dasturchilaridan ma’lumotlarni boshqarish uchun maxsus dasturlar yozishni talab qilgan.
Relyatsion model IBM olimi Edgar Kodd tomonidan 1970-yillarda ixtiro qilingan va IBM, Oracle, Microsoft va boshqa kompaniyalarda ishlatilgan. U bugungi kunda ham keng qoʻllaniladi va katta ma’lumotlarning rivojlanishida muhim rol oʻynaydi. Relyatsion ma’lumotlar bazasini tushunish muhimdir, chunki ma’lumotlar bazalarining boshqa turlari katta ma’lumotlar bilan ishlatiladi.

Relyatsion modelda ma’lumotlar jadvalda saqlanadi. Ushbu ma’lumotlar bazasi bazasida srtukturalangan ma’lumotlardan tarkib topgan sxema koʻrinishi boʻlishi kerak. Masalan, relyatsion ma’lumotlar bazasida sxema jadvallarni, jadvallardagi maydonlarni va ikkalasi oʻrtasidagi munosabatlarni belgilaydi. Ma’lumotlar har bir oʻziga xos atribut uchun yagona ustunlarda saqlanadi. Ma’lumotlar qatorlarda ham saqlanadi. Masalan, 2.1-rasmda koʻrsatilgan ikkita jadval oddiy ma’lumotlar bazasi sxemasini aks ettiradi. Birinchi jadval mahsulot haqidagi ma’lumotlarni saqlaydi; ikkinchisi demografik ma’lumotlarni saqlaydi. Ularning har birida turli xil atributlar mavjud (mijoz identifikatori, buyurtma raqami, mahsulotni sotib olish kodi va boshqalar). Har bir jadval yangi ma’lumotlar bilan toʻldirilishi va ma’lumotlar oʻchirilishi, oʻqilishi va yangilanishi mumkin. Bu koʻpincha strukturalangan soʻrov tili (SQL) yordamida relyatsion modelda amalga oshiriladi.
Relyatsion modelda SQL-dan foydalanishning yana bir jihati shundaki, jadvallarni umumiy kalit (ya’ni munosabatlar) yordamida soʻrov joʻnatish mumkin. 2.1-rasmda jadvallardagi umumiy kalit CustomerID.
Masalan, ma’lum bir mahsulotni sotib olgan mijozlarning jinsini aniqlash uchun soʻrov yuborish mumkin. U quyidagi koʻrinishda boʻladi:
Select CustomerID, State, Gender, Product from “demographic table”, “product table” where Product= XXYY
Soʻnggi bir necha oʻn yilliklarda relyatsion ma’lumotlar bazalari hukmronlik qilgan boʻlsa-da, turli xil ma’lumotlar turlarining katta oqimlari bilan ishlashda ulardan foydalanish qiyinchilik tug'dirishi mumkin. Relyatsion ma’lumotlar bazalari ustida ishlovchilar toʻxtab qolishmadi va katta ma’lumotlar uchun moʻljallangan relyatsion ma’lumotlar bazalarini joriy qilishni boshlashdi. Bundan tashqari, ma’lumotlar bazasining yangi modellari rivojlanib, odamlarga katta ma’lumotlarni boshqarishda yordam berdi.
PostgresSQL (www.postgressql.org) texnologiyasi mavjud boʻlgan eng keng tarqalgan ochiq manbali relyatsion ma’lumotlar bazasi. Uning kengaytirilishi va koʻp sonli meynfreymlarda mavjud boʻlishi, uni ba’zi bir ma’lumotlarga oid katta ma’lumotlar bazalari uchun asos texnologiyaga aylantirdi.

Strukturalanmagan ma’lumotlar

Strukturalanmagan ma’lumotlar - bu belgilangan formatga mos kelmaydigan ma’lumotlardir. Agar korxonalar uchun mavjud boʻlgan ma’lumotlarning 20 foizi strukturalangan ma’lumotlar boʻlsa, qolgan 80 foizi strukturalanmagan. Strukturalanmagan ma’lumotlar haqiqatan ham ma’lumotlarning aksariyat katta qismini tashkil qiladi. Lekin yaqin vaqtgacha, texnologiya, ma’lumotlarni saqlash yoki qoʻlda tahlil qilishdan tashqari, u bilan koʻp ish qilishni qoʻllab-quvvatlamagan.