Mavzu: Ma’lumotlar bazalari va Big Data texnologiyalari

Mavzu: Ma’lumotlar bazalari va Big Data texnologiyalari.

Режа:
3.1. Катта маълумотлар: асосий тушунчалар.
3.2. Учта «В» ва катта маълумотлар билан ишлашнинг учта принципи.
3.3. Big Data билан технологиялар ва тенденциялар.
3.4. Катта маълумотларни таҳлил қилиш усуллари ва усуллари.
Асосий тушунчалар: Катта маълумотлар, Big Data, ҳажм, тезлик, хилма-хиллик, Big Data технологиялари.

3.1. Катта маълумотлар: асосий тушунчалар.

Катта маълумотлар - бу турли мақсад ва вазифалар, ишлов бериш усуллари, турли хил ҳолатлар ва ёндашувлар учун тузилган ва тузилмаган маълумотларни қайта ишлаш.
Тузилмайдиган маълумотлар - бу маълум тартибда ташкил этилмаган ёки дастлабки тузилишга эга бўлмаган маълумотлар.
«Катта маълумотлар» атамаси Nature журнали Клиффорд Линч томонидан 2008 йилда дунёда маълумотларнинг ўсишига бағишланган махсус сонида киритилган.
2018 йил ўрталарига келиб Википедия Big Data атамасига қуйидаги таъриф берди:
«Катта маълумотлар бу 2000-йилларнинг охирида пайдо бўлган ва маълумотлар базасини бошқаришнинг анъанавий тизимлари ва Business Intelligence эчимларига муқобил бўлган горизонтал миқёсда кенгайтириладиган дастурий воситалар томонидан самарали ишлов берилган улкан ҳажм ва сезиларли хилма-хилликка оид тузилган ва тузилмаган маълумотларнинг таърифидир.»
Кўриб турганингиздек, ушбу таърифда «улкан», «аҳамиятли», «самарали» ва «алтернатив» каби ноаниқ атамалар мавжуд. Масалан, 4 Терабайт (ноутбук учун ташқи қаттиқ диск сиғими) катта маълумотми ёки йўқми? Википедия ушбу таърифга қуйидагиларни қўшади: «кенг маънода» катта маълумотлар «улкан маълумотлар тўпламини таҳлил қилиш учун технологик имкониятларнинг пайдо бўлиши билан боғлиқ бўлган ижтимоий-иқтисодий ҳодиса сифатида айтилади, баъзи бир муаммоли соҳаларда бутун дунё миқёсидаги маълумотлар ва бундан келиб чиқадиган трансформацион оқибатлар.
Энг содда таърифдан хам фойдаланиш мумкин:
«Катта маълумотлар - бу учта операцияни бажариш учун мўлжалланган технологияларнинг бирикмаси:
1. «Оддий» сценарийларга қараганда катта ҳажмдаги маълумотларни қайта ишлаш
2. Жуда катта ҳажмда жуда тез келадиган маълумотлар билан ишлаш. Яъни, маълумотлар шунчаки кўп эмас, лекин доимий равишда тобора кўпайиб бормоқда
3. Таркибий ва юмшоқ тузилган маълумотлар билан параллел ва турли томонларда ишлаш имконига эга бўлиш. ”
IBS таҳлилчиларига кўра «бутун дунё миқёсидаги маълумотлар ҳажмини» қуйидаги қийматлар билан баҳолади:
2003 йил - 5 экзабайт маълумотлар (1 ЭБ = 1 миллиард гигабайт)
2008 йил - 0,18 зеттабайт (1 СТ = 1024 экзабайт)
2015 йил - 6,5 зеттабайтдан кўпроқ
2020 - 40–44 зеттабайт (прогноз)
2025 йил - бу ҳажм яна 10 баравар кўпаяди.
Мутахассисларнинг фикрига кўра, катта маълумотлар кунига 100 Гб дан ортиқ маълумотлар оқимини ўз ичига олади. Бугунги кунда ушбу оддий атамада фақат иккита сўз мавжуд - маълумотларни қайта ишлаш ва сақлаш. Бугунги дунёда Big Data - бу кенг кўламли маълумотларни таҳлил қилиш учун янги технологияларнинг пайдо бўлиши билан боғлиқ бўлган ижтимоий-иқтисодий ҳодисадир.

3.1-расм. Маълумотларнинг катта ўсиши индекси