Samarqand davlat universiteti intellektual tizimlar va kompyuter texnologiyalar fakulteti

O’ZBEKISTON RESPUBLIKASI
OLIY VA O’RTA-MAXSUS TA’LIM VAZIRLIGI
SAMARQAND DAVLAT UNIVERSITETI
INTELLEKTUAL TIZIMLAR VA
KOMPYUTER TEXNOLOGIYALAR FAKULTETI
AXBOROT TIZIMLARINI MATEMATIK VA
DASTURIY TA’MINOTI YO’NALISHI
407-guruh talabasi
Raxmonqulov Xurshidning
Big Data va ma’lumotlar tahlili fanidan

MUSTAQIL ISHI
Bajardi : Raxmonqulov Xurshid
Tekshirdi: Xatamov.O
SAMARQAND-2022
Ma'lumotlarni tahlil qilish turlari: texnikasi va usullari.
Ma'lumotlarni tahlil qilish texnikasi biznes va texnologiyalar asosida mavjud bo'lgan bir nechta turlari mavjud. Shu bilan birga, ma'lumotlarni tahlil qilishning asosiy turlari quyidagilardir:
• Matn tahlili
• Statistik tahlil
• Diagnostik tahlil
• Bashoratli tahlil
• Tavsiya etilgan tahlil
Matn tahlili: Matn tahlili Ma'lumotlarni qazib olish deb ham yuritiladi. Ma'lumotlar bazalari yoki ma'lumotlarni yig'ish vositalaridan foydalangan holda katta ma'lumotlar to'plamidagi naqshni aniqlash usuli. U xom ma'lumotni biznes ma'lumotlariga aylantirish uchun ishlatilgan. Bozorda Business Intelligence vositalari mavjud bo'lib, ular strategik biznes qarorlarini qabul qilish uchun ishlatiladi. Umuman olganda, bu ma'lumotni ajratib olish va tekshirish usullarini, naqshlarni olish va nihoyat ma'lumotlarni izohlashni taklif etadi.
Statistik tahlil: Statistik tahlil "Nima bo'ladi?" o'tmishdagi ma'lumotlar panelidan foydalanib. Statistik tahlil ma'lumotlarni yig'ish, tahlil qilish, talqin qilish, taqdim etish va modellashtirishni o'z ichiga oladi. Bu ma'lumotlar to'plamini yoki ma'lumotlar namunasini tahlil qiladi. Ushbu turdagi tahlilning ikkita toifasi mavjud - tavsiflovchi tahlil va xulosaviy tahlil.
Ta'riflovchi tahlil: to'liq ma'lumotlarni yoki umumlashtirilgan raqamli ma'lumotlarning namunasini tahlil qiladi. Bu doimiy ma'lumotlarning o'rtacha va og'ishini ko'rsatadi, kategoriya ma'lumotlari uchun foiz va chastotani.
Xulosa tahlili: to'liq ma'lumotlardan namunani tahlil qiladi. Ushbu turdagi tahlilda siz turli xil namunalarni tanlab bir xil ma'lumotlardan har xil xulosalarni topishingiz mumkin.
Diagnostik tahlil: Diagnostik tahlillar "Nima uchun bunday bo'ldi?" statistik tahlilda topilgan tushunchadan sababni topish orqali. Ushbu tahlil ma'lumotlarning xatti-harakatlarini aniqlash uchun foydalidir. Agar sizning biznes jarayoningizda yangi muammo yuzaga kelsa, u holda siz ushbu tahlilni ko'rib chiqib, ushbu muammoning o'xshash naqshlarini topishingiz mumkin. Va yangi muammolar uchun shunga o'xshash retseptlardan foydalanish imkoniyati bo'lishi mumkin.
Bashoratli tahlil: Bashoratli tahlil avvalgi ma'lumotlardan foydalangan holda "nima sodir bo'lishi mumkinligini" ko'rsatadi. Eng oddiy misol, agar o'tgan yili men o'zimning jamg'armalarim asosida ikkita ko'ylak sotib olgan bo'lsam, agar bu yil ish haqim ikki baravar ko'payayotgan bo'lsa, unda to'rtta ko'ylak sotib olsam bo'ladi. Ammo, albatta, bu oson emas, chunki siz bu yil kiyim-kechak narxining ko'tarilishi kabi boshqa holatlar haqida o'ylashingiz kerak, yoki ko'ylaklar o'rniga yangi velosiped olmoqchisiz, yoki uy sotib olishingiz kerak!
Demak, bu erda tahlil hozirgi yoki o'tgan ma'lumotlarga asoslanib kelajakdagi natijalar to'g'risida bashorat qiladi. Bashorat qilish bu shunchaki taxmin. Uning aniqligi sizda qancha batafsil ma'lumotga ega ekanligingizga va unda qancha ma'lumot qaziganingizga asoslanadi.
Tavsiya etilgan tahlil: Tavsiya etuvchi tahlil hozirgi barcha muammolar yoki qarorlar bo'yicha qanday choralar ko'rilishini aniqlash uchun avvalgi barcha tahlillardan tushunchani birlashtiradi. Ma'lumotlarga asoslangan kompaniyalarning aksariyati Prescriptive Analysis-dan foydalanmoqdalar, chunki prognozli va tavsiflovchi tahlillar ma'lumotlar ishlashini yaxshilash uchun etarli emas. Mavjud vaziyat va muammolarga asoslanib, ular ma'lumotlarni tahlil qiladi va qarorlar qabul qiladi.
Ma'lumotlarni tahlil qilish nima?
Ma'lumotlarni tahlil qilish biznes qarorlarini qabul qilish uchun foydali ma'lumotlarni topish uchun ma'lumotlarni tozalash, o'zgartirish va modellashtirish jarayoni sifatida tavsiflanadi. Ma'lumotlarni tahlil qilishning maqsadi ma'lumotlardan foydali ma'lumotlarni olish va ma'lumotlarni tahlil qilish asosida qaror qabul qilishdir.
Kundalik hayotimizdahar qanday qarorni qabul qilganimizda, oxirgi marta nima bo'lganini yoki shu qarorni tanlash orqali nima bo'lishini o'ylab ko'rish kerak. Bu bizning o'tmishimizni yoki kelajagimizni tahlil qilish va unga qarab qaror qabul qilishdan boshqa narsa emas. Buning uchun biz o'tmishimiz yoki kelajak haqidagi orzularimiz haqida xotiralar to'playmiz. Demak, bu ma'lumotlarni tahlil qilishdan boshqa narsa emas. Endi analitik biznes maqsadlarida qiladigan narsa "Data Analysis" deb nomlanadi.

Ma'lumotlarni tahlil qilish quyidagi bosqichlardan iborat:

• Ma'lumotlarni yig'ish
• Ma'lumotlar yig'ish
• Ma'lumotlarni tozalash
• Ma'lumotlarni tahlil qilish
• Ma'lumotlarni talqin qilish
• Ma'lumotlarni vizualizatsiya qilish
Deep learning(chuqur o'qitish) tushunchasi. Deep learning(chuqur o'qitish) - yanada murakkab va yanada mustaqil bo'lgan o'zi o'qidigan dasturlar yaratadigan mashinali o'qitish turi. Oddiy mashinali o'qitish hollarida boshqariladigan malaka yordamida kompyuter bilimlarni aniqlab oladi: dasturchi algoritmga ma'lum misollarni ko'rsatadi, xatolarni qo'lda to'g'rilaydi. Deep learningda esa, tizim o'zi o'z funksiyalarini loyihalaydi, ko'p darajali hisob-kitoblar amalga oshiradi va atrof-muhit haqida xulosalar qiladi.
Odatda chuqur o'qitishni neyron tarmoqlarga tadbiq qilishadi. Bu texnologiya asosan rasmlarni qayta ishlashda, nutqni tanishda, neyromashina tarjima, farmatsevtikadagi hisoblashlarda va boshqa zamonaviy texnologiyalarda qo'llaniladi. Asosan Google, facebook va Baidu tomonidan loyihalarga tadbir qilinadi.
Machine learning(mashinali o'qitish) tushunchasi. Machine learning(mashinali o'qitish) - o'zi o'rganadigan dasturlar yaratish amaliyoti va nazariyasi, sun'iy intellektning katta qismi.
Dasturchilar o'z algoritmlariga xususiy hollarda umumiy qonuniyatlarni aniqlashni o'rgatishadi. Natijada, kompyuter, inson avvaldan ko'rsatib o'tgan buyruqlaridan emas, balki, o'z shaxsiy malakasidan kelib chiqib qaror qabul qiladi. Bunday o'qitishning juda ko'p metodlari data mining'ga oid bo'lishi mumkin.
Mashinali o'qitishga birinchi tarifni 1959-yilda amerikalik informatik Artur Samuel bergan. U sun'iy intellekt elementlariga ega bo'lgan shashka o'yini, dunyoda birinchi o'zi o'rganadigan dasturni yaratgan.
Business intelligence(biznes-analitika) - aniq strukturaga ega bo'lmagan juda katta hajmdagi ma'lumotlarni qayta ishlash natijasida muqobil biznes yechimlar izlashga aytiladi.
Effektiv biznes-analitika ichki va tashqi ma'lumotlarni analiz qiladi - ham bozor axborotlarini, ham mijoz-kompaniyaning hisobotlarini hisobga oladi. Bu biznesni butunlay tushunishga yordam beradi, shu bilan birga, strategik va operatsion qarorlar qabul qilishga zamin yaratadi(mahsulot narxini aniqlashda, kompaniya rivojlanishining asosiy yo'nalishlarini belgilab olishda).
Bu atama 1958-yilda IBM taqdiqotchisi Xans Piter Lun maqolasida birinchi bo'lib ko'rsatilgan. 1996-yilda axborot texnologiyalari bozorini o'rganishga asoslangan Gartner analitik agentligi business intelligence tarkibiga data mining metodikasini ham qo'shgan.
Sun'iy neyron tarmog'i - oddiy protsessorlar(sun'iy neyronlar) birlashtirilgan tizimi bo'lib, insonning nerv tizimini imitatsiya qiladi. Bunday struktura evaziga, neyron tarmoqlari dasturlanmaydi, ular o'qitishadi. Huddi haqiqiy neyronlar kabi, protsessorlar signallarni oddiygina qabul qilishadi va boshqa protsessorlarga o'zatishadi. Shu bilan birga, boshqa butun tizim algoritmlar bajara olmaydigan murakkab topshiriqlarni bajaradi.
1943-yilda amerikalik olimlar Uorren Makkalok va Uolter Pittslar sun'iy neyron tarmog'i tushunchasini fanga kiritishgan.
Katta ma'lumotlar va axborot xavfsizligi
Keng ma'noda, axborot xavfsizligi bu tabiiy yoki sun'iy tabiatning tasodifiy yoki qasddan salbiy ta'siridan axborot xavfsizligi va yordamchi infratuzilma.
Axborot xavfsizligi sohasida Big Data quyidagi muammolarga duch keladi:
- ma'lumotlarni himoya qilish va ularning yaxlitligini ta'minlash muammolari;
- maxfiy ma'lumotlarni buzish va yashirinish xavfi;
- maxfiy ma'lumotlarni noto'g'ri saqlash;
- ma'lumotni yo'qotish xavfi, masalan, boshqa birovning zararli harakatlari tufayli;
- shaxsiy ma'lumotlardan uchinchi shaxslar tomonidan noto'g'ri foydalanish xavfi va boshqalar.
Blokchain texnologiyasi va Big Data o'zaro ta'sirining istiqbollari
Blokchain echishga mo'ljallangan katta ma'lumotlarning asosiy muammolaridan biri, axborot xavfsizligi sohasida. Uning barcha asosiy tamoyillariga rioya qilinishini ta'minlash, taqsimlangan ro'yxatga olish texnologiyasi ma'lumotlarning yaxlitligi va ishonchliligini kafolatlashi mumkin va bitta nosozlik nuqtasi yo'qligi sababli blockchain axborot tizimlarini barqaror qiladi. Tarqalgan ro'yxatga olish texnologiyasi ma'lumotlarga bo'lgan ishonch muammosini hal qilishga yordam beradi, shuningdek, ularni umumiy ravishda baham ko'rish imkoniyatini beradi.
Axborot muhim ahamiyatga ega, demak, axborot xavfsizligining asosiy jihatlarini ta'minlash masalasi birinchi o'rinda turadi. Raqobatda omon qolish uchun kompaniyalar vaqtni bosib o'tishlari kerak, ya'ni ularni blockchain texnologiyasi va Big Data vositalari mavjud bo'lgan imkoniyatlar va afzalliklarga e'tibor bermaslik kerak.
Katta ma'lumotlardan foydalanishning asosiy muammolari. Katta narxga qo'shimcha ravishda, Big Data-ni turli sohalarda amalga oshirishga to'sqinlik qiluvchi asosiy omillardan biri bu qayta ishlanadigan ma'lumotlarni tanlash muammosi: ya'ni qaysi ma'lumotlarni olish, saqlash va tahlil qilish kerakligini aniqlash va bu hisobga olinmasligi kerak.
Big Data bilan bog'liq yana bir muammo axloqiy. Boshqacha qilib aytganda, tabiiy savol tug'iladi: bunday ma'lumotlarni yig'ish (ayniqsa foydalanuvchining ma'lumotisiz) shaxsiy hayot chegaralarini buzish deb hisoblanishi mumkinmi?
Google va Yandex qidiruv tizimlarida saqlanadigan ma'lumotlar IT gigantlariga doimiy ravishda o'z xizmatlarini takomillashtirish, foydalanuvchilarga qulay va yangi interfaol dasturlarni yaratishga imkon beradi. Buning uchun qidiruv tizimlari foydalanuvchilarning Internetdagi faoliyati, IP-manzillari, geolokatsion ma'lumotlari, qiziqishlar va onlayn xaridlar to'g'risidagi ma'lumotlar, shaxsiy ma'lumotlar, elektron pochta xabarlari va hokazolarni to'playdi. Bularning barchasi Internetdagi foydalanuvchi harakatlariga muvofiq kontekstual reklama namoyish qilish imkonini beradi. Shu bilan birga, odatda, foydalanuvchilarning roziligi so'ralmaydi va o'zlari haqida qanday ma'lumot berishni tanlash berilmaydi. Ya'ni, sukut bo'yicha, Big Data ushbu saytlarning serverlarida saqlanadigan barcha narsalarni to'playdi.
Bu ma'lumotlarni saqlash va ulardan foydalanish xavfsizligini ta'minlash bilan bog'liq navbatdagi muhim muammoga olib keladi.