1-variant 1, Fanning maqsad va vazifalari, predmeti va metodlari

13-variant
1.Yangi texnologiyalar, qurilmalar va aloqa vositalarining tezkor rivojlanishi, ijtimoiy tarmoqlarning keng miqyosda yoyilishi ta’sirida insoniyat tarafidan ishlab chiqilayotgan ma’lumotlar miqdori keskin tarzda oshib bormoqda. Insoniyat yaralgan vaqtdan 2003-yilgacha to‘plangan ma’lumotlar 5 milliard gigabayt miqdoriga teng deb hisoblanadi va bu ma’lumotlar diskka yozilgan holatda butun bir futbol maydonini egallashi mumkin bo‘ladi. Ushbu miqdordagi ma’lumotlar 2011-yilda har ikki kunda yaratilgan bo‘lsa, 2013-yilga kelib, insoniyat tomonidan 5 milliard gigabayt ma’lumot har 10 daqiqada yaratilmoqda. Bu o‘z navbatida, fanda yangi atama — katta hajmli ma’lumotlar (Big Data) tushunchasining yaralishiga sabab bo‘ldi. Bu turdagi katta hajmli ma’lumotlar bilan ishlashda, hozirda yangidan-yangi algoritm va texnologiyalar ishlab chiqilmoqda va amaliyotda keng qo‘llanilmoqda. NoSQL ( ingliz tilidan nafaqat SQL - nafaqat SQL ) 2000-yillarning oxiri - 2010-yillarning boshlarida paydo bo'lgan va SQL tilidan foydalangan holda ma'lumotlarga kirish huquqiga ega bo'lgan an'anaviy relyatsion ma'lumotlar bazasidan sezilarli darajada farq qiluvchi turli xil ma'lumotlar bazasini boshqarish tizimlariningkeng sinfi uchun belgidir . Atomlik va ma'lumotlarning mustahkamligi talablarini to'liq yoki qisman rad etish tufayli miqyoslilik va mavjudlik muammolarini hal qilishga harakat qiladigan tizimlar uchun amal qiladi. Dastlab, NoSQL so'zi ikkita inglizcha so'zning qisqartmasi bo'lgan: Yo'q ("Not") va SQL (inglizchaning qisqartmasi . Structured Query Language - "structured query language"), bu atama "inkor qilish SQL" ma'nosini beradi. Ehtimol, bu atamani birinchi bo'lib qo'llashni boshlaganlar "RDBMS yo'q" (" ilovaviy DBMS emas ") yoki "relational emas" ("aloqaviy emas") demoqchi bo'lgan bo'lishi mumkin, ammo NoSQL yaxshiroq eshitildi va oxir-oqibat uni qo'lga kiritdi. muqobil, u ham taklif qilingan NonRel). Keyinchalik, NoSQL "Nafaqat SQL" ("nafaqat SQL") tushuntirishini ishlab chiqdi. NoSQL turli xil ma'lumotlar bazalari va omborlari uchun umumiy atama bo'lib qoldi , lekin u biron bir alohida texnologiya yoki mahsulotga ishora qilmaydi. Asosiy xususiyatlar - An'anaviy ma'lumotlar bazasi ACID ning tranzaktsion tizimga qo'yadigan talablarini boshqaradi : atomiklik ( inglizcha atomiklik ), konsistensiya ( eng. izchillik, izolyatsiyalash ( inglizcha izolyatsiya ), chidamlilik ( inglizcha chidamlilik ), NoSQLda esa ACID o'rniga, BASE xossalari to‘plamini ko‘rib chiqish mumkin: asosiy mavjudligi - har bir so'rovning bajarilishi kafolatlanadi (muvaffaqiyatli yoki muvaffaqiyatsiz) . yumshoq holat - tizimning holati vaqt o'tishi bilan, hatto yangi ma'lumotlar kiritilmasdan ham, ma'lumotlarning izchilligiga erishish uchun o'zgarishi mumkin. Yakuniy
13.2
izchillik - ma'lumotlar bir muncha vaqt mos kelmasligi mumkin, ammo bir muncha vaqt o'tgach, kelishuvga erishiladi.
2.Mashinali o'qtish suny intelligence asosiy sohalaridan biri bo'lib, kuyidagicha tariflanishi mumkin: "Mashinali o'kitysh - bu kompyuter odamlarni o'rganishga harakat qilish va vaqt o'tishi bilan o'z bilimlarini mustakil ravnaq topishi, real duneda kuzatuvlar va o'zaro ta'sirlar ma'lumotlar. Machinada o'qitish (ML) - bu suny intellect nazariyasining bir bwlimi, computer suny intellect yordamida hal qilish zharayoni va usullarini izlashdan iborat.Machinada o'qitish (ML) - bu berilganlar va chikish ma'lumotlariga asosan computerdaa dastur uchun tayinlangan bo'lib, u an'anaviy dasturda foydalanilishi mumkin.Machinada o'rganish dehqonchilik yoki bg'dorchilikka o'xshaidi. Uruglar algorithm, ozuka algori ma'lumotlar, bogbon siz, o'simliklar esa dasturdir. Machinada o'rganishni rivojlantirishi nazarat ostida va nazaratsiz o'qishga bo'linishi mumkin. "O'qituvchi" deganda, odamlarning ma'lumotlarni qayta ishlashga aralashuvi goyasi tushunilady. Nazorat ostida o'kityshda bizda biror narsa va bazi farazlarni bashorat qilish kerak bulgan ma'lumotlar mavzhud bwlsa o'qituvchining zaruriyati mavzhud. O'qituvchiz o'qiyotganimizda, bizda faqat ma'lumotlar, biz topmoqchi bulgan goya, boshorat va karorlarga yaroqlilar buladi. Mashinada oʻqish zharayonini boshlash uchun avval kompyuterga maʼlumotlar tʼplamini (dastlabki maʼlumotlarning bir qismi) yuk olish kerak, bu the algorithm of superlarni qayta ishlashni oʻrganadi. Masalan, itlar va mushuklarning rasmlari bulishi mumkin, ular allaqachon kimga tegishli ekanliklarini kirgan yorliqlarga ega. 'kuv zharayonidan s'ng dasturning o'zi it va mushuklarni yangi rasmlarda tegsiz taniy fritters. Forecastlar chikarilgandan s'ng o'kuv zharayoni davom etadi, biz dasturga tegishli kancha ko'p ma'lumotlarni tahlil qiladi, kerakli tasvirlarni shunchalik aniqroq taniydi. Mashinali o'qitish orkali komputerlar milliy photosuratlar va chizmalardagi yuzlarni, beams landscapelar, objectlar, matn va raqamlarni hom tanib olishga Hrgandilar. Matn haqida gap ketganda computerda o'rganish hom muhim narsa ega: grammar yetarli funktsiyasi andi har qanday matn muxarrida va xattoki telefonlarda mavzhud. Bundan tashqari, tabiiy suzlarning imlosi, beams context, mano soyalari va boshka nozik linguist zhihatlar hham hisobga mahsulot. Bundan tashqari, inson aralashuvisiz (iqtisodiy va muammosi, sport ofda mavzusi) yangiliklar makolalarini olish mumkin bulgan dastury ta'minot mavjud.Ma'lumotlarni tahlil qilish asosida mashinada o'qish texnologiyasi 1950 yilda, checker o'yini uchun birinchi dasturlar ishlab chiqila boshlanadi. Sunggi o'n yilliklarda umumiy o'zgarmadi. Ammo computerlarning o'ynashini qudratinging portlovchi tufaili ular yaratgan boshhoratlar necha bor murakkablashdi mashinada o'qish yordamida echilishi mumkin bulgan muammolar va boshqaruvchi doirashi kengaydi.
3. Bir kompyuterda katta malumotlar bilan ishlash- Katta hajimli malumotlar bilan ishlashda mavjud muammolar Katta hajimli malumotlar quyidagi muammolarni keltirib chiqaradi: 1-Xotirani yetishmasligi.2-Tugallanmayd bigan jarayonlar.3-Bir komponentning “tor joyda” joylashuvi boshqa komponentning ishlamasligiga olib keladi.3-Yetarli bolmagan tezlik. Katta hajimli malumotlarni qayta ishlashni umumiy metodlari- Cheksiz hisob-kitoblar, xotiradan tashqari xatolar va tezlik bilan bog'liq muammolar katta ma'lumotlar bilan ishlashda yuzaga keladigan eng keng tarqalgan muammolardir. Ushbu bo'limda biz ushbu muammolarni bartaraf etish yoki yumshatish uchun echimlarni o'rganamiz. Qarorlarni uchta toifaga bo'lish mumkin: to'g'ri algoritmlarni tanlash, to'g'ri ma'lumotlar tuzilmalarini tanlash va to'g'ri vositalardan foydalanish. Algoritmni to'g'ri tanlash- To'g'ri algoritmni tanlash apparatni qo'shish yoki yangilashdan ko'ra ko'proq muammolarni hal qiladi. Katta ma'lumotlar bilan ishlash uchun mos bo'lgan algoritm bashorat qilish uchun butun ma'lumotlar to'plamini xotiraga yuklashi shart emas. Ideal holda, algoritm parallel hisoblashni ham qo'llab- quvvatlashi kerak. Ushbu bo'limda biz ushbu xususiyatga ega bo'lgan uchta turdagi algoritmlarni ko'rib chiqamiz: onlayn algoritmlar, blok algoritmlari va MapRaduce algoritmlari. Malumotlat tarkibini togri tanlash-Algoritmlar sizning dasturlaringizning muvaffaqiyati yoki muvaffaqiyatsizligida hal qiluvchi omil bo'lishi mumkin, ammo ma'lumotlarning qanday saqlanishi ham muhimdir. Ma'lumotlar tuzilmalari turli xil saqlash talablariga ega, ammo ular yaratish/o'qish/yangilash/o'chirish(Crud/create/read/update/delete) va boshqa ma'lumotlar to'plami operatsiyalarining ishlashiga ham ta'sir qiladi.Instrumentlarni tog`ri tanlash- Algoritmlar va ma'lumotlar tuzilmalarining to'g'ri sinfini tanlaganingizdan so'ng, to'g'ri vositani tanlashingiz kerak.Bunday vosita Python kutubxonasi yoki hech bo'lmaganda Python-dan boshqarilishi mumkin bo'lgan vosita bo'lishi mumkin. Ko'p foydali vositalar mavjud, shuning uchun biz faqat kichik bir to'plamni ko'rib chiqamiz.


13.3
4 shakllangan texnologiya sohasidir. BigData ni yig'ish va qayta ishlash uchun foydalaniladigan texnologiyalarni 3 guruhga bo'lish mumkin: -Dasturiy ta'minot;- Uskunalar; - Xizmatlar. Ma'lumotlarni qayta ishlashning eng keng tarqalgan yondashuvlari (dasturiy ta'minot) quyidagilardir: SQL - bu ma'lumotlar bazalari bilan ishlash imkonini beruvchi tuzilgan so'rovlar tili. SQL-dan foydalanib, siz ma'lumotlarni yaratishingiz va o'zgartirishingiz mumkin va ma'lumotlar massivi tegishli ma'lumotlar bazasini boshqarish tizimi tomonidan boshqariladi. NoSQL - atama Not Only SQL (nafaqat SQL) degan ma'noni anglatadi. U ma'lumotlar bazasini amalga oshirishga qaratilgan bir qator yondashuvlarni o'z ichiga oladi, ular an'anaviy, relyatsion MBBT da qo'llaniladigan modellardan farq qiladi. Ular doimiy o'zgaruvchan ma'lumotlar tuzilmasi bilan foydalanish uchun qulay. Masalan, ijtimoiy tarmoqlarda ma'lumotlarni yig'ish va saqlash. MapReduce - bu hisoblash taqsimoti modeli. Juda katta ma'lumotlar to'plamlarida parallel hisoblash uchun ishlatiladi (petabayt* yoki undan ko'p). Dasturlash interfeysida ma'lumotlar ishlov berish uchun dasturga o'tkazilmaydi, lekin dastur ma'lumotlarga o'tkaziladi. Shuning uchun so'rov alohida dastur hisoblanadi. Ishlash printsipi ikkita Map va Reduce usuli bilan ma'lumotlarni ketma-ket qayta ishlashdan iborat. Xarita dastlabki ma'lumotlarni tanlaydi, Reduce ularni yig'adi. DataMining usullari tahlilchi duch keladigan ko'plab muammolarni hal qilishga imkon beradi. Ulardan asosiylari: tasniflash, regressiya, assotsiatsiya qoidalarini izlash va klasterlash. Quyida ma'lumotlarni tahlil qilishning asosiy vazifalarining qisqacha tavsifi keltirilgan. 1) Tasniflash vazifasi ob'ektning xususiyatlariga ko'ra sinfini aniqlashga qisqartiriladi. Shuni ta'kidlash kerakki, bu masalada ob'ektni belgilash mumkin bo'lgan sinflar to'plami oldindan ma'lum. 2) Regressiya vazifasi, xuddi tasniflash vazifasi kabi, ob'ektning ma'lum xususiyatlaridan kelib chiqib, uning ayrim parametrlarining qiymatini aniqlash imkonini beradi. Tasniflash masalasidan farqli o'laroq, parametrning qiymati cheklangan sinflar to'plami emas, balki haqiqiy sonlar to'plamidir. 3) Assotsiatsiya vazifasi. Assotsiatsiya qoidalarini qidirishda maqsad ob'ektlar yoki hodisalar o'rtasidagi tez-tez bog'liqliklarni (yoki assotsiatsiyalarni) topishdir. Topilgan bog'liqliklar qoidalar ko'rinishida taqdim etilgan va tahlil qilingan ma'lumotlarning mohiyatini yaxshiroq tushunish uchun ham, voqealar sodir bo'lishini bashorat qilish uchun ham ishlatilishi mumkin. 4) Klasterlashning vazifasi mustaqil guruhlar (klasterlar) va ularning xususiyatlarini tahlil qilinayotgan ma'lumotlarning butun majmuasida izlashdan iborat. Ushbu muammoni hal qilish ma'lumotlarni yaxshiroq tushunishga yordam beradi. Bundan tashqari, bir hil ob'ektlarni guruhlash ularning sonini kamaytirishga va natijada tahlilni osonlashtirishga imkon beradi. 5) Ketma-ket naqshlar - vaqt bilan bog'liq bo'lgan hodisalar o'rtasida qonuniyatlarni o'rnatish, ya'ni. Agar X voqea sodir bo'lsa, Y hodisasi ma'lum vaqtdan keyin sodir bo'lishiga bog'liqlikni aniqlash. 6) og'ishlarni tahlil qilish - eng xarakterli bo'lmagan naqshlarni aniqlash. Sanab o'tilgan vazifalar maqsadiga ko'ra tavsiflovchi va bashoratli bo'linadi. Ta'riflash vazifalari tahlil qilinayotgan ma'lumotlarni tushunishni yaxshilashga qaratilgan. Bunday modellardagi asosiy nuqta - natijalarning inson idroki uchun qulayligi va shaffofligi. Ehtimol, topilgan naqshlar o'rganilayotgan aniq ma'lumotlarning o'ziga xos xususiyati bo'lib, boshqa joyda topilmaydi, lekin u hali ham foydali bo'lishi mumkin va shuning uchun ma'lum bo'lishi kerak. Ushbu turdagi muammolar klasterlash va assotsiatsiya qoidalarini qidirishni o'z ichiga oladi. Bashoratli masalalarni yechish ikki bosqichga bo'linadi. Birinchi bosqichda ma'lum natijalarga ega bo'lgan ma'lumotlar to'plamiga asoslangan model quriladi. Ikkinchi bosqichda u yangi ma'lumotlar to'plamiga asoslangan natijalarni bashorat qilish uchun ishlatiladi. Bunday holda, albatta, qurilgan modellarning iloji boricha aniq ishlashi talab qilinadi. Ushbu turdagi muammolar tasniflash va regressiya muammolarini o'z ichiga oladi. Bu, shuningdek, assotsiatsiya qoidalarini topish muammosini o'z ichiga oladi, agar uni hal qilish natijalaridan ma'lum voqealar sodir bo'lishini taxmin qilish uchun foydalanish mumkin bo'lsa. Muammolarni hal qilish usullariga ko'ra ular nazorat ostida o'qitish (o'qituvchi bilan o'qitish) va nazoratsiz ta'lim (o'qituvchisiz o'rganish) ga bo'linadi. Bu nom ingliz tilidagi adabiyotlarda tez-tez ishlatiladigan va barcha Data Mining texnologiyalariga ishora qiluvchi Machine Learning (mashinalarni o'rganish) atamasidan kelib chiqqan.
5. Ma'lumotni yuklab olish –bu tendentsiyalar, naqshlar va foydali ma'lumotlarni aniqlash uchun berilgan ma'lumotlar to'plamidan ma'lumot olishda yordam beradigan jarayon. Ma'lumotni yuklab olishdan foydalanishning maqsadi katta ma'lumotlar to'plamidan ma'lumotlarga asoslangan qarorlar qabul qilishdir. Ma'lumotlarni yuklab olish maxsus guruh muammolari bilan ishlash uchun mo'ljallangan murakkab algoritmlardan foydalanadigan statistika fanining bir tarmog'i bo'lgan bashoratlitahlil bilan birgalikda ishlaydi. Bashoratli tahlil birinchi navbatda katta hajmdagi ma'lumotlarning naqshlarini
13.4
aniqlaydi, bu ma'lumotlarni qazib olish bashorat va prognozlar uchun umumlashtiradi. Ma'lumotni yuklab olish o'ziga xos maqsadga xizmat qiladi, ya'ni ma'lum bir domenga tegishli bo'lgan muammolar to'plamidagi ma'lumotlar to'plamidagi naqshlarni tanib olishdir. Ma'lumotlarning yuklab olinishi mumkin bo'lgan turlari1. Ma'lumotlar bazasida saqlanadigan ma'lumotlarMa'lumotlar bazasi ma'lumotlar bazasini boshqarish tizimi yoki DBMS deb ham ataladi. Har bir ma'lumotlar bazasi ma'lumotlar bazasi bir-biri bilan bog'liq bo'lgan ma'lumotlarni saqlaydi. Shuningdek, u ma'lumotlarni boshqarish va ularga oson kirishni ta'minlash uchun foydalaniladigan dasturiy ta'minot dasturlari to'plamiga ega. Ushbu dasturiy ta'minot dasturlari juda ko'p maqsadlarga xizmat qiladi, jumladan, ma'lumotlar bazasi tuzilmasini aniqlash, saqlangan ma'lumotlarning xavfsiz va izchil bo'lishiga ishonch hosil qilish va umumiy, taqsimlangan va bir vaqtning o'zida ma'lumotlarga kirishning turli turlarini boshqarish. Relyatsion ma'lumotlar bazasida turli nomlar, atributlarga ega bo'lgan va katta ma'lumotlar to'plamining qatorlari yoki yozuvlarini saqlashi mumkin bo'lgan jadvallar mavjud.Jadvalda saqlangan har bir yozuv o'ziga xos kalitga ega. Obyektlar va ular o'rtasidagi munosabatlarni aks ettiruvchi relyatsion ma'lumotlar bazasini taqdim etish uchun ob'ekt-munosabatlar modeli yaratilgan.2. Ma'lumotlar omboriMa'lumotlar ombori -bu bir nechta manbalardan ma'lumotlarni to'playdigan va keyin uni yagona reja shaklida saqlaydigan yagona ma'lumotlarni saqlash joyi. Ma'lumotlar omborida saqlangan ma'lumotlar tozalash, integratsiya, yuklash va yangilashdan o'tadi. Ma'lumotlar omborida saqlanadigan ma'lumotlar bir necha qismlarga bo'linadi. Agar siz 6 yoki 12 oy oldin saqlangan ma'lumotlar haqida ma'lumot olishni istasangiz, uni xulosa shaklida olasiz.3. Transaktsion ma'lumotlarTranzaksiya ma'lumotlar bazasi tranzaktsiyalar sifatida olingan yozuvlarni saqlaydi. Ushbu tranzaktsiyalarga parvozlarni bron qilish, mijoz sotib olish, veb-saytga bosish va boshqalar kiradi. Har bir tranzaksiya yozuvi noyob identifikatorga ega. Shuningdek, u tranzaktsiyani amalga oshirgan barcha elementlarni sanab o'tadi.4. Boshqa turdagi ma'lumotlarBizda tuzilishi, semantik ma'nolari va ko'p qirraliligi bilan mashhur bo'lgan boshqa ko'plab ma'lumotlar turlari mavjud. Ular ko'plab dasturlarda qo'llaniladi. Mana shu ma'lumotlar turlaridan bir nechtasi: ma'lumotlar oqimlari, muhandislik dizayn ma'lumotlari, ketma-ketlik ma'lumotlari, grafik ma'lumotlar, fazoviy ma'lumotlar, multimedia ma'lumotlari va boshqalar