Ma'lumotlarni intellektual

Ma'lumotlarni qidirish vazifalari ma'lumotlarni tahlil qilish muammolari bilan chambarchas bog'liq. Masalan, ba'zi bir ko'rsatkichning optimal qiymatini ta'minlaydigan o'zgaruvchan qiymatlarni qidirish ma'lum bir qiymatlar to'plamini, ba'zan esa butun to'plamni tahlil qilishni o'z ichiga oladi. Shu bilan birga, ma'lumotlarni tahlil qilish qidiruvdan tashqariga chiqadi va asboblar va usullarning ancha katta arsenaliga ega. Intellektual ma'lumotlarni tahlil qilish texnologiyalari odatda Data Mining deb nomlangan fan doirasida ko'rib chiqiladi. Mining inglizchada “kon qazish” degan ma’noni anglatadi va Data Mining iborasi katta hajmdagi ma’lumotlardan foydali bilimlarni olish uchun metaforadir. Data Mining-ning salafi OLAP texnologiyasidir.


Neyron tarmoqNeyron tarmoq (sun'iy neyron tarmoq, SNT) - matematik model va biologik neyron tarmoqlar asosida, tirik organizm nerv hujayralari tarmoqlarini tashkil etish va ishlash tamoyiliga qurilgan dasturiy yoki apparat ta'minotdir.

• 
  Bu tushuncha miyada sodir bo'ladigan jarayonlarni o'rganishda va bu jarayonlarni simulyatsiya qilishga urinishda paydo bo'ldi 1904 yilda ispan vrachi va biolog olim Santiyago Roman-i-Kaxal neyron xujayralarini kashf qilgan.
  
• 
  U shuningdek, rangli fotografiya nazariyasi asoschilaridan biri hamda
  

falsafiy va adabiy asarlar ham yozgan
Katta xajmdagi maʼlumotlarda Hadoop arxitekturasi. Hadoop va Spark kabi yangi katta ma'lumotlar texnologiyalari kompyuter klasterlari bilan ishlash va ularni boshqarishni osonlashtiradi.
Hadoop minglab kompyuterlarni masshtablashtirib, petabaytli klasterlar va saqlash joylarini yaratishi mumkin. Bu korxonalarga mavjud bo'lgan katta hajmdagi ma'lumotlardan foydalanish imkonini beradi. Katta ma`lumotlarda qo`llanilayotgan Hadoop, Spark kabi yangi texnologiyalar ko`mpyuter klasterlari bilan va ularni boshqarish ishlarini osonlashtiradi (qisqartiradi)
Hadoop – minglab komyuterlarni masshtablashda ma`lumotlar saqlash muxitini petabaytlar sig`adigan klasterlar yartish imkonini beradi
Hadoop ning asosiy komponentlari HDFS – fayl tizimini taqsimoti

• 
  MapReduce – dastur bajarilishini katta masshtabli uslubi
  
• 
  YARN – klaster resurslarni boshqarish tizimi
  
• 
  MapReduce ning ishini kichik bir xayoliy misol bilan ko'rib chiqish mumkin. Siz o'yinchoqlar ishlab chiqaruvchi kompaniya direktorisiz. Har bir o'yinchoq ikkita rangga bo'yalgan; mijoz veb-sahifadan o'yinchoq buyurtma qilganda, buyurtma fayli ko'rsatilgan ranglar bilan Hadoop-ga joylashtiriladi. Sizning vazifangiz bo'yoq uchun qancha idish tayyorlash kerakligini aniqlashdir. Ranglarni hisoblash uchun MapReduce uslubidagi algoritm qo'llaniladi. Keling, keyngi slaydagi rasmning soddalashtirilgan versiyasidan boshlaylik.
  
• 
  MapReduce - bosqichlari
  
• 
  Ko`rsatish bosqichi (Map)- hujjatlar kalit-qiymat juftliklariga bo'lingan. Yig'ish amalga oshirilishidan oldin ma'lumotlarda ko'plab dublikatlar bo'ladi.
  
• 
  Aniqlash bosqichi (Reduce) - umuman olganda SQl ni Group By konstruktsiyasiga o'xshaydi. Turli xil noyob misollar birlashtiriladi va yig'ish funktsiyasiga qarab, turli natijalarga erishish mumkin. Bunday holda, siz har bir rangning takrorlanish sonini olishingiz kerak, shuning uchun aniqlash funktsiyasi qaytariladi. Masalan keying slayddagi rasmni korish mumkin.
  
• 
  
• 
  Ko`rsatish bosqichi (Map)- hujjatlar kalit-qiymat juftliklariga bo'lingan. Yig'ish amalga oshirilishidan oldin ma'lumotlarda ko'plab dublikatlar bo'ladi.
  
• 
  Aniqlash bosqichi (Reduce) - umuman olganda SQl ni Group By konstruktsiyasiga o'xshaydi. Turli xil noyob misollar birlashtiriladi va yig'ish funktsiyasiga qarab, turli natijalarga erishish mumkin. Bunday holda, siz har bir rangning takrorlanish sonini olishingiz kerak, shuning uchun aniqlash funktsiyasi qaytariladi. Masalan keying slayddagi rasmni korish mumkin.
  
• 
  Mashinali o`qitish - bu kompyuter tomonidan harakatlarni yartuvchi, unga oldindan joylashtirilmagan bilim va ma`lumotlarni avtomat hosil qilishni tashkil etuvchi tadqiaot muhiti hisoblanadi.
  
• 
  Mashinali o`itish tushunchasi Artur Semyuel tomonidan kiritilgan va u unga yuqiridagi kabi ta`rif bergan.
  
• 
  Mashinali o`qitish - bu ma'lumot olish va ulardan axborotlarni chiqrib olish jarayonida kompyuterning aniqligi yaxshilanadigan jarayondir – deb Mayk Robert ta`rif bergan.
  
• 
  Masalan, foydalanuvchilar o`zlarini telefonlarida qancha ko`p matnli xabarlarni yozsa, telefon shuncha ko`p so`zlarni lug`atga kiritadi va kiritilayotgan tezda aniqlab avtomat tarzda yakunlash imkonini beradi.
  

• 
  Mashinali o`itish va uning qo`llanish maqsadlariRegressiya va tasniflash vazifalari Data Science mutaxassisi uchun juda muhim rol o'ynaydi. Ushbu maqsadlarga erishish uchun Data Science mutaxassislari foydalanadigan asosiy vositalardan biri bu mashinani o'rganishdir. Regressiya va avtomatik tasniflashning amaliy qo'llanilishi quyidagilardan iborat:
  
• 
  Mavjud ob'ektlar haqidagi ma'lumotlar asosida neft konlari, oltin konlari va arxeologik yodgorliklarni qidirish (tasniflash va regressiya).
  
• 
  Matnda odamlarning ismlarini yoki joy nomlarini topish (tasniflash).
  
• 
  Fotosuratlar yoki ovozli yozuvlar bo'yicha odamlarni aniqlash (tasniflash).
  
• 
  Qushlarni ovozlari bo'yicha tanib olish (tasniflash).
  
• 
  Foydali mijozlarni aniqlash (regressiya va tasniflash).
  
• 
  Avtomobilning eng ko'p buziladigan qismlarini (regressiya) faol ravishda aniqlang.
  
• 
  Shishlar va kasalliklarni aniqlash (klassifikatsiyasi).
  
• 
  Biror kishi X mahsulotiga sarflaydigan miqdorni bashorat qilish (regressiya).
  
• 
  Muayyan vaqt oralig'ida vulqon otilishi sonini bashorat qilish (regressiya).
  
• 
  Kompaniyaning yillik daromadini prognoz qilish (regressiya).
  
• 
  Futbol bo'yicha Chempionlar ligasida g'olib chiqadigan jamoaning bashorati (tasnifi).
  
• 
  Mashinali o`qitish tiplariHaddan tashqari tafsilotlarga berilmasdan, mashinani o'rganishga turli yondashuvlar ularni muvofiqlashtirish uchun zarur bo'lgan inson mehnati miqdori va etiketli ma'lumotlardan foydalanish usuli bo'yicha tasniflanishi mumkin (ya'ni, toifa berilgan ma'lumotlar yoki oldingi kuzatishlar natijasini ifodalovchi haqiqiy raqam).
  
• 
  Mashinali o`qitish 3-tipga bo`linadi.
  
• 
  O`qituvchi bilan o`qitish (supervised learning);
  
• 
  O`qituvchisiz o`qitish (unsupervised learning);
  
• 
  Qisman boshqarish orqali o`qitish (reinforcement learning).
  
• 
  Nazorat qilinadigan o'rganish usullari natijalarni aniqlashga va etiketli ma'lumotlar to'plamidagi naqshlarni aniqlashga urinish orqali o'rganishga harakat qiladi. Maʼlumotlarni belgilash uchun inson maʼlumotlari talab qilinadi.
  
• 
  Nazoratsiz o'rganish usullari ma'lumotlarning yorlig'iga bog'liq emas va inson aralashuvisiz ma'lumotlar to'plamida naqshlarni qidiradi.
  
• 
  Qisman boshqariladigan usullar ma'lumotlar to'plamidagi naqshlarni izlash uchun etiketli ma'lumotlardan (shuning uchun inson kiritishidan) foydalanishni talab qiladi, lekin ular hatto yorliqsiz ma'lumotlarni uzatishda ham rivojlanishi va o'rganishi mumkin.
  
•