Kompyuter injineringi” fakulteti “axborot xavfsizligi” yo’nalishi 951-19 guruh talabasi karimov jalolbekning mashinali o’qitishga kirish fanidan

O’ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI
TOSHKENT AXBOROT TEXNOLOGIYALARI
UNIVERSITETI URGANCH FILIALI
“KOMPYUTER INJINERINGI” FAKULTETI
“AXBOROT XAVFSIZLIGI” YO’NALISHI 951-19 GURUH TALABASI
KARIMOV JALOLBEKNING MASHINALI O’QITISHGA KIRISH FANIDAN

MUSTAQIL ISHI

Topshirdi: Karimov Jalolbek
Qabul qildi : Quzibayev Xudayshukur
Mavzu: Rapid Miner dasturiy vositasi.


Reja:

1. 
   RapidMiner Tarixi.
   
2. 
   RapidMiner Tavsif.
   
3. 
   RapidMiner Mahsulotlari.
   
4. 
   Qiziqarli ma’lumotlar.
   
5. 
   Adabiyotlar.
   
6. 
   Xulosa.
   

RapidMiner ma'lumotlar tahlilchilariga yangi ma'lumotlarni yig'ish jarayonlarini yaratish, bashoratli tahlilni o'rnatish va boshqalarga imkon beruvchi mahsulotlar to'plamini taklif qiladi. Mahsulotlar ro'yxatiga quyidagilar kiradi: RapidMiner Studio, RapidMiner Server, RapidMiner Radoop va RapidMiner Streams. RapidMiner Studio tahlil jarayonlarini loyihalash uchun sudrab olib tashlash grafik interfeysidan foydalanadi. Ochiq APIlar joriy, ixtisoslashgan algoritmlaringizni birlashtirishga imkon beradi. Studio barcha asosiy platformalar, manbalar va tizimlarda 1500 dan ortiq operatsiyalarni bajarishga imkon beruvchi shablonlar kutubxonasini, ommaviy ishlov berishni, bir nechta ma'lumotlarni vizualizatsiyasini va avtomatlashtirilgan diagrammalarni taklif etadi. RapidMiner Server korporativ uskunada jarayonni istalgan qurilmadan cheklovlarsiz bajarishingizga imkon bermaydi. Serverdan tahlilni rejalashtirish va ishga tushirish va real vaqtda natijalarni olish uchun foydalanish mumkin. Server barcha maʼlumotlar manbalaringiz bilan birlashadi va toʻliq, keng qamrovli maʼlumotlarni qazib olish uchun oʻz algoritmlaringizni qoʻshish imkonini beradi. RapidMiner Server umumiy omborlarida taqdim etilgan interaktiv asboblar paneli sizga ma'lumotlarga kirish, kuzatish va almashish, shuningdek, vazifalarni belgilash imkonini beradi.
RapidMiner korporativ AIni qayta ixtiro qilmoqda, shunda har kim kelajakni ijobiy shakllantirishga qodir. Biz buni korxona bo‘ylab barcha malaka darajasidagi “ma’lumotlarni sevuvchi” odamlarga biznesga darhol ta’sir ko‘rsatish uchun sun’iy intellekt yechimlarini tezda yaratish va ishlatish imkonini berish orqali amalga oshirmoqdamiz. Biz ma'lumotlarni tayyorlash, mashinani o'rganish va model operatsiyalarini foydalanuvchi tajribasi bilan birlashtiruvchi, ma'lumotlar olimlari uchun chuqurlikni ta'minlaydigan va boshqalar uchun murakkab vazifalarni soddalashtiradigan uchdan-end platformani taklif qilamiz. Bizning Mukammallik metodologiyamiz markazi va RapidMiner Akademiyasi mijozlarning tajribasi yoki manba darajasidan qat'i nazar, muvaffaqiyatli bo'lishini ta'minlaydi. RapidMiner yetakchilar sifatida tayinlandi. So'nggi 6 yil davomida "Gartner Magic Quadrant for Data Science Platforms" va 2 yil davomida "Forrester Wave multimodal bashoratli tahlil va mashinani o'rganish echimlari". 150 dan ortiq mamlakatlardagi 30 000 dan ortiq tashkilotlar daromadlarni oshirish, xarajatlarni kamaytirish va xavflarni kamaytirish uchun RapidMiner-ga tayanadi.

RapidMiner Analytics
Fondagi bashoratli tahlillar
Ushbu hisobotning asosiy qismlaridan biri bashoratli modellashtirishga qaratilganligi sababli, ushbu bo'limda asosiy mavzu berilgan
bashoratli tahlil.
Bashoratli tahlil - bu nima bo'lishini aniq baholashni ta'minlaydigan bashoratli modellarni yaratishdir.
Ma'lumotlar, statistik algoritmlar va mashinani o'rganish usullarini bashorat qilish orqali tahliliy ma'lumotlarga asoslanib, biz kelajakdagi natijalar ehtimolini aniqlaymiz. Bashoratli tahlil - bu kelajakdagi ma'lumotlar uchun qiymatlarni baholash uchun tarixiy ma'lumotlardagi naqshlarni aniqlash jarayoni yo'q. Ushbu hisobotda batafsil ko'rib chiqiladigan misol - o'tmishdagi joylashuvga asoslangan suv sathidan foydalanish
ma'lumotlar, suv toshqini ma'lumotlari va ob-havo ma'lumotlari kelajakdagi suv darajasini bashorat qiladigan modelni yaratishga imkon beradi suv toshqini falokatiga yaxshiroq tayyorgarlik ko'ring. Kelajakdagi suv sathining aniq hisob-kitobi bilan biz qandayligini baholashimiz mumkin ma'lum balandliklardagi ko'plab joylar ta'sir qiladi va joylashuvga asoslangan statistik ma'lumotlardan foydalanish bilan hisoblash mumkin toshqinning ehtimoliy ta'siri, masalan, joylarda qancha ish o'rni xavf ostida, qancha joylarda hech qanday sug'urta qoplamasi yo'q va hokazo. Bashorat qilingan suv darajasini joylashuv bilan solishtirish balandlik ma'lumotlari, shuningdek, qancha joylarga jiddiy ta'sir ko'rsatishi haqida aniqroq ma'lumot beradi Masalan, suvning taxminiy sathidan kamida 0,5 m pastroqda va shuning uchun tez tiklanishi mumkin emas zarur ta'mirlash ishlariga. Bu joylar va ularning joylashuv statistikasi tiklanishni ko'rsatmaydi 100% ofat ta'siridan so'ng tez orada. Bashoratli modellashtirish. Bashoratli analitik muammoni maʼlumotlarni aʼga yuklash orqali hal qilib boʻlmasligini tushunish kerak RapidMiner kabi bashoratli modellash vositasi va u kerakli natijalarni berishiga umid qiladi. Model yaratish vizual modellashtirish vositasi bilan katta darajada qo'llab-quvvatlanadi, ammo model samarali bo'lishi uchun biz hal qilinishi kerak bo'lgan muammoni va mavjud ma'lumotlarni chuqur ko'rib chiqishimiz kerak. Ko'pincha mavjud ma'lumotlar yo'qligi ayon bo'ladi bashoratli modelni qo'llab-quvvatlash uchun etarli. Ko'pincha modellashtirishdan oldingi bosqichlarda bashorat qilish strategiyasi modellashtirish uning shaklini o'zgartiradi. Bashoratli modellashtirish loyihasi ko'pincha juda batafsil va murakkab; ammo, barcha umumiy ba'zi yuqori darajadagi vazifalar bor. Quyida samarali bashoratli modelni yaratishning asosiy bosqichlari ko'rsatilgan. Bu qadamlar. Ishtirokchi loyiha yakuniga foyda keltiradigan yuqori aniqlikdagi modelni yaratishni maqsad qilganda iterativ tarzda qabul qilinadi foydalanuvchi. Ma'lumotlarni tayyorlash ma'lumotlarga kirish, tadqiq qilish, aralashtirish va tozalash bilan bog'liq. Ma'lumotlarni modellashtirish muammolari modelni yaratish va tasdiqlash. Operatsionlashtirish joylashtirish va texnik xizmat ko'rsatish bilan bir qatorda joylashtirish. Ushbu qadamlar bashoratli modelda aytib o'tilganidek, quyida batafsilroq tushuntiriladi.

1. 
   bobda qurilish muhokamasi.
   

2-rasm: Bashoratli tahlil loyihasidagi umumiy qadamlar
Ma'lumotlarni tayyorlash
Birinchi bosqichda biz bashoratli chidamlilikni yaratishga imkon beruvchi tegishli ma'lumotlar manbalarini aniqladikshahar toshqinlariga chidamlilik kontekstidagi analitik model. Biz ma'lumotlar manbalarini muhokama qildik va baholadik bilan
 Kork shahar kengashi
 M illiy transport boshqarmasi
 Ordnance Survey Ireland – Irlandiya Milliy Geografik Xizmati
 Jamoat ishlari boshqarmasi
Biz bashoratli moslashuvchanlik tahlili ilovalarida foydalanish uchun mavjud ma'lumotlar to'plamini o'rganib chiqdik. Uchun bashoratli moslashuvchanlik modelini qo'llab-quvvatlaydigan ma'lumotlar to'plami, biz transformatsiyalar, ma'lumotlar yordamida ma'lumotlarni aralashtirdik tahlil qilish, turdagi konvertatsiya qilish, filtrlash, saralash, qo'shilish yoki birlashma, yig'ish, aylantirish kabi operatsiyalarni o'rnatish, xususiyat tanlash, xususiyat yaratish, xususiyatni ajratib olish, namuna olish va qismlarga bo'lish. Keyingi bosqichda biz ma'lumotlarni anomaliya va chegaralarni aniqlash, dublikatlarni aniqlash,
biriktirish, o'lchamlarni kamaytirish, etishmayotgan qiymatni qayta ishlash va normallashtirish. Biz bir qancha bashoratli tahliliy modellarni yaratdik va ularning samaradorligini tekshirish uchun ularga ball qo‘ydik. Biz bashoratli modellarni yaratish uchun turli modellashtirish usullaridan foydalandik. Bularga mashina kiradi
regressiya va tasniflash kabi algoritmlarni o'rganish. Keyinchalik assotsiatsiya qazib olish, tez-tez elementlar to'plami, o'xshashlikni hisoblash. Shuningdek, tortishish, segmentatsiya va klasterlash, ansambl va ierarxik xususiyatga ega
modellar. Biz optimal harakatlarni topish uchun algoritmlar, halqalar va novdalardan foydalandik. Biz modellarning ishlashini tekshirish uchun o'zaro tekshirishdan va a olish uchun bir nechta interaktiv diagrammalardan foydalandik model ishlashi haqida vizual tushuncha. Biz raqamli/nominal va toifali modeldan foydalandik
ishlash mezonlari, shuningdek, ahamiyatlilik testlari, binomial sinflar uchun optimal chegara chegarasi, xarajatlarga sezgir o'rganish va ishlash ko'rsatkichlari.
Operatsionlashtirish Biz server va bulutga asoslangan infratuzilmalarda ishlagan, trigger yoki jadvalni baholash mexanizmidan foydalandik .
RapidMiner Radoop katta ma'lumotlarni qayta ishlash, jumladan tahlil va bashorat qilish uchun platformani taqdim etadi. Radoop Big Data ETL, analitik, maxsus hisobot, bashoratli modellashtirish va vizualizatsiya uchun vizual interfeysni taklif etadi. Radoop katta ma'lumotlarni import-eksport qilish, ma'lumotlarni o'zgartirish, ma'lumotlarni tozalash, yig'ish, qo'shilish va bashoratli modellashtirish uchun o'nlab operatorlarni taklif qiladi. RapidMiner Streams sizga kodsiz oqimlarni qayta ishlash dasturlarini loyihalash imkonini beradi. Oqimli ma'lumotlarda ma'lumotlarni aralashtirish va modellarni baholash uchun tarqatilgan Apache Storm klasterlariga oqimli tahlillarni o'rnatishingiz mumkin.

Bir nechta ma'lumotlarni boshqarish usullari: ma'lumotlarni yuklash, ma'lumotlarni o'zgartirish, ma'lumotlarni modellashtirish va ma'lumotlarni vizualizatsiya qilish usullari. Bir nechta ma'lumot manbalari bilan ishlaydi: Excel, Access, Oracle, IBM DB2, Microsoft SQL, Sybase, Ingres, MySQL, Postgres, SPSS, dBase, Matn fayllari va boshqalar. Yangi andozalar: shu jumladan ishdan chiqishni kamaytirish, hissiyotlarni tahlil qilish, bashoratli xizmat ko'rsatish va to'g'ridan-to'g'ri marketing
Har bir asosiy platforma va operatsion tizimda ishlaydi 1500 dan ortiq operatsiyalarni bajaring. Ma'lumotlarni bo'limga bo'lishdan bozorga asoslangan tahlilga, atributlarni yaratishgacha. RapidMiner Radoop turli xil Hadoop klasterlariga ulanishi mumkin: Cloudera Distribution, shu jumladan Apache Hadoop (CDH), Hortonworks Data Platform (HDP), Apache Hadoop with Hive, Amazon Elastic MapReduce, MapR Hadoop va DataStax Enterprise. Ma'lumotlarni saqlash: Oqimli ma'lumotlar va tahlil natijalarini Cassandra, MongoDB, Redis, Apache Solr va boshqalar kabi ko'plab ma'lumotlar bazalarida saqlang.