Katta ma'lumotlarni qayta ishlash uchun mashinani o'rganish bo'yicha so'rov Kalit so'zlar

Katta ma'lumotlarni qayta ishlash uchun mashinani o'rganish bo'yicha so'rov
Kalit so'zlar: Mashinani o'rganish; katta ma'lumotlar; qayta ishlash; algoritmlar
Kirish
Bugungi dunyo ma'lumotlarga asoslangan dunyo bo'lib, hayotimizning barcha jabhalariga kirib borgan texnologiyalarning tez o'sishi natijasida ma'lumotlar katta hajmda ishlab chiqarilmoqda. Turli shakllarda ishlab chiqarilgan ma'lumotlarning doimiy hajmidan ma'noli tushunchaga ega bo'lish uchun ma'lumotlarni qayta ishlashning yangi usullari ishlab chiqilishi va takomillashtirilishi kerak. Mashinani o'rganish texnologiyalari katta hajmdagi ma'lumotlarni qayta ishlash va undan qiymat olish uchun istiqbolli echimlar va potentsial usullarni taqdim etadi. Ushbu tadqiqot katta ma'lumotlarni qayta ishlashda mashinani o'rganish usullarini qo'llash bo'yicha adabiyotlarni ko'rib chiqadi. U mashinani o'rganish algoritmlari va usullarining umumiy ko'rinishini, katta ma'lumotlarga qisqacha kirishni va katta hajmdagi ma'lumotlarni qayta ishlash uchun turli sohalarda mashinani o'rganish usullarini qo'llagan tegishli ishlar muhokamasini taqdim etadi. Tadqiqot shuningdek, katta ma'lumotlar uchun mashinani o'rganishdan foydalanish bilan bog'liq muammolar va muammolarni muhokama qiladi.
So'nggi bir necha yil ichida ma'lumotlar hajmi misli ko'rilmagan sur'atda oshmaguncha, katta ma'lumotlarga olib keladigan "veb-texnologiyalar, ijtimoiy media va mobil qurilmalar" kengayguncha ma'lumotlar eksponent tarzda o'sishni boshladi. Masalan, Twitter kuniga 70 million tvitni qayta ishlagan va kuniga 8 TB dan ortiq tvit ishlab chiqargan [ 1 ].
Ijtimoiy tarmoq saytlari, mehmonxona ma'lumotlari, ob-havo ma'lumotlari, onlayn-do'konlar, bank ishi va katta ma'lumotlarning boshqa manbalari bir nechta misoldir [ 2 ]. Biroq, agar u to'liq va chuqur tekshirilmasa, foydasizdir. Big Data Analytics — bir qator korporativ ilovalarga qoʻllanilishi yoki umuman odamlar hayotini yaxshilash uchun foydali tushunchalarni olish maqsadida katta maʼlumotlar toʻplamini tahlil qilish usulidir [2 ] .
Biz ilgari ko'rilmagan va eshitilmagan turli manbalardan aql bovar qilmaydigan miqdordagi ma'lumotlar yaratilayotgan davrda yashayapmiz. Ushbu kutilmagan ma'lumotlarni yig'ish, qayta ishlash va baholash uchun texnologiya ishlab chiqilgan bo'lsa ham, ko'plab muammolar va tashvishlar saqlanib qolmoqda. Katta ma'lumotni yaxshiroq tushunish va qimmatli tushunchalarga ega bo'lish uchun ko'plab tadqiqotlar olib borilmoqda. Endi biz tadqiqotning har bir sohasida, jumladan asosiy fanlar, amaliy fanlar, muhandislik, ijtimoiy fanlar, biotibbiyot fanlari va hokazolarda katta ma'lumotlar bilan shug'ullanamiz. Ushbu sektorlarning barchasi katta ma'lumotlar to'plamlari bilan shug'ullanadi va juda ko'p kuch sarflanadi
Bu asar Creative Commons Attribution 4.0 xalqaro litsenziyasi boʻyicha litsenziyalangan boʻlib, asl asardan toʻgʻri iqtibos keltirilsa, har qanday vositada cheksiz foydalanish, tarqatish va koʻpaytirishga ruxsat beradi.
Zamonaviy ma'lumotlar qiyinchiliklarini hal qilishda ko'p va'dalarga ega bo'lgan Machine Learning (ML) kabi domenlardan foydalangan holda Big Datadan yaxshiroq foydalanish va tahlil qilish uchun qilingan [ 3 ].
Mashinani o'rganish usullari so'nggi o'n yillikda tibbiyot, astronomiya, biologiya va boshqalar kabi turli xil keng va murakkab ma'lumotlarni talab qiluvchi sohalarda tobora ommalashib bormoqda, chunki ular ma'lumotlarning yashirin ma'lumotlarini qazib olish uchun potentsial javoblarni taqdim etadi [4 ] .
Ushbu maqola quyidagicha tuzilgan: 2-bo'limda mashinani o'rganish va uning texnikasi haqida umumiy ma'lumot berilgan. 3-bo'limda katta ma'lumotlar tushunchalari va ilovalari keltirilgan. 4-bo'lim tegishli ish haqida qisqacha ma'lumot beradi. 5-bo'limda katta ma'lumotlarni qayta ishlash bilan bog'liq mashinani o'rganish masalalari muhokama qilinadi. Nihoyat, 6-bo'limda ba'zi xulosalar keltirilgan.
Mashinani o'rganish
Ushbu bo'limda mashinani o'rganish (ML) va uning turli yondashuvlari, algoritmlari va ilovalari haqida umumiy ma'lumot berilgan.
Mashinani o'rganish - bu "ta'lim tizimlari va algoritmlarining nazariyasi, ishlashi va xususiyatlariga rasman e'tibor qaratadigan tadqiqot sohasi" [ 4 ]. U sun'iy intellekt, kognitiv fan, optimal boshqaruv, axborot va optimallashtirish nazariyalari, statistika va fan, matematika va muhandislikning boshqa sohalarida keng qo'llanilishiga ega [5 ] . Mashinalarni o'rganish bo'yicha tadqiqotlar birinchi navbatda ma'lumotlar prognozlarini yaratadigan samarali, tezkor o'rganish algoritmlarini yaratishga qaratilgan [ 6 ]. Hozirgi vaqtda har bir kishi o'z qurilmalari yordamida xom ma'lumotlarni ishlab chiqarish imkonini bergan texnologik davr tufayli ma'lumotlar eksponent ravishda o'sib bormoqda. Xom ma'lumotlar shovqinli, singan, tuzilmagan va qarama-qarshi bo'lishi mumkin [ 7 ]. Oldindan ishlov berish ushbu ma'lumotlarni tozalash, o'zgartirish, ajratib olish va birlashtirish orqali o'rganish uchun qulay formatga aylantiradi [ 7 ]. Ishlash ko'rsatkichlarini yaxshilash uchun o'quv ma'lumotlar to'plamidan foydalangan holda ba'zi faoliyatni amalga oshirayotganda, bu o'rganish muammosi deb ataladi [ 5 ].
Mashinani o'rganish uch turga bo'linadi: nazorat ostida o'rganish, nazoratsiz o'rganish va mustahkamlovchi o'rganish. Nazorat ostidagi taʼlim uchun kirishlar va kutilgan natijalar bilan yorliqlangan oʻquv maʼlumotlari talab qilinadi[ 4 ] .Aksincha, etiketli taʼlim maʼlumotlari nazoratsiz oʻrganishni talab qilmaydi va faqat kirishlar moʻljallangan natijalarsiz berilishi kerak. U etiketlanmagan ma'lumotlardagi yashirin ma'lumotlarni topish uchun ishlatiladi, masalan, klaster tahlili [ 6 ]. Kirish namunalarining o'xshashligini tekshirib, nazoratsiz o'rganish algoritmi namunalar to'plamini alohida klasterlarga tasniflaydi [ 8 ]. Kuchli o'rganish (RL) tashqi dunyo bilan o'zaro ta'sirlardan olingan fikr-mulohazalar asosida o'rganish imkonini beradi [ 4 ]. U sinov va xatolik asosida ishlaydi, o‘quvchi natijalar asosida qaysi strategiyadan foydalanishni belgilaydi [ 9 ]. RL algoritmlari, ayniqsa, o'quv ma'lumotlarining katta guruhiga ega bo'lganda, nazorat qoidalarini oldindan ma'lumotga ega bo'lmagan holda o'rganishda samarali bo'ladi, biroq ular ba'zi kamchiliklarga ega, ulardan biri ideal echimni topish bilan bog'liq muhim hisoblash xarajatlaridir [8 ] .
4 ] da , 1-jadvalda ko'rsatilganidek, o'rganish turlari, ma'lumotlarni qayta ishlash vazifalari, farqlash me'yori va har biri uchun qo'llaniladigan algoritmlarni jamlagan mashinani o'rganish texnologiyalarining tasnifi amalga oshirildi .