Katta ma'lumotlarni qayta ishlash uchun mashinani o'rganish bo'yicha so'rov Kalit so'zlar

Metodologiya
Ushbu tadqiqotda qo'llaniladigan metodologiya ushbu bo'limda tasvirlangan. Mualliflar tegishli maqolalar uchun IEEE, SpringerLink, Google Scholar va boshqalar kabi taniqli ma'lumotlar bazalarini qidirdilar. “Mashinani oʻrganish”, “Katta maʼlumotlar”, “Algoritmlar” va “Qayta ishlash” qidiruv kalit soʻzlari qatoriga kirdi. Mualliflar ma'lumotlarni ajratib olishning ikkita usulidan foydalanganlar: 1. Tadqiqotni chiqarish va 2. Tadqiqot skriningi. Mualliflar tadqiqot jarayoni davomida nomuvofiq sarlavhalarga asoslangan ko'plab maqolalarni o'chirib tashladilar va 51 ta maqola qoldirdi. Shundan so'ng mualliflar har bir maqolaning konspekti va xulosasini o'qib chiqdilar. Natijada, tadqiqot doirasidan tashqarida bo'lgan ba'zi maqolalar chiqarib tashlandi. Katta ma'lumotlarni qayta ishlash uchun ishlatiladigan mashinani o'rganish bilan bog'liq adabiyotlarda tavsiflangan jihatlarni batafsil ko'rib chiqish amalga oshirildi.
Munozara
Ushbu bo'lim katta ma'lumotlarni qayta ishlash uchun mashinani o'rganish yondashuvlarining eng muhim muammolarini ko'rib chiqadi.
1 Katta ma'lumotlar uchun mashinani o'rganish muammolari
1-rasmda katta ma'lumotlar uchun mashinani o'rganish texnikasi bilan bog'liq muammolarni bir necha tomondan ko'rib chiqishni o'z ichiga olgan batafsil stsenariyni beramiz . U (i) keng miqyosli ma'lumotlar uchun o'rganish, (ii) turli tuzilgan ma'lumotlar uchun o'rganish, (iii) yuqori tezlikdagi oqimli ma'lumotlar uchun o'rganish, (iv) noaniq va to'liq bo'lmagan ma'lumotlar uchun o'rganish va (v) past qiymatli ma'lumotlarni o'rganishni o'z ichiga oladi. zichlik ma'lumotlari.

1-rasm: Katta ma'lumotlarni o'rganish usullari
1.1 Katta katta ma'lumotlarni o'rganish
Texnologik taraqqiyot tufayli biz bilan shug'ullanadigan ma'lumotlar miqdori kundan-kunga o'sib bormoqda. 2017-yil noyabr oyida Google har kuni taxminan 25 petabayt maʼlumotni qayta ishlashi aniqlandi va bu oxir-oqibatda maʼlumotlarning oʻzaro oʻzaro bogʻliqligini tasdiqlaydi[ 4 ] .Maʼlumotlar hajmi katta maʼlumotlarning aniq asosiy atributidir, bu esa muhim muammo tugʻdiradi [ 4 ]. Ushbu qiyinchilikni hal qilish uchun taqsimlangan va parallel ramkalar hisoblash afzal bo'lishi kerak [ 4 ].
1.2 Turli strukturaviy ma'lumotlar uchun o'rganish
Hozirgi vaqtda juda ko'p turli xil ma'lumotlar mavjud. Heterojen, chiziqli bo'lmagan va yuqori h o'lchovli ma'lumotlarga olib kelishi mumkin bo'lgan uchta turdagi ma'lumotlar tuzilgan, tuzilmagan va yarim tizimli ma'lumotlardir [ 12 ]. Ushbu katta ma'lumotlar to'plamidan o'rganish juda katta muammo bo'lib, ma'lumotlarning murakkabligini oshirishga olib keladi. Natijada, ushbu to'siqni bartaraf etish uchun ma'lumotlar integratsiyasi talab qilinadi [ 4 ].
1.3 Yuqori tezlikdagi oqimli ma'lumotlarni o'rganish
Muayyan vaqt oralig'ida ishni yakunlash kerak bo'lgan turli xil tadbirlar mavjud. Katta ma'lumotlarning tezligi uning eng muhim xususiyatlaridan biridir. Agar ish ma'lum bir vaqt ichida tugallanmasa, ishlov berish natijalari o'z qiymatini o'zgartirishi mumkin, agar foydasiz bo'lsa[ 4 ] .Masalan, fond bozori prognozi, zilzilani bashorat qilish va hokazo [ 4 ]. Natijada, katta hajmdagi ma'lumotlarni o'z vaqtida qayta ishlash juda muhim va qiyin vazifadir. Qiyinchiliklarni bartaraf etish uchun onlayn ta'lim strategiyasidan foydalanish kerak [ 4 ].
1.4 Noaniq va to'liq bo'lmagan ma'lumotlarni o'rganish
Ilgari ma'lumotlar aniqroq bo'lgan mashinani o'rganish algoritmlariga etkazilgan. Chunki o'sha paytda natijalar to'g'ri bo'lgan. Biroq, bugungi kun ma'lumotlari turli xil manbalardan olinganligi sababli noaniq va to'liq emas. Natijada, katta ma'lumotlar tahlilida qorong'ulik mashinani o'rganish uchun muhim masaladir [ 4 ]. Ma'lumotlar sifatining noaniqligi va to'liqsizligini hal qilish va boshqarish muhimligini ta'kidlash uchun biz katta ma'lumotlar bilan o'rganish uchun to'rtinchi asosiy muammo sifatida haqiqatni sanab o'tamiz [ 4 ]. Masalan, simsiz tarmoqlarda noaniq ma'lumotlar shovqin, so'nish, soya va boshqa omillar natijasida yaratilgan ma'lumotlardir [ 4 ]. Bu qiyinchilikni yengish uchun tarqatishga asoslangan usuldan foydalanish kerak [ 4 ].
1.5 Kam qiymatli zichlikdagi ma'lumotlarni o'rganish
Mashinani o'rganish asosan katta ma'lumotlar tahlilida tijorat maqsadlarida katta hajmdagi ma'lumotlardan mazmunli ma'lumotlarni olish uchun ishlatiladi. Ma'lumotlarning qiymati uning eng muhim xususiyatlaridan biridir [ 4 ]. Qiymat zichligi past bo'lgan katta hajmdagi ma'lumotlardan mazmunli qiymatni topish juda qiyin. Shunday qilib, bu katta ma'lumotlar tahlilida mashinani o'rganish uchun katta muammodir [ 4 ]. Ushbu qiyinchilikni hal qilish uchun ma'lumotlarni qazib olish vositalari va ma'lumotlar bazasi bilimlarini kashf qilishdan foydalanish kerak [ 4 ]. Ushbu texnologiyalar katta hajmdagi ma'lumotlardan muhim ma'lumotlarni olish uchun istiqbolli echimlarni taqdim etishi sababli o'ynaydi. [ 24 ] mualliflari ma'lumotlarni qazib olish texnikasi bo'yicha tadqiqotlarni ko'rib chiqdilar.
Machine Learning-ning katta ma'lumotlar tahlilidagi turli muammolarini ehtiyotkorlik bilan hal qilish kerak. Bozorda mashinani o'rganish bo'yicha ko'plab echimlar mavjudligi sababli, ularning barchasi o'qitish uchun juda ko'p ma'lumotlarni talab qiladi. Mashinani o'rganish modellari aniq bo'lishi uchun tuzilgan, tegishli va aniq tarixiy ma'lumotlarni o'rganishni talab qiladi. Boshqa qiyinchiliklar ham bo'lishi mumkin, ammo bu imkonsiz emas.
Xulosa
Mashinani o'rganish katta ma'lumotlar bilan bog'liq muammolarni hal qilish va katta ma'lumotlardan yashirin naqshlar, ma'lumotlar va bilimlarning bir qismini ochish uchun juda muhim, bu qobiliyatni fundamental biznes etakchiligi va mantiqiy tergov uchun haqiqiy rag'batga aylantirish uchun. Ushbu tadqiqot katta ma'lumotlarni qayta ishlashda mashinani o'rganish texnikasining rolini ko'rsatdi. U katta ma'lumotlarning umumiy ko'rinishini, shuningdek, mashinani o'rganish algoritmlari va usullarini taqdim etdi. Shuningdek, turli sohalarda mashinani o'rganish usullaridan foydalangan holda katta ma'lumotlarni qayta ishlash bo'yicha tegishli ishlar muhokama qilindi. Va nihoyat, u katta ma'lumotlarni qayta ishlash maqsadida mashinani o'rganishdan foydalanish bilan bog'liq muammolar va muammolarni muhokama qildi.