Noma'lum aralashma va individual moddalarni analiz qilish

NOMA'LUM ARALASHMA VA INDIVIDUAL MODDALARNI ANALIZ QILISH

Ma'lumotlarni o'rganish jarayoni oqim sxemasi Ma'lumotlarni o'rganish, Schutt & O'Neil tomonidan (2013)

Tahlil, individual tekshirish uchun bir butunni alohida qismlarga ajratishni nazarda tutadi. Ma'lumotlarni tahlil qilish, a jarayon olish uchun xom ma'lumotlar va keyinchalik uni foydalanuvchilar tomonidan qaror qabul qilish uchun foydali ma'lumotga aylantirish. Ma'lumotlar, savollarga javob berish, farazlarni tekshirish yoki nazariyalarni rad etish uchun to'planadi va tahlil qilinadi.^[4]
Statistist Jon Tukey, 1961 yilda ma'lumotlarni tahlil qilishni quyidagicha aniqladi:
"Ma'lumotlarni tahlil qilish tartibi, bunday protsedura natijalarini talqin qilish texnikasi, uni tahlil qilishni osonroq, aniqroq yoki aniqroq qilish uchun ma'lumotlarni yig'ishni rejalashtirish usullari va ma'lumotlarni tahlil qilish uchun qo'llaniladigan (matematik) statistikaning barcha mexanizmlari va natijalari . "^[5]
Quyida tavsiflangan bir necha bosqichlarni ajratish mumkin. Bosqichlar takroriy, keyingi bosqichlarning fikri oldingi bosqichlarda qo'shimcha ish olib borishiga olib kelishi mumkin.^[6] The CRISP doirasi, ishlatilgan ma'lumotlar qazib olish, shunga o'xshash qadamlarga ega.
Ma'lumotlarga talablar
Ma'lumotlar tahlil uchun ma'lumot sifatida zarur bo'lib, u tahlilni boshqaruvchi yoki mijozlar (tahlilning tayyor mahsulotidan foydalanadigan) talablari asosida belgilanadi. Ma'lumotlar yig'iladigan ob'ektning umumiy turi an deb nomlanadi tajriba bo'limi (masalan, odam yoki odamlar soni). Populyatsiyaga nisbatan aniq o'zgaruvchilar (masalan, yoshi va daromadi) belgilanishi va olinishi mumkin. Ma'lumotlar raqamli yoki toifali bo'lishi mumkin (ya'ni raqamlar uchun matn yorlig'i).^[6]
Ma'lumot yig'ish
Ma'lumotlar turli xil manbalardan to'planadi. Talablar tahlilchilar tomonidan etkazilishi mumkin qo'riqchilar ma'lumotlar; kabi, Axborot texnologiyalari xodimlari tashkilot ichida. Ma'lumotlar atrofdagi sensorlardan, shu jumladan yo'l harakati kameralari, sun'iy yo'ldoshlar, yozib olish moslamalari va boshqalardan to'planishi mumkin. Shuningdek, ularni intervyular, onlayn manbalardan yuklab olish yoki hujjatlarni o'qish orqali olish mumkin.^[6]
Ma'lumotlarni qayta ishlash

Ning bosqichlari razvedka tsikli xom ma'lumotni harakatga yaroqli aql yoki bilimga aylantirish uchun foydalaniladigan ma'lumotlar kontseptsiyasi bo'yicha ma'lumotlarni tahlil qilish bosqichlariga o'xshashdir.
Dastlab olingan ma'lumotni qayta ishlash yoki tahlil qilish uchun tartibga solish kerak. Masalan, bunda ma'lumotlar jadval satrlari va ustunlariga joylashtirilishi mumkin (sifatida tanilgan tuzilgan ma'lumotlar ) qo'shimcha tahlil qilish uchun, ko'pincha elektron jadval yoki statistik dasturlardan foydalanish orqali.^[6]
Ma'lumotlarni tozalash
Asosiy maqola: Ma'lumotlarni tozalash
Ma'lumotlar qayta ishlangan va tartibga solinganidan so'ng to'liq bo'lmasligi, ikki nusxada bo'lishi yoki xato bo'lishi mumkin. Bunga ehtiyoj ma'lumotlarni tozalash, ma'lumotlar bazasini kiritish va saqlashdagi muammolardan kelib chiqadi. Ma'lumotlarni tozalash bu xatolarning oldini olish va ularni tuzatish jarayonidir. Umumiy vazifalarga yozuvlarni taqqoslash, ma'lumotlarning noto'g'riligini aniqlash, mavjud ma'lumotlarning umumiy sifati, takroriy takrorlash va ustunlar segmentatsiyasi kiradi.^[7] Ma'lumotlarning bunday muammolarini turli xil analitik metodlar yordamida ham aniqlash mumkin. Masalan, moliyaviy ma'lumotlarga ko'ra, ma'lum o'zgaruvchilar uchun jami ishonchli deb hisoblangan alohida nashr etilgan raqamlar bilan taqqoslanishi mumkin.^[8] G'ayritabiiy miqdorlar, oldindan belgilangan chegaralardan yuqori yoki pastroq darajada qayta ko'rib chiqilishi mumkin. Ma'lumotlarni tozalashning bir nechta turlari mavjud, ular to'plamdagi ma'lumotlar turiga bog'liq; bu telefon raqamlari, elektron pochta manzillari, ish beruvchilar yoki boshqa qiymatlar bo'lishi mumkin. Noto'g'ri kiritish ehtimoli yuqori bo'lgan ma'lumotlardan xalos bo'lish uchun ma'lumotni aniqroq aniqlash uchun miqdoriy ma'lumot usullaridan foydalanish mumkin. Matnli matn terish tekshiruvi yordamida noto'g'ri kiritilgan so'zlarni kamaytirish uchun foydalanish mumkin, ammo so'zlarning o'zi to'g'riligini aniqlash qiyinroq.^[9]
Ma'lumotlarni tahlil qilish
Ma'lumotlar to'plamlari tozalanganidan keyin uni tahlil qilish mumkin. Tahlilchilar turli xil metodlarni qo'llashlari mumkin kashfiyot ma'lumotlarini tahlil qilish, olingan ma'lumotlar tarkibidagi xabarlarni tushunishni boshlash. Ma'lumotlarni o'rganish jarayoni qo'shimcha ma'lumotlarni tozalashga yoki ma'lumotlar uchun qo'shimcha so'rovlarga olib kelishi mumkin; Shunday qilib, takroriy fazalar ushbu bo'limning etakchi xatboshida ko'rsatilgan. Ta'riflovchi statistika, masalan, o'rtacha yoki o'rtacha, ma'lumotni tushunishda yordam berish uchun yaratilishi mumkin. Ma'lumotlarni vizualizatsiya qilish bu ham qo'llaniladigan metodikadir, bunda tahlilchi ma'lumotlar ichidagi xabarlar to'g'risida qo'shimcha tushunchalar olish uchun ma'lumotlarni grafik shaklda tekshirishi mumkin.^[6]
Modellashtirish va algoritmlar