Big Data qanday ishlaydi: katta ma'lumotlar qanday yig'iladi va saqlanadi?

Katta hajmli maʼlumot — katta hajmdagi ma´lumotlarga nisbatan qo´llanadigan termin hisoblanadi(odatda terabayt, ekzabayt va petabaytlar darajasida). Ushbu ma´lumotlarni amaldagi va yangi yaratilayotgan texnologiyalar yordamida to´plash, taqsimlash, o´zgartirishlar kiritish, tahlil qilish, saqlash va vizual shaklda tasvirlash imkoni bo´lishi kerak. Ma´lumotlar miqdorining tez o´sishiga so´nggi yillarda kuzatilayotgan texnologik taraqqiyot va buning natijasi hisoblanmish mashina tomonidan yaratilayotgan ma´lumotlarning ko´payib borishi sababchidir. RFID-texnologiyasining keng tarqalishi, elektron transaksiyalarning moliya sohasida keng qo´llanilishi, ilmiy-tadqiqot muassasalarining to´plagan natijalari, web-texnologiyalarining keng tarqalishi, telekommunikasion tizimlardagi protokollar shular jumlasidandir.

• Big Data qanday ishlaydi: katta ma'lumotlar qanday yig'iladi va saqlanadi?
• Katta ma'lumotlar barcha tegishli omillarni tahlil qilish va to'g'ri qaror qabul qilish uchun kerak. Big Data yordamida ma'lum bir yechim, g'oya, mahsulotni sinab ko'rish uchun simulyatsiya modellari quriladi.
• Katta ma'lumotlarning asosiy manbalari:
• Narsalar interneti (IoT) va unga ulangan qurilmalar;
• ijtimoiy tarmoqlar, bloglar va ommaviy axborot vositalari;
• kompaniya ma'lumotlari: tranzaktsiyalar, tovarlar va xizmatlarga buyurtmalar, taksi va avtomobillarni almashish sayohatlari, mijozlar profillari;
• asboblar ko'rsatkichlari: meteorologik stansiyalar, havo va suv tarkibini o'lchagichlar, sun'iy yo'ldosh ma'lumotlari;
• shaharlar va shtatlar statistikasi: harakatlanish, tug'ilish va o'lim haqidagi ma'lumotlar;
• tibbiy ma'lumotlar: testlar, kasalliklar, diagnostika tasvirlari.
• 2007 yildan beri PRISM FQB va Markaziy razvedka boshqarmasi ixtiyorida bo'lib kelmoqda - bu ijtimoiy tarmoqlarning barcha foydalanuvchilari, shuningdek, Microsoft, Google, Apple, Yahoo xizmatlari va hattoki telefon yozuvlari haqidagi shaxsiy ma'lumotlarni to'playdigan eng ilg'or xizmatlardan biri.
• Zamonaviy hisoblash tizimlari katta ma'lumotlar massivlariga tezkor kirishni ta'minlaydi. Ularni saqlash uchun eng kuchli serverlarga ega maxsus ma'lumotlar markazlari qo'llaniladi.

• Nima uchun Big Data muhim?Katta ma'lumotlarning ahamiyati shunchaki qancha ma'lumotlarga ega ekanligingizga bog'liq emas. Qiymat siz uni qanday ishlatishingizga bog'liq. Har qanday manbadan ma'lumotlarni olib, uni tahlil qilish orqali siz 1) resurslarni boshqarishni soddalashtirish, 2) operatsion samaradorlikni oshirish, 3) mahsulotni ishlab chiqishni optimallashtirish, 4) yangi daromad va o'sish imkoniyatlarini oshirish va 5) aqlli qaror qabul qilishga imkon beruvchi javoblarni topishingiz mumkin. Katta ma'lumotlarni yuqori samarali tahlillar bilan birlashtirganingizda, biznes bilan bog'liq vazifalarni bajarishingiz mumkin, masalan:Haqiqiy vaqtda nosozliklar, muammolar va nuqsonlarning asosiy sabablarini aniqlash.Anomaliyalarni aniqlash inson ko'ziga qaraganda tezroq va aniqroq.Tibbiy tasvir ma'lumotlarini tez tushunchaga aylantirish orqali bemorning natijalarini yaxshilash.Bir necha daqiqada butun risk portfellarini qayta hisoblash.Chuqur o'rganish modellarining o'zgaruvchan o'zgaruvchilarni aniq tasniflash va ularga munosabat bildirish qobiliyatini keskinlashtirish.Tashkilotingizga ta'sir qilishdan oldin firibgar xatti-harakatlarni aniqlash.

• Aksariyat kompaniyalar raqamlashtirish va axborot inqilobini qabul qilish uchun ongli va qasddan qaror qabul qilishadi. Shunga qaramay, tibbiyotdagi katta ma'lumotlarning roli deyarli tashkilotlarni ishtirok etishga majbur qiladi. Ushbu intervyuda Nyu-Yorkdagi Sinay tog'idagi Sog'liqni saqlash tizimidagi Icahn genomika va ko'p miqyosli biologiya institutining asoschi direktori doktor Erik Shadt McKinsey's Sastry Chilukuri-ga tadqiqotga ma'lumotlarga asoslangan yondashuvlar bemorlarga qanday yordam berishi mumkinligini va texnologiya qanday yo'llar bilan yordam berishi mumkinligini aytadi. tibbiyot va sog'liqni saqlash tizimini o'zgartirish salohiyati va Icahn instituti o'zining iste'dodlar bazasini qanday qurayotgani. Shadt so'zlarining tahrirlangan transkripti quyida keltirilgan.Evolyutsiyami yoki inqilobmi?Videoni ijro etishVideoTibbiyotda katta ma'lumotlarning o'rni - bu kasallikni yaxshiroq tashxislash va davolash uchun biz individual bemorlar atrofida yaxshiroq sog'liq profillarini va yaxshiroq bashorat qilish modellarini yaratishimiz mumkin.Bugungi kunda tibbiyot va farmatsevtika sanoatidagi asosiy cheklovlardan biri bu kasallik biologiyasini tushunishimizdir. Katta ma'lumotlar kasallikni tashkil etuvchi bir nechta shkalalar atrofida ko'proq va ko'proq ma'lumotlarni to'plash atrofida o'ynaydi - DNK, oqsillar va metabolitlardan hujayralar, to'qimalar, organlar, organizmlar va ekotizimlar. Bular biz katta ma'lumotlarni integratsiyalash orqali modellashtirishimiz kerak bo'lgan biologiya shkalasi. Agar biz buni qilsak, modellar rivojlanadi, modellar quriladi va ular berilgan shaxslar uchun ko'proq bashoratli bo'ladi.Bu alohida hodisa bo'lmaydi - biz to'satdan tibbiyotda katta ma'lumotlardan foydalanmaslikdan tibbiyotda katta ma'lumotlardan foydalanishga o'tamiz. Men buni ko'proq davomiylik, ko'proq evolyutsiya sifatida ko'raman. Ushbu modellarni yaratishni boshlaganimizda, katta ma'lumotlarni jamlagan holda, biz modellarni individual shaxslarda sinovdan o'tkazamiz va qo'llaymiz, natijalarni baholaymiz, modellarni aniqlaymiz va hokazo. Savollarga javob berish osonroq bo'ladi. Ushbu ma'lumotlarning barchasini olishni boshlaganimizda, modellashtirish ko'proq ma'lumotga ega bo'ladi. Biz bu inqilobning dastlabki bosqichidamiz, lekin menimcha, bu juda tez ketadi, chunki tibbiyotdan tashqari axborot fanlarida ham katta etuklik mavjud.Hayot fanlari katta ma'lumotlarga birinchi bo'lib duch kelgan emas. Bizda Google, Amazon va Facebook kabi axborot quvvati kompaniyalari bor va u yerda qo‘llaniladigan ko‘plab algoritmlar – siz qanday film tomosha qilishni yoki qanday taomlarni sotib olishni yoqtirishingizni bashorat qilish uchun – xuddi shu mashinani o‘rganishdan foydalanadi. texnikalar. Xuddi shu turdagi usullar, ma'lumotlarni boshqarish infratuzilmasi tibbiyotda qo'llanilishi mumkin.