Ma'lumotlar muhandisining vazifalari qanday bosqichlarni egallaydi
Download 30.85 Kb.
|
data engineer savollar
ma'lumotlar muhandisining vazifalari qanday bosqichlarni egallaydi: *Ma’lumotlarni yig'ish, ko'chirish va saqlash va ularni tayyorlash. Ma’lumotlarni integratsiyalash va ularni solishtirish. Ma’lumotlarni realizatsiya qilish va siflashtirish. Ma’lumotlarni vizualizatsiya qilish. Ma'lumotlarni yig'ish nima: Ma’lumotlarni turli xil saytlardan to’plab, ularni bir joyga to’plash; *Ma'lumotlarni turli manbalar - jurnallar, ma'lumotlar bazalari, tashqi manbalar, foydalanuvchi tomonidan yaratilgan tarkib, sensorlar, asboblar va boshqalar yordamida to'plash. Ijtimoiy tarmoqlardagi ma’lumotlarni to’plash; To’g’ri javob yo’q. Ma'lumotlar quvurlari va integratsiyalashgan ma'lumotlar tuzilmalarini yoqish uchun ….. kerak. Ma’lumotlar olimlar. *Ma'lumotlar muhandislari. Dasturchilar Kompyuter olimi Ma'lumotlar muhandisi ma'lumotlar olimiga qaraganda ko'proq talabga egami? *Ha Yo’q Bir xil Bir-biriga bog’liq emas Ma'lumotlar muhandisi dasturlashni ma'lumot olimiga qaraganda …. tushunadi. Yomonroq *Yaxshiroq To’g’ri javob yo’q Agar …… bo'lmasa, kod hech qachon loyihaga aylanmaydi va hech qanday biznes muammosi samarali hal etilmaydi. Dasturchilar Kompyuter olimlari Ma’lumotlar olimlari *Ma'lumotlar muhandisi Ma'lumotlarni ko'chirish va saqlash bu – *bu ma'lumotlar oqimini, quvurlarni, tuzilgan va tuzilmagan ma'lumotlarni saqlashni, ETL, infratuzilmani o'z ichiga oladi. ma'lumotlardagi anomaliyalarni olib tashlash uchun tozalash va qayta ishlash Ma’lumotlarni bir fleshkadan yoki disklardan boshqa diskka o’tkazish va saqlash. To’g’ri javob yo’q … - bu biznes muammosini qanday hal qilishni aniqlaydigan tadqiqotchi. Masalan, mijoz keyingi safar do'konga qachon kelishini bashorat qiladi. Ma’lumotlar muhandisi *Ma'lumot olimi Dasturchi Dizayner ….. kodni mahsulotga aylantirishga harakat qiluvchi. Ma’lumotlar tahlilchisi Ma’lumotlar olimi *Ma’lumotlar muhandisi Dasturchi Ma’lumotlar muhandisi qo’yiladigan talablardin biri bu – *ma'lumotlar bilan ishlayotganligi sababli, ma'lumotlar bazalari qanday ishlashini va ularning asosidagi tuzilmalarni tushunish kerak. dasturlash bilan shug'ullanadilar. asboblar qutisining bir qismi sifatida ko'rishadi va ulardan oqilona foydalanishadi. To’g’ri javob yo’q Ma’lumotlar muhandislari hozirda ko’proq qaysi mashhur katta ma'lumotlar dunyosidan foydalanishmoqda: MySQL, Dropbox, Django *Apache Spark, Apache Kafka, Apache Hadoop (HDFS, HBase, Hive) Firefox, DataBS, BigData To’g’ri javob yo’q Ba'zi yirik kompaniyalar masalan: Amazon, Facebook, Google texnologiya gigantlari ma'lumotlar muhandisidan asosan quyidagi ko'nikmalarni kutishadi: *Katta ma'lumotlar bilan ishlash tajribasi - Spark/Hadoop/Kafka; Excel, Tableau yoki boshqa vizualizatsiya vositalarini bilish; ma'lumotlardagi anomaliyalarni olib tashlash uchun tozalash va qayta ishlash Ma'lumotlarni turli manbalar - jurnallar, ma'lumotlar bazalari, tashqi manbalar, foydalanuvchi tomonidan yaratilgan tarkib, sensorlar, asboblar va boshqalar yordamida to'plash. Ma'lumotlar muhandisligi veb-ishlab chiqishdan ham ko'proq talabga egami? Yo’q bunday bo’lolmaydi *Ha Taqqoslab bo’lmaydi To’g’ri javob yo’q Ma'lumotlar muhandisi texnik shaxs bo'lgani uchun u … vazifasini ham bajarishi mumkin; ammo, aksincha, bunday bo'lmasligi mumkin. *ma'lumotlar olimi Dasturchi Dizayner Web developer Eng mashhur relyatsion ma'lumotlar bazasini boshqarish tizimi … bo'lib, ustun ma'lumotlar bazalari uchun bu ClickHouse, tez va tahliliy va voqealar jurnali uchun ishlatiladi. MySQL SQL Apache *PostgreSQL Kompaniyalardagi vazifalar har xil bo'lishi mumkin: qayerdadir … lari faqat ma'lumotlarni qayta ishlaydi, qayerdadir u dasturlash ishlarini ham bajaradi: u yangi modellarni joriy qiladi va eskilarini qayta o'qitadi. Ma’lumotlar olimi Dasturchilar *Ma’lumotlar muhandisi Dizaynerlar Ma'lumotlarni yig'ish va qayta ishlashdan tashqari, ma’lumotlar muhandislari ma'lumotlarni saqlashni tashkil qiladi. Buning uchun u saqlash arxitekturasini - ma'nolari bo'yicha nimalar bilan ma'lumotlar bazalarini quradi? Ro’yhatlar *Jadvallar Bazalar Rasmlar Jamoada ishni avtomatlashtirish uchun ma'lumotlar muhandisi ko’proq nimadan foydalanadilar? *Gitlabdan Githubdan Messengerlardan saytlardan Ma’lumotlar muhandislari asosan qanday ma'lumotlar bazalariga duch keladi. *Relyatsion va ustunli Tarmoqli Raqamli Daraxtli Ma'lumotlar olimi va ma'lumotlar muhandisining vazifalari farqi - … Bularning vazifalari bir xil *ma'lumotlar bilan ishlashning turli bosqichlarida. Ma’lumotlar bazasi bilan ishlashda turli bosqichlarida. To’g’ri javob yo’q Turli xil kompyuterlarda o'zgartirishni talab qilmaydigan tayyor xizmatlarni ishga tushirish uchun ma'lumotlar muhandisi … dan foydalanish imkoniyatiga ega bo'lishi kerak. U mahalliy mashinada yozilgan xizmatni konteynerga "paketlaydi" va uni hamkasbning mashinasida yoki klaster mashinasida o'ynash mumkin. Ijtimoiy tarmoqlardan. Ma’lumotlardan Ma’lumotlar bazasidan *Docker dan ma'lumotlar muhandisi … bilan ishlaydi, shuning uchun u SQL so'rovlarini qanday yozishni bilishi, ma'lumotlar bazalari turlarini tushunishi kerak. Strukturalar Ma’lumotlar *Jadvallar Dasturlar … - ma'lumotlar to'plamini tayyorlaydi, xususiyatlarni chiqaradi, modellar bilan tajribalar o'tkazadi, modelni sinovdan o'tkazadi. *Ma’lumotlar olimi Ma’lumotlar muhandisi Web developer Dasturchilar … - bu har bir narsani biroz bajara oladigan odam: dasturlash, ma'lumotlar bazalari bilan ishlash, oddiy tahlillarni o'tkazish va dastur yozish. Dasturchilar *ma'lumotlar muhandisi Ma’lumotlar olimi Ma’lumotlar tahlilchisi … tajriba o'tkazish uchun biror narsaga ega bo'lishi uchun ma'lumotlar muhandisi ma'lumotlarni tayyorlaydi. *Ma'lumotlar olimi Olim Tadqiqotchi Professor Foydalanuvchilar taksi ilovasida eng ko'p pul qoldirganlarida, uni aniqlash uchun ma’lumotlar olimi qanday harakatlar qilishlari kerak? Foydalanuvchilar faoliyatini o’rganib chiqadilar *Harakatlari tarixini tahlil qilishlari va bashorat qilishi lozim Foydalanuvchilar haqida ma’lumot to’playdilar Ma’lumotlar olimi bunday ishlarni qilishmaydi. Foydalanuvchilar taksi ilovasida eng ko'p pul qoldirganlarida, uni aniqlash uchun ma’lumotlar muhandisi qanday harakatlar qilishlari kerak? Harakatlari tarixini tahlil qilishlari va bashorat qilishi lozim Foydalanuvchilar faoliyatini o’rganib chiqadilar *Ilovadan kerakli ma'lumotlarni, server jurnali ma'lumotlarini to'playdi. Ma’lumotlar muhandisi bunday ishlarni qilishmaydi. Kimlar oldindan ishlov berishdan, takrorlashlardan, xatolardan, keraksiz tushuntirishlardan tozalashdan so'ng, u skriptlarning bajarilishini avtomatlashtiradi va agar kerak bo'lsa, monitoringni, ogohlantirishlarni, xizmat ko'rsatish jadvalini o'rnatadi yoki dastur ma'lumotlar bilan ishlaydi? Ma’lumotlar tahlilchisi *Ma’lumotlar muhandisi Ma’lumotlar olimi Dasturchilar Ishlov berishdan, takrorlashlardan, xatolardan, keraksiz tushuntirishlardan tozalashdan so'ng, ma'lumotlar olimlari uchun bu … bo’ladi. *qayta ishlangan ma'lumotlar to'plamlariga (xususiyatlarga) kirishni osonlashtiradi, saqlash yordamida modellarni masshtablash osonroq va tezroq. ma'lumotlar quvur liniyasi sanasini yaratadi, ya'ni ma'lumotlarni bir joydan ikkinchisiga etkazish jarayonini yaratadi. API ga o'tadigan yoki SQL so'rovini amalga oshiradigan, ma'lumotlarni to'ldiradigan va uni markazlashtirilgan saqlashga script yaratadi. To’g’ri javob yo’q Shuningdek … kasb egalari biznes razvedkasi bo'yicha ma'lum tajribaga ega bo'lishlari va hisobotlar va asboblar panelini yaratish bo'yicha ish bilimlariga ega bo'lishlari lozim. Team leader Developer *ma'lumotlar muhandislari ma’lumotlar olimi Model, shuningdek, vaqti-vaqti bilan yangilanishi kerak: hisobotlarni tuzish, shunda biznes bu ishdan har kuni foydalanishi mumkin, kerak bo'lganda belgilarni yangilash. Bular ham kim tomonidan amalga oshiriladi? Jamoa sardori Dasturchilar Ma’lumotlar olimi *ma'lumotlar muhandisi … kutubxonalaridan maʼlumotlar olimlari quvurlar sifatida foydalanadi. *Pandas va Scikit Learn Math va Matplotip Time va overflow To’g’ri javob yo’q Asosan qaysi dasturlash tilidan maʼlumotlar muhandislari quvurlarni boshqarish uchun foydalanadilar? Java *Python Ruby PHP Ma'lumotlar muhandisi … qilishga e'tibor qaratadi. ma'lumotlarni tahlil qiladi, sinab ko'radi, umumlashtiradi va optimallash. *ma'lumotlarni tozalash va manipulyatsiya mashinani o'rganish To’g’ri javob yo’q maʼlumotlar muhandislari pandalarni Spark’ga tarjima qilish uchun emas, balki Data Scients-ga … da yordam berish uchun kerak. Dasturlashni rivojlantirish *kuch beruvchi vositalarni yaratish Ma’lumotlarni tahlil qilishda ko’maklashish To’g’ri javob yo’q Ma'lumotlar muhandislari nechta asosiy ma'lumotlar harakati bo'yicha ixtisoslashgan 1 ta 2 ta *3ta 4ta Ma’lumotlar muhandisi ko’proq qaysi soha vakiliga o’xshab ketadi? Data science Data analysis Data structure *Data architect Ma'lumotlar bilan ishlashda siz ma'lumotlarni saqlash va qayta ishlash uchun infratuzilmani yaratish uchun asosan qanaqa texnologiyalardan foydalanilmoqda? *Hadoop yoki AWS Redshift NoSQL yoki MySQL PostgreSQL Denwex yoki Airflow … - bu sizning kiritilgan ma'lumotlarni osongina tahrirlash va o'zgartirish imkonini beruvchi taqsimlangan tarzda faoliyat yuritish uchun kuchli vosita. PostgreSQL MySQL *Spark SQL Ma'lumotlar muhandisligini o'rganishni boshlash uchun hech bo'lmaganda qaysi dasturlash asoslarini bilishi kerak? Java *Python C++ Ruby Download 30.85 Kb. Do'stlaringiz bilan baham: |
Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2024
ma'muriyatiga murojaat qiling
ma'muriyatiga murojaat qiling