Самостоятельная работа по дисциплине: Информационно коммуникационные технологии. На тему: Особенности и роль BigData в современном бизнесе
Download 0.56 Mb. Pdf ko'rish
|
самостоятельная
|
1 ТАШКЕНТСКИЙ ФИНАНСОВЫЙ ИНСТИТУТ ФАКУЛЬТЕТ Международные валютно-кредитные отношения САМОСТОЯТЕЛЬНАЯ РАБОТА По дисциплине: Информационно коммуникационные технологии. На тему: Особенности и роль BigData в современном бизнесе. Выполнила студентка 1 го курса Заочной формы обучения Клевитова Ирина Сергеевна Проверила Камалова Жамиля Мухсиновна Ташкент 2022г 2 СОДЕРЖАНИЕ Введение 3 стр. Понятие Big Data 4 стр. Принципы работы big data 4-5 стр. Особенности применения и роль в современном бизнесе 5-6 стр. Использование BigData для анализа клиентских предпочтений 6 стр. Технологии больших данных в онлайн СМИ 6-7 стр. Изучение отзывов – способ удержать клиентов и повысить их лояльность 7-8 стр. Краткий обзор инструментов big data 8 стр. Заключение 9 стр. Литература 9 стр. 3 ВВЕДЕНИЕ Не секрет, что на сегодняшний день объемы данных, которые требуется хранить и обрабатывать, растут в геометрической прогрессии. Например, объемы данных, которые хранятся в Интернет, увеличиваются примерно на40% ежегодно. Интересно, что с одной стороны, именно развитие современных информационных технологий позволяет и способствует тому, чтобы объемы сохраняемых и обрабатываемых данных постоянно росли. А с другой стороны, для работы с быстрорастущими объемами самых разнообразных видов данных требуется все больше ресурсов и более сложных программных решений. Одной из наиболее современных и быстро набирающих популярность технологий является big data. Этот термин стал применяться и быстро набирать популярность всего 12–14 лет назад. А сегодня крупнейшие мировые компании, занимающие лидирующие позиции в самых разных областях бизнес деятельности, вкладывают миллиарды долларов в развитие этого направления. В данной работе рассмотрим основные понятия, связанные с технологией big data, почему одни крупные компании готовы вкладывать огромные средства в развитие этого направления, а другие нет. Какие наиболее распространенные решения на основе big data существуют сегодня на рынке, какие есть сложности и что ждет остальной рынок ИТ с приходом новой технологии. 4 ПОНЯТИЕ BIG DATA Дословно big data означает большие данные. Более подробное определение можно сформулировать так. Bigтdata — это серия подходов и методов обработки большого объема и значительного многообразия данных, которые тяжело обработать обычными способами. Целью обработки больших данных является получение новой информации. При этом данные могут быть как обработанными (структурированными), так и разрозненными (то есть неструктурированными). Если говорить о типах данных, для которых применимы рассматриваемые методы обработки, то это может быть совершенно разная информация: документы, блоги, социальные сети, любые клиентские данные или даже информация о совершенных клиентами действиях. Также информация, поступающая от измерительных устройств и т. д. Но это все преимущественно текстовая информация. Помимо этого, обработке могут подлежать аудио и видео данные, изображения и т. д. Но не все абсолютно данные подлежат обработке с применением технологий big data. Есть критерии, по которым можно отнести информацию и данные, пригодные к подобной обработке, т. к. не все данные могут быть пригодны для аналитики. В этих определяющих характеристиках как раз и заложено ключевое понятие больших данных. Все они умещаются в т. н. три V: Объем (от англ. volume). Данные измеряются величиной физического объема «документа», который подлежит анализу. Скорость (от англ. velocity). Данные не статичны в своем развитии, а постоянно прирастают. Поэтому смысл этой характеристики не только в быстро растущих объемах данных, но и в необходимости их быстрой обработки для получения требуемых результатов. Многообразие (от англ. variety). Данные могут быть неодноформатными. То есть могут быть разрозненными, структурированными, не структурированными или структурированными частично. И смысл заключается в том, чтобы одновременно обрабатывать различные типы данных. Также к уже рассмотренным трем V, в разных источниках добавляют четвертую. Достоверность или правдоподобность (от англ. veracity). И даже пятую жизне-способность или ценность (от англ. viability или value). В различных вариантах можно говорить о 7V, но для базового понимания достаточно трех. В современных системах рассматриваются два дополнительных фактора: 5 Изменчивость (Variability) – потоки данных могут иметь пики и спады, сезонности, периодичность. Всплески неструктурированной информации сложны в управлении, требует мощных технологий обработки. Значение данных (Value) – информация может иметь разную сложность для восприятия и переработки, что затрудняет работу интеллектуальным системам. Например, массив сообщений из соцсетей – это один уровень данных, а транзакционные операции – другой. Задача машин определить степень важности поступающей информации, чтобы быстро структурировать. Принцип работы технологии big data основан на максимальном информировании пользователя о каком-либо предмете или явлении. Задача такого ознакомления с данными – помочь взвесить все «за» и «против», чтобы принять верное решение. В интеллектуальных машинах на основе массива информации строится модель будущего, а дальше имитируются различные варианты и отслеживаются результаты. Современные аналитические агентства запускают миллионы подобных симуляций, когда тестируют идею, предположение или решают проблему. Процесс автоматизирован. К источникам big data относят: • интернет – блоги, соцсети, сайты, СМИ и различные форумы; • корпоративную информацию – архивы, транзакции, базы данных; • показания считывающих устройств – метеорологические приборы, датчики сотовой связи и другие. Принципы работы с массивами данных включают три основных фактора: Расширяемость системы. Под ней понимают обычно горизонтальную масштабируемость носителей информации. То есть выросли объемы входящих данных – увеличились мощность и количество серверов для их хранения. Устойчивость к отказу. Повышать количество цифровых носителей, интеллектуальных машин соразмерно объемам данных можно до бесконечности. Но это не означает, что часть машин не будет выходить из строя, устаревать. Поэтому одним из факторов стабильной работы с большими данными является отказоустойчивость серверов. Локализация. Отдельные массивы информации хранятся и обрабатываются в пределах одного выделенного сервера, чтобы экономить время, ресурсы, расходы на передачу данных. Для чего используют? Чем больше мы знаем о конкретном предмете или явлении, тем точнее постигаем суть и можем прогнозировать будущее. Снимая и 6 обрабатывая потоки данных с датчиков, интернета, транзакционных операций, компании могут довольно точно предсказать спрос на продукцию, а службы чрезвычайных ситуаций предотвратить техногенные катастрофы. Приведем несколько примеров вне сферы бизнеса и маркетинга, как используются технологии больших данных: Здравоохранение. Больше знаний о болезнях, больше вариантов лечения, больше информации о лекарственных препаратах – всё это позволяет бороться с такими болезнями, которые 40-50 лет назад считались неизлечимыми. Предупреждение природных и техногенных катастроф. Максимально точный прогноз в этой сфере спасает тысячи жизней людей. Задача интеллектуальных машин собрать и обработать множество показаний датчиков и на их основе помочь людям определить дату и место возможного катаклизма. Правоохранительные органы. Большие данные используются для прогнозирования всплеска криминала в разных странах и принятия сдерживающих мер, там, где этого требует ситуация. Методики анализа и обработки К основным способам анализа больших массивов информации относят следующие: Глубинный анализ, классификация данных. Эти методики пришли из технологий работы с обычной структурированной информацией в небольших массивах. Однако в новых условиях используются усовершенствованные математические алгоритмы, основанные на достижениях в цифровой сфере. Краудсорсинг. В основе этой технологии возможность получать и обрабатывать потоки в миллиарды байт из множества источников. Конечное число «поставщиков» не ограничивается ничем. Разве только мощностью системы. Сплит-тестирование. Из массива выбираются несколько элементов, которые сравниваются между собой поочередно «до» и «после» изменения. А\В тесты помогают определить, какие факторы оказывают наибольшее влияние на элементы. Например, с помощью сплит-тестирования можно провести огромное количество итераций постепенно приближаясь к достоверному результату. Прогнозирование. Аналитики стараются заранее задать системе те или иные параметры и в дальнейшей проверять поведение объекта на основе поступления больших массивов информации. Машинное обучение. Искусственный интеллект в перспективе способен поглощать и обрабатывать большие объемы несистематизированных данных, впоследствии используя их для самостоятельного обучения. 7 Анализ сетевой активности. Методики big data используются для исследования соцсетей, взаимоотношений между владельцами аккаунтов, групп, сообществами. На основе этого создаются целевые аудитории по интересам, геолокации, возрасту и прочим метрикам ПРИНЦИПЫ РАБОТЫ BIG DATA Исходя из определения big bata, можно сформулировать три основных принципа работы с такими данными: Горизонтальная масштабируемость. Поскольку объем данных постоянно и стремительно растет и информации может быть сколь угодно много, то система, которая подразумевает обработку этих данных, должна быть расширяемой. К примеру, если 2 раза вырос объём данных, то должна быть возможность увеличить мощность аппаратного обеспечения в 2 раза в кластере и система продолжит работать без потерь в производительности. Отказоустойчивость. Рассмотренный выше принцип горизонтальной масштабируемости подразумевает, что машин в кластере может быть много. Например, в компании Yahoo кластер насчитывает более 40000 машин. При этом допускается, что часть этих машин будет регулярно выходить из строя. Методы работы с большими данными должны учитывать вероятность таких сбоев и поддерживать работоспособность системы без каких-либо значимых последствий. Локальность данных. В крупных распределённых системах, используемые данные хранятся на большом количестве машин. Но если данные находятся физически на одном сервере, а обрабатываются на другом, то ресурсы, требуемые на передачу данных, могут превысить расходы на обработку данных. Поэтому при проектировании решений на big data одним из важнейших принципов является принцип локальности данных, суть которого заключается в том, чтобы данные обрабатывались и хранились на одной и той же машине. ОСОБЕННОСТИ ПРИМЕНЕНИЯ И РОЛЬ В СОВРЕМЕННОМ БИЗНЕСЕ Изучая многообразие современных технологий хранения и обработки данных, возникает логичный вопрос. Для чего придуманы методы и подходы, называемые big data? Что в этом уникального, как можно использовать информацию, обработанную с помощью данных технологий и почему компании готовы вкладывать в развитие больших данных огромные средства? 8 Во-первых, в отличие от big data, обычные базы данных (БД), не могут хранить и обрабатывать такие огромные объемы данных (сотни и тысячи терабайт). И речь даже не об аналитике, а только лишь о хранении данных. В классическом понимании БД предназначена для быстрой обработки (хранение, изменение) относительно небольших объемов данных или для работы с большим потоком записей небольшого размера, т. е. транзакционная система. С помощью big data как раз решается эта основная задача — успешное хранение и обработка больших объемов данных. Во-вторых, в big data структурируются разнотипные сведения, которые поступают из различных источников (изображения, фото, видео, аудио и текстовые документы) в один единый, понятный и приемлемый для дальнейшей работы вид. В-третьих, в big data происходит формирование аналитики и построение точных прогнозов на основании полученной и обработанной информации. Для чего это нужно и где может быть применено на практике? Для наглядности и для того, чтобы сформулировать ответ простыми словами, рассмотрим на примере типичных бизнес-задач в маркетинге. Обладая такой информацией, как: – полное понимание о своей компании и бизнесе,в том числе с точки зрения статистической информации и цифр; – подробные данные о конкурентах; – новая и подробная информация о своих клиентах; – все это позволит преуспеть в привлечении новых клиентов, значительно повысить уровень предоставляемого сервиса текущим клиентам, лучше понять рынок и своих конкурентов, а значит вырваться вперед за счет преобладания над ними. Учитывая вышеперечисленные результаты, которых позволяет достигнуть big data, и объясняет стремление компаний, пытающихся завоевать рынок, вкладываться в эти современные методы обработки данных сегодня, чтобы получить увеличение продаж и уменьшение издержек завтра. А если более конкретно, то: – увеличение дополнительных продаж и кросс продаж за счет лучшего знания предпочтений клиентов; – поиск популярных товаров и причин — почему их покупают или наоборот; – усовершенствование предоставляемой услуги или продукта; – повышение качества обслуживания клиентов; – повышение лояльности и клиентоориентированности; – предупреждение мошенничества (больше актуально для банковской сферы); – снижение лишних расходов. 9 Один из наиболее наглядных и популярных на сегодняшний день примеров, о котором можно прочитать во многих источниках сети Интернет, связан с компанией Apple, которая собирает данные о своих пользователях с помощью производимых устройств: телефон, планшет, часы, компьютер. Именно из-за наличия такой системы корпорация владеет огромным количеством информации о своих пользователях и в дальнейшем использует ее для получения прибыли. И подобных примеров на сегодняшний день можно найти целое множество. ИСПОЛЬЗОВАНИЕ BIGDATA ДЛЯ АНАЛИЗА КЛИЕНТСКИХ ПРЕДПОЧТЕНИЙ Анализ больших данных – хорошая возможность узнать больше информации о пользователях и их предпочтениях. Чем точнее будут сведения, тем выше будет прибыль корпорации. К большим данным относятся неструктурированные массивы информации самого разного рода: текстовые и мультимедийные файлы, метаданные и т.д. Традиционными методами проанализировать такую информацию практически невозможно. Потому для ее анализа используют современные технологии, построенные на AI, нейронных сетях и глубоком обучении. Яркий пример корпорации, собирающей и анализирующей большие данные – Facebook. Каждый день эта социальная сеть обрабатывает свыше 2 млрд запросов, полученных от пользователей. Для наиболее полного соответствия клиентским предпочтениям и интересам, Facebook выводит персонализированную ленту, куда попадают только те посты и реклама, 10 которые будут максимально точно соответствовать потребностям пользователя, исходя из развернутого профиля его активности в социальной сети и в интернете в целом. Учитываются даже такие мельчайшие показатели, как поставленный лайк под записью, печальный или недовольный смайлик, просмотр видео до конца и т.д. Итоговый результат: лента, которая отражает интересы конкретного человека. Такая же алгоритмически формируемая лента перекочевала затем в Instagram, VK и в другие социальные сети. Популярный видеохостинг YouTube тоже не остался в стороне – в топ выдачи поиска для каждого конкретного человека выдаются видеоролики, которые с большей вероятностью будут досмотрены до конца или сгенерируют подписку на канал и т.д. Понятие Big Data заключает в себе совокупность всех наборов данных, общий размер которых в разы превосходит возможности работы обычных баз данных, так же требуется отметить применение неклассических методов обработки данных. К примеру, в управлении, анализе полученной информации или же просто хранении. Алгоритмы работы Big Data в наши дни смогли возникнуть параллельно с внедрением первых, в своем роде серверов с высокой производительностью, к примеру, мэйнфреймов, которые имеют достаточные ресурсы, требуемые с целью оперативной обработки информации, а также соответствующих компьютерным вычислениям с последующим анализом. Алгоритмы основаны на выполнении последовательно-параллельных вычислений, что значительно увеличивает скорость выполнения различных задач. В Big Data заинтересованы предприниматели и ученые, которых заботят вопросы, касающиеся не только качественной, но и актуальной интерпретации данных, а также создание инновационных инструментов для работы с ними. Гигантское количество данных обрабатывается для того, чтобы конечный пользователь получил нужные ему результаты для их дальнейшего эффективного использования. Big Data дает возможность компаниям расширить количество своих клиентов, привлекать новую целевую аудиторию, а тек же помогает реализовывать проекты, которые будут пользоваться спросом не только у текущих клиентов, но и привлекать новых. Решению данных проблем и соответствует активное внедрение, а также последующее использование Big Data. В работе рассмотрено сравнение основных типов баз данных и проведен анализ обнаружения вторжений на примере технологий распределенной информационной системы по обработке Big Data. Своевременное обнаружение вторжений в 11 системы обработки данных необходимы для принятия мер по сохранению конфиденциальности и целостности и данных, а также для грамотного исправления ошибок и совершенствованию защите системы обработки данных. ТЕХНОЛОГИИ БОЛЬШИХ ДАННЫХ В ОНЛАЙН СМИ Цифровые СМИ вынуждены кооперироваться между собой, чтобы максимально отражать пользовательские потребности. Компании обмениваются данными о пользователях, их активности, сегментации, подписках, чтобы сформировать общую картину интересов. В качестве примера можно привести холдинг Pangaea Alliance, в который входят такие крупные новостные ресурсы и издания, как CNN, Reuters, The Guardian и др. Объединение конкурентов и обмен данными между собой помогает снизить зависимость компаний от рыночных монополистов, таких как Google и Facebook. Также компании нередко внедряют инструменты для анализа больших данных. К примеру, The Guardian используют Ophan – этот инструмент позволяет сводить и анализировать данные по прочтениям статей, просмотрам страниц, переходам из социальных сетей, геолокационным данным и т.д. Пользовательские реакции на тот или иной материал собираются, анализируются, и на основе их уже принимаются дальнейшие решения. ИЗУЧЕНИЕ ОТЗЫВОВ – СПОСОБ УДЕРЖАТЬ КЛИЕНТОВ И ПОВЫСИТЬ ИХ ЛОЯЛЬНОСТЬ Удержание клиентов – главная задача любой компании. Как показывают аналитические отчеты, примерно 30% клиентов публикуют отзывы о продукции в социальных сетях или на тематических сайтах. Психология потребителей такова, что преобладает обычно именно негативный опыт. Анализ данных позволяет улучшить сервис компании, обновить ценовую политику, оптимизировать доставку. Социальные сети дают возможность напрямую связываться с потребителями, отслеживать их данные, формировать портрет каждого человека или определенной социальной группы. 12 Торговая сеть Walmart – яркий пример того, как нужно использовать технологии BigData для отслеживания клиентских предпочтений и увеличения продаж. С помощью технологий машинного обучения был проведен анализ всех текстов на сайте, что позволило создать более релевантные описания за счет добавления различных синонимов. Коэффициент конверсии вырос примерно на 10%, что для такой крупной корпорации означало несколько миллионов долларов прибыли. На рынке РУз первыми провели внедрение больших данных банки, ритейлеры, операторы связи и нефтяные холдинги. С помощью современных платформ и технологий компании анализируют средние чеки покупателей, чтобы спланировать продажи и провести максимально эффективные промо- акции. Популярным решением на российском рынке для отслеживания пользовательских отзывов в социальных сетях является платформа обращений, разработанная компанией “Иннодата”. Эта платформа позволяет принимать верные управленческие решения и оперативно реагировать на негатив при помощи анализа клиентских отзывов в социальных сетях и на тематических площадках. Предиктивный модуль дает возможность спрогнозировать пользовательское поведение, получить различные рекомендации и улучшить маркетинговые показатели. Ключевой фактор роста бизнеса в современных рыночных условиях – точное отражение клиентских потребностей. Этому способствуют 13 технологии обработки BigData, к которым уже прибегают многие ведущие корпорации – как мировые, так и российские. КРАТКИЙ ОБЗОР ИНСТРУМЕНТОВ BIG DATA Учитывая огромные объемы информации, которые необходимо хранить обрабатывать в процессе работы, следует заметить, что подобные манипуляции не могут выполняться на простых жестких дисках. А программное обеспечение, которое структурирует и анализирует накапливаемые данные — это отдельная интеллектуальная собственность и в каждом отдельном случае является авторской разработкой. При этом можно отметить наиболее популярные на сегодняшний день инструменты, на основе которых создаются такие решения: – Hadoop & MapReduce; – NoSQL базы данных; – Инструменты класса Data Discovery. Анализу особенностей и отличий перечисленных инструментов, а также обзору решений, которые могут предлагаться на основе данных инструментариев может быть посвящена отдельная работа. Но, в качестве примера, хотелось бы привести модель, которая, пожалуй, является на сегодняшний день одним из лидеров на рынке — это Oracle Big Data Appliance X5–2. Ориентировочная стоимость такой системы в максимальной комплектации может достигать 460 000 USD за 1 стойку. Конечно, речь идет о промышленных системах премиум класса. Тем не менее, приведенный пример позволяет оценить порядок расходов, которые потребуются на реализацию подобных решений в компании. И это еще без учета узкоспециализированных специалистов и дополнительной ИТ инфраструктуры. Поэтому говорить о применении больших данных, например, в малом бизнесе не приходится. 14 ЗАКЛЮЧЕНИЕ В современном бизнесе, практически не зависимо от специфики и индустрии, все более явно прослеживается ценность и высокая роль информации о потенциальных и текущих клиентах компании, о ее конкурентах и грядущих тенденциях на рынке. Все более это становится необходимыми условиями для того, чтобы сохранить конкуренцию в современном мире. В связи с этим и уже существующими примерами успеха внедрения big data крупными компаниями, которыми наполнен Интернет, можно предположить, что роль больших данных со временем будет только расти. Благодаря этому компании будут е лучше знать и понимать потребности своих клиентов и предлагать им наиболее релевантные и подходящие решения, а потребители смогут наслаждаться продуктами и услугами, которые наилучшим образом подходят именно им. ЛИТЕРАТУРА 1. Академия BIG DATA: Введение в аналитику больших массивов данных: Информация // Национальный От-крытый Университет «ИНТУИТ». 2. Аналитический обзор рынка Big Data // Хабр. Download 0.56 Mb. Do'stlaringiz bilan baham: 
|