Технология обработки больших данных (BigData)

Министерство высшего образования, науки и инноваций Республики Узбекистан


Ташкентский финансовый институт





самостоятельная работа


По предмету Информационно–коммуникационные технологии и системы в экономике


На тему: Технология обработки больших данных (BigData)


Студент группы БДА-20:
Рахматов О.О.


ТЕМА: Технология обработки больших данных (BigData)


План:

1. 
   Что такое big data: зачем нужны большие данные, как их собирают и обрабатывают
   
2. 
   Технологии работы с большими данными
   
3. 
   Сбор и хранение больших данных перед обработкой
   
4. 
   3 главных принципа работы с большими данными
   
5. 
   9 основных методов обработки больших данных
   
6. 
   Проблемы анализа и обработки большого объема данных
   

Что такое big data: зачем нужны большие данные, как их собирают и обрабатывают

К большим данным относят информацию, чей объем может быть свыше сотни терабайтов и петабайтов. Причем такая информация регулярно обновляется. В качестве примеров можно привести данные, поступающие из контакт-центров, медиа социальных сетей, данные о торгах фондовых бирж и т. п. Также в понятие «большие данные» иногда включают способы и методики их обработки.

Если же говорить о терминологии, то «Big Data» подразумевает не только данные как таковые, но и принципы обработки больших данных, возможность дальнейшего их использования, порядок обнаружения конкретного информационного блока в больших массивах. Вопросы, связанные с такими процессами, не теряют своей актуальности. Их решение носит важный характер для тех систем, которые многие годы генерировали и копили различную информацию.
Существуют критерии информации, определенные в 2001 году Meta Group, которые позволяют оценить, соответствуют ли данные понятию Big Data или нет:
Volume (объем) — примерно 1 Петабайт и выше.
Velocity (скорость) — генерация, поступление и обработка данных с высокой скоростью.
Variety (разнообразие)— разнородность данных, различные форматы и возможное отсутствие структурированности.
Зачастую к этим параметрам добавляют еще два фактора:
Variability (изменчивость) — разноплановая интенсивность поступления, которая влияет на выбор методик обработки.
Value (значимость) — разница в уровне сложности получаемой информации. Так, данные, поступающие из сообщений в чат-боте интернет-магазинов, имеют один уровень сложности. А данные, которые выдают машины, отслеживающие сейсмическую активность планеты — совсем другой уровень.