Технологии оброботки и анализа болыших данных

МИНИСТЕРСТВО ВЫСШЕГО ОБРАЗОВАНИЯ, НАУКИ И ИННОВАЦИЙ
ФЕРГАНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
ФАКУЛЬТЕТ: МАТЕМАТИКИ И ИНФОРМАТИКИ
Кафедра:
«Рекомендовано к защите»
к.э.н. Ш.А.Султонов___________
Протокол №__ от«__»_____2023г
По образовательному направлению
5230100-Экономика (по отраслям и сферам)
Выпускная
Квалификационная работа
На тему: технологии оброботки и анализа болыших данных

Студентки группы ИК-215

Нормуродовой Фотимы Тулкиновны Научный руководитель: К.э.н., Доцент Г.М.Хусанова
Фергана-2023


СОДЕРЖАНИЕ

Введение		Cтр
		3
Глава-I
1.1
1.2
1.3
Глава-II
2.1
2.2
2.3
Глава-III
3.1
3.2
3.3
	ВЫВОДЫ И РЕКОМЕНДАЦИИ
	СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

Введение
Актуальность темы.

СОДЕРЖАНИЕ

ЗАДАНИЕ 2
РЕФЕРАТ 3
ВВЕДЕНИЕ 8

1. 
   ОПИСАНИЕ НАПРАВЛЕНИЙ «НАУКА О ДАННЫХ», «BIG DATA» И ПЛАТФОРМЫ «HADOOP» 9
   
   1. 
      «НАУКА О ДАННЫХ» 9
      
      1. 
         ВВЕДЕНИЕ В «НАУКУ О ДАННЫХ» 9
         
      2. 
         ТЕХНОЛОГИИ АНАЛИЗА ДАННЫХ 11
         
         1. 
            ЯЗЫК ПРОГРАММИРОВАНИЯ «R» 11
            
            1. 
               ОПРЕДЕЛЕНИЕ И ТИПЫ ДАННЫХ 12
               
            2. 
               ОБЪЕКТЫ ЯЗЫКА ПРОГРАММИРОВАНИЯ «R» 13
               
            3. 
               ИСПОЛЬЗОВАНИЕ ЯЗЫКА ПРОГРАММИРОВАНИЯ «R» 14
               
         2. 
            «MICROSOFT AZURE MACHINE LEARNING» 15
            
      3. 
         СТАТИСТИКА 15
         
         1. 
            ОПРЕДЕЛЕНИЕ СТАТИСТИКИ 16
            
         2. 
            ВИЗУАЛИЗАЦИЯ СТАТИСТИКИ 16
            
         3. 
            ОПИСАТЕЛЬНАЯ СТАТИСТИКА 18
            
      4. 
         ВЫВОДЫ 21
         
   2. 
      «BIG DATA» 21
      
      1. 
         ОПРЕДЕЛЕНИЕ 22
         
      2. 
         СФЕРЫ ПРИМЕНЕНИЯ И СОПУТСТВУЮЩИЕ ТЕХНОЛОГИИ 24
         
         1. 
            ТЕХНОЛОГИИ 25
            
         2. 
            ПРИМЕНЕНИЕ В ОТРАСЛЯХ 27
            
      3. 
         ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ В КОМПАНИЯХ 29
         
      4. 
         ВЫВОДЫ 31
         
   3. 
      ЭКОСИСТЕМА «HADOOP» 31
      
      1. 
         ОПИСАНИЕ ПЛАТФОРМЫ 31
         
         1. 
            ИСТОРИЯ СОЗДАНИЯ 32
            
         2. 
            ИСПОЛЬЗОВАНИЕ И ПРЕИМУЩЕСТВА 33
            
      2. 
         КОМПОНЕНТЫ ЭКОСИСТЕМЫ «HADOOP» 35
         
         1. 
            ОПИСАНИЕ КОМПОНЕНТОВ 36
            
         2. 
            ДИСТРИБУТИВЫ ЭКОСИСТЕМЫ «HADOOP» 38
            
      3. 
         ОПИСАНИЕ ОСНОВНЫХ КОМПОНЕНТОВ 39
         
         1. 
            РАСПРЕДЕЛЕННАЯ ФАЙЛОВАЯ СИСТЕМА «HDFS» 39
            
            1. 
               ОПРЕДЕЛЕНИЕ И СОСТАВНЫЕ ЧАСТИ 39
               
            2. 
               ХРАНЕНИЕ И РЕПЛИКАЦИЯ ДАННЫХ 40
               
            3. 
               ЗАПИСЬ И УДАЛЕНИЕ ДАННЫХ 41
               
            4. 
               ПРЕИМУЩЕСТВА И НЕДОСТАТКИ 42
               
         2. 
            ПРОГРАММНАЯ МОДЕЛЬ «MAPREDUCE» 43
            
            1. 
               ОПРЕДЕЛЕНИЕ И ОПИСАНИЕ РАБОТЫ МОДЕЛИ 43
               
            2. 
               АРХИТЕКТУРА «HADOOP MAPREDUCE» 46
               
            3. 
               ПРЕИМУЩЕСТВА И НЕДОСТАТКИ 48
               
      4. 
         ВЫВОДЫ 48
         
2. 
   РУКОВОДСТВО ПО УСТАНОВКЕ И ТЕСТИРОВАНИЮ «HADOOP» 50
   
   1. 
      УСТАНОВКА ЭКОСИСТЕМЫ «HADOOP» НА ПЕРСОНАЛЬНЫЙ КОМПЬЮТЕР 50
      
      1. 
         УСТАНОВКА ПРОГРАММЫ ДЛЯ ВИРТУАЛИЗАЦИИ ОПЕРАЦИОННЫХ СИСТЕМ 51
         
      2. 
         УСТАНОВКА ОПЕРАЦИОННОЙ СИСТЕМЫ 55
         
      3. 
         УСТАНОВКА ЭКОСИСТЕМЫ «HADOOP» 67
         
         1. 
            УСТАНОВКА НЕОБХОДИМОГО ПО 68
            
         2. 
            УСТАНОВКА И НАСТРОЙКА КОМПОНЕНТОВ «HADOOP» 71
            
         3. 
            ЗАПУСК «HADOOP» 75
            
   2. 
      НАПИСАНИЕ ПРОГРАММЫ «WORDCOUNT» ДЛЯ ТЕСТИРОВАНИЯ СИСТЕМЫ «HADOOP» 77
      
      1. 
         УСТАНОВКА СРЕДЫ РАЗРАБОТКИ «ECLIPSE» 78
         
      2. 
         НАПИСАНИЕ КОДА ПРОГРАММЫ «WORDCOUNT» 86
         
      3. 
         ЗАПУСК ПРОГРАММЫ «WORDCOUNT» 97
         

ЗАКЛЮЧЕНИЕ 101
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 102
ПРИЛОЖЕНИЕ А 104
ПРИЛОЖЕНИЕ Б 107
ПРИЛОЖЕНИЕ В 109

ЗАКЛЮЧЕНИЕ

 СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ