Кафедра информационных технологий курсовая работа проектирование и реализация расширяемого поискового сервера

ВВЕДЕНИЕ

В настоящее время имеется огромное количество информации, которая находится в открытом доступе в интернете. По статистическим данным в 2002 году человечеством было произведено байт (18 эксабайт) информации. За пять предыдущих лет было произведено информации больше, чем за все предшествующую историю. Ежегодно мировой объем информации возрастает на 30%. А в среднем на одного человека в мире производится байт в год [1].
Задача поиска и фильтрации информации по определенным критериям становится все сложнее. Сильно выраженной проблемой это становится для человека, не знакомого с современными IT-технологиями.
Современные поисковые системы – программно-аппаратный комплекс с дружественным пользовательским интерфейсом, которые позволяют осуществлять поиск информации в Интернете [2]. Однако они не дают возможность пользователю работать напрямую с поисковым ядром и управлять всеми этапами поиска. Эта проблема становится особенно актуальной, когда стоит задачи получения информации из определенных источников, фильтрация по необходимым параметрам и выгрузка с использованием шаблона определенного вида.
Курсовая работа посвящается проектированию и реализации системы для поиска, извлечения и выгрузки информации с использованием пользовательских фильтров, параметров и гибкой настройкой всех этапов работы системы.
Планируется создание ресурса с дружественным пользовательским интерфейсом и серверной части системы, которая может использоваться как расширяемое поисковое ядро и применяться к различным задачам данной области.

1 Анализ предметной области

Для оптимального построения системы был проведен анализ уже имеющихся на рынке сервисов с похожим функционалом и были выявлены основные их возможности для понимания как достоинств, так и недостатков тех или иных реализаций.
Далее представлены описания и основные возможности актуальных на сегодняшний день систем.

1.1 Анализ сервиса inpars.ru

Сервис inpars.ru позволяет получать актуальную информацию о недвижимости, извлекая ее с других сайтов. Пользователям предоставляется ограниченный набор фильтров для группировки результатов поиска, возможность выгрузить необходимую информацию в один из предложенных форматов, отбор поискового результата по предложенным параметрам.
После получения команды от пользователя на поиск информации, сервис напрямую взаимодействует с базой данных, в которой уже имеется актуальная информация. База данных заполняется независимо от пользователей специальным удаленным сервером, который работает постоянно. Данных подход обеспечивает очень быстрый доступ к необходимой информации, но ограничивает области поиска. В данном случает сервис ограничивается только областью недвижимости.