Теоретические основы информатики

Юнико́д^[1] или Унико́д^[2] (англ. Unicode) — стандарт кодирования символов, позволяющий представить знаки практически всех письменных языков.^[3]
Стандарт предложен в 1991 году некоммерческой организацией «Консорциум Юникода» (англ. Unicode Consortium, Unicode Inc.).[4][5] Применение этого стандарта позволяет закодировать очень большое число символов из разных письменностей: в документах Unicode могут соседствовать китайские иероглифы, математические символы, буквы греческого алфавита, латиницы и кириллицы, при этом становится ненужным переключение кодовых страниц.[6]
Стандарт состоит из двух основных разделов: универсальный набор символов (англ. UCS, universal character set) и семейство кодировок (англ. UTF, Unicode transformation format). Универсальный набор символов задаёт однозначное соответствие символов кодам — элементам кодового пространства, представляющим неотрицательные целые числа. Семейство кодировок определяет машинное представление последовательности кодов UCS.
Коды в стандарте Юникод разделены на несколько областей. Область с кодами от U+0000 до U+007F содержит символы набора ASCII с соответствующими кодами. Далее расположены области знаков различных письменностей, знаки пунктуации и технические символы. Часть кодов зарезервирована для использования в будущем.[7] Под символы кириллицы выделены области знаков с кодами от U+0400 до U+052F, от U+2DE0 до U+2DFF, от U+A640 до U+A69F.


Лекция 3
Знания, базы знаний и экспертные системы
Цель: рассмотреть экспертные системы.
Основные понятия:
«Знания» - отражение семантических (смысловых) аспектов географиче-ской реальности в мозгу человека или даже в технической системе.
Управляющая процедура – способ применения разнообразных правил.
Экспертная система — это комплекс компьютерного программного обес-печения, помогающий человеку принимать обоснованные решения.
Экспертные системы.
Экспертные системы зародились в ходе развития методов обработки дан-ных в ЭВМ. Они являлись результатом попыток расширить автоматизацию об-работки информации, обычно выполняемую человеком.
Создание баз знаний и экспертные системы.
В последние годы в технологию ГИС стали широко внедряться эксперт-ные системы. Экспертную систему можно определить как «систему искусствен-ного интеллекта, использующую знания из сравнительно узкой предметной об-ласти для решения возникающих в ней задач, причем, так как это делала бы эксперт-человек, т.е. в процессе диалога с заинтересованным лицом, поставля-ющим необходимые сведения по конкретному вопросу». Напомним разницу между данными и знаниями.
Под данными понимаются совокупность фактов, представленных в каком-нибудь формализованном виде для их использования в науке или других сферах человеческой деятельности. Данные соответствуют дискретным зарегистриро-ванным фактам относительно явлений, в результате чего мы получаем знания о реальном мире. Слово данные происходит от латинского datum – «факт».
«Знания» - отражение семантических (смысловых) аспектов географиче-ской реальности в мозгу человека или даже в технической системе.
Если создавать программы, которые способны анализировать семантику (смысл) используемых данных, необходимо обращение к базам знаний. Такие программы способны производить логические цепочки на основе ранее полу-ченных выводов, пропуская знания как бы через эти выводы, проверяя их ло-гичность.
Знания в работах по искусственному интеллекту знания принято разде-лять на предметные или обще доступные и индивидуальные или эмпирические. К общедоступным относятся знания из учебников, индивидуальные знания ос-новываются на правилах и подходах, которые эксперт иногда не может одно-значно сформулировать – их называют эвристическими.
Для экспертных систем необходимы три компоненты: факты, правила (процедурные знания) и управляющие структуры. Фактические знания сообща-ются экспертной системе экспертом географом в процессе диалога и отражают взгляды человека на момент работы. Процедурные знания или правила тесно связаны с практическими, но являются как бы накопленными знаниями, на ос-нове которых вырабатывались правила, определяющие как будет вести себя си-стема, и управляющие знания позволяют подбирать наилучшую стратегию в ра-боте системы.
Причем в интеллектуальных системах, способных само обучаться на ос-нове накопленного опыта анализа, контроля и принятия решений в процессе ис-следования явлений реального мира появляются знания второго уровня или ме-тазнания.
Факт – Петр подчиняется Фреду, Анна подчиняется Петру.
Правило – если А подчиняется В, а С подчиняется А, то С подчиняется В.
Управляющая процедура – способ применения разнообразных правил. Т.е. решить какое из правил должно быть следующим. Существует много методов, например, можно двигаться по само левой ветви дерева до тех пор пока не будет удовлетворен запрос или не будет достигнут конец ветви. В последнем случае мы возвращаемся в предыдущий узел дерева и с помощью того же метода про-извести проверку других ветвей. Это называется сначала в глубь. Если мы про-ходим все узлы на одном уровне, потом все узлы на другом уровне, это называ-ется сначала вширь.
Вся структура экспертной системы состоит из 4-5 частей: базы знаний, машины вывода, системы накопления метазнаний (т.е. знания второго уровня для самообучения системы), системы объяснения и общения с пользователем.
Знания в базе знаний организуются в виде либо семантически сетей с про-извольной структурой, либо регулярных сетей – фреймов. Фреймы выражают общие понятия, слоты или ячейки дают их детализацию, что приводит к типич-ной иерархической структуре.
Рассмотрим фреймовское представление на примере оценки состояния природной среды с точки зрения ее загрязнения. Образовав фрейм «состояние природной среды» в качестве слотов можно использовать «степень загрязненно-сти атмосферы», «загрязнение подземных и поверхностных вод», «состояние геологической среды», «состояние почвенного покрова», «состояние раститель-ного и животного мира» и др.
Каждый слот может иметь кроме имени несколько значений, например, «выбросы вредных веществ» - изобутилен, «200», «600».
В настоящий момент большое распространение получили «продукции». Продукции можно представить в виде выражения «если - то». Для получения выводов, «продукции» могут образовывать сложные цепочки. Продукции до-пускают использование пост и предусловий, которые разрешают или запрещают применять данное условие.
Важной особенностью экспертных систем является возможность работать с нечеткими данными и нечеткими знаниями. Используя комбинацию элемен-тов знаний мы можем прийти к вполне определенным заключениям.
Машина логического вывода – важная часть экспертной системы. В ответ на запрос система должна строить логические выводы и на их основе приходить к заключению. Здесь проверяется выполнимость условий конкретной ситуации по отношению к имеющимся правилам и подбирать путь их удовлетворения. В экспертной системе пространство поиска сужается за счет того, что и человек и ЭВМ ожидает, что встретит .
Процедура получения выводов путем анализа фреймов или «продукций» называют прямой стратегией. Если человек выдвигает гипотезы, ЭВМ их про-веряет, то это называется обратной стратегией. Используются и смешанные стратегии, когда машина выдает ряд вариантов решения, а потом выбрав одно анализирует с помощью обратной стратегии.
Блок накопления метазнаний проверяет непротиворечивость вновь посту-пающих сведений имевшимся правилам. Достигается это путем проверки се-мантической непротиворечивости, а также автоматическим тестированием. Ав-томатическое тестирование проверяет нововведения на большом количестве за-дач, чтобы оценить сколь положительно они влияют на работу экспертной си-стемы.
Иногда оказывается целесообразным характеристика не отдельных явле-ний, а их классов, когда конкретная ситуация сравнивается с типичными приме-рами. Например, классифицируя объекты «Москва», «Орел», «Брянск», человек легко сгруппирует их в города, но Москву в сочетании с Леной и Волгой отне-сет к рекам, то же должна иметь эвристическая система.
Иногда требуются не совсем логичные заключения. Кроме того, каждый эксперт имеет свой набор правил, поэтому экспертная система становится вто-рым Я того или иного ученого.
Система объяснений используется для разъяснения пользователю того, как экспертная система пришла к тому или иному выводу. В процессе работы пользователь может уточнять цели. «Метод рассуждения который не может быть объяснен человеку, является не удовлетворительным».
Как правило, система делает объяснения в обратном порядке. Каждый вы-вод подкрепляется из правил баз знаний. Экспертная система объясняет почему она не пошла другим путем, какие правила баз знаний этот путь заблокировали. Объяснения экспертной системы помогают совершенствовать базу знаний, показывая слабые места.
Типы экспертных систем.
Можно назвать несколько типов современных экспертных систем.
1. Экспертные системы первого поколения. Предназначены для реше-ния хорошо структурированных задач, требующих небольшого объема эмпири-ческих знаний. Сюда относятся классификационные задачи и задачи выбора из имеющегося набора вариантов.
2. Оболочки ЭС. Имеют механизм ввода-вывода, но Б3 пустая. Требу-ется настройка на конкретную предметную область. Знания приобретаются в процессе функционирования ЭС, способной к самообучению.
3. Гибридные ЭС. Предназначены для решения различных задач с ис-пользованием Б3. Это задачи с использованием методов системного анализа, ис-следования операций, математической статистики, обработки информации. Пользователь имеет доступ к объективизированным знаниям, содержащимся в Б3 и пакетах прикладных программ.
4. Сетевые ЭС. Между собой связаны несколько экспертных систем. Результаты решения одной из них являются исходными данными для другой системы. Эффективны при распределенной обработке информации.
При разработке экспертных систем должны участвовать: эксперт той предметной области, задачи которой будет решать система; инженер по знаниям — специалист по разработкам систем; программист — специалист по разработ-ке инструментальных средств. Эксперт определяет знания, то есть описывает предметную область в виде совокупности данных и правил, обеспечивает пол-ноту и правильность введенных в экспертную систему знаний. Данные опреде-ляют объекты, их характеристики и значения. Правила указывают на способы манипулирования данными.
Инженер по знаниям помогает эксперту: выявить и структурировать зна-ния, необходимые для функционирования экспертной системы; осуществить выбор инструментальных средств, которые наиболее эффективны для решения задач в данной предметной области; указать способы представления знаний. Программист разрабатывает инструментальную среду, включающую все ком-поненты экспертной системы, производит ее сопряжение с другими существу-ющими системами.
Характеристика ЭС.
Большое количество информации, разнообразие информационных техно-логий, повышение сложности решаемых на компьютере задач ставят задачу пе-реноса проблемы выбора и принятия решений с человека на ЭВМ. Одним из пу-тей решения этой задачи является применение экспертных систем, которые мо-гут быть составной частью ГИС.
Экспертную систему от других автоматизированных систем на этапе ее использования отличают большая интеллектуальность, специализация и ориен-тация на решение задач в определенной области.
Отличие ЭС на этапе проектирования состоит в том, что в ней должны учитываться особенности решаемых задач на стадии разработки системы. Для сравнения: базы данных поставляются широкому кругу пользователей, которые и занимаются их специализацией уже после создания БД.
Эффективное использование и развитие ГИС невозможно без высокого уровня автоматизации и применения экспертных систем.
Экспертные системы можно рассматривать как класс автоматизированных информационных систем, содержащих базы данных и базы знаний, способных осуществлять анализ и коррекцию данных независимо от санкции пользователя, анализировать и принимать решения как по запросу, так и независимо от запро-са пользователя и выполнять ряд аналитически-классификационных задач. В частности, ЭС должны разбивать входную информацию на группы, консульти-ровать, делать выводы, ставить диагноз, обучать прогнозированию, идентифи-цировать, интерпретировать, и т. д.
Основными преимуществами ЭС перед другими автоматизированными системами являются:
• возможность решения, оптимизации или получения оценок новых классов трудно формализуемых задач, реализация которых на ЭВМ до недавне-го времени считалась затруднительной или невозможной;
• обеспечение возможности пользователю-непрограммисту вести диа-лог на естественном языке и применять методы визуализации ин¬формации для эффективного использования ЭВМ и решения задач в своей предметной обла-сти;
• накопление данных, знаний, правил использования знаний, правил самообучения ЭС для получения все более достоверных и квалифицированных выводов или решений, включая не санкционированные пользователем;
• решение вопросов или проблем, которые сам пользователь не в со-стоянии решить либо из-за отсутствия у него информации, либо из-за ее много-образия, либо из-за длительности обычного решения даже при помощи ЭВМ;
• возможность создания индивидуальных специализированных ЭС за счет использования развитых инструментальных средств и личного опыта поль-зователя-разработчика этой системы.
В основе структуры информации, закладываемой в экспертную систему, лежат два принципа представления знаний - поверхностный и глубокий. Первый реализуется с помощью правил, второй - с помощью фреймов.
Реализация знаний в виде программного продукта с помощью правил от-носительно недорогая, но структура ЭС при этом получается жесткой, внесение изменений и поправок оказывается сложным и неэффективным (гораздо более сложным, чем создание самой программы). С другой стороны, хотя поверх-ностные представления не позволяют формировать суждения и концепции, с их помощью можно находить решения эмпирически ассоциированных проблем.Генерация знаний с помощью структуры фреймов - процесс сложный и дорогостоящий, но при этом достигается модульность, которая позволяет в дальнейшем добавлять новые и корректировать старые элементы знаний. Кроме того, фреймы дают возможность формировать суждения и выводы на основе обобщений и в результате индуцировать новые знания.
Эффективность применения ЭС в ГИС не обусловливает их использование во всех случаях. По сравнению с базами данных ЭС предъявляют более жесткие требования как к организации решения задач, так и к наличию необходимого минимума данных и формализованных знаний,
При создании экспертных систем возникают как минимум три проблемы:
• обеспечение достаточной полноты информации, заносимой в память. Это требует выделения ключевых (основополагающих) знаний и установления их взаимосвязи в структуре данных, а также создания и использования такой системы кодирования, которая бы позволила эффективно применять эту информацию для решения практических задач;
• получение эффективной оценки качества функционирования ЭС и выработка соответствующих критериев. Трудность кроется в том, что знания специалистов - это не просто сумма сведений и фактов. Формальные попытки учета многомерности связей путем добавления новых для представления отношений отдельных элементов могут привести к чрезмерной "жесткости" системы, и она станет "закрытой" для добавления новых элементов и установления их связей с существующими;
• возможность получения недостоверного результата из-за вероятностного характера структуры решаемых задач и синтеза знаний.
Решение перечисленных проблем является необходимым, но недостаточным условием применения ЭС в ГИС. Сформулируем требования, при которых разработка ЭС целесообразна (эффективна):
• наличие экспертов, желающих передать системе свои знания;
• существование проблемной области, в которой эксперты могут вербализовать свои методы решения задач;
• существование сходимости решений в данной проблемной области у большинства экспертов (минимум рассогласования);
• значимость задач в проблемной области, т. е. они должны быть либо сложными, либо недоступными для решения неспециалистом, либо требующими значительных временных затрат;
• наличие большого объема данных и знаний для решения задач;
• использование эвристических методов в связи с неполнотой и изменчивостью информации в предметной области.
Возможность решения трех вышеупомянутых проблем и выполнение перечисленных требований является необходимым и достаточным условием применения ЭС в геоинформационных системах.
Классификация ЭС. Существует большое число ЭС, различающихся своими функциональными возможностями и методами принятия решений.
Планирующие ЭС предназначены для выработки программы действий, необходимых для достижения определенных целей.
Прогнозирующие ЭС должны предсказывать сценарий будущего, основываясь на событиях прошлого и настоящего, т.е. выводить вероятные следствия из заданных ситуаций. Для этого в прогнозирующих ЭС используются динамические параметрические модели. Прогноз погоды, урожайность в с/х.
Диагностирующие ЭС имеют способность находить причины анормальности наблюдаемых явлений. Основой для анализа служат наборы данных, с помощью которых выявляются отклонения от эталонного поведения и в результате ставится диагноз. В основном в медицине.
Обучающие ЭС должны предоставлять возможность пользователям ставить диагноз и анализировать ошибки в заданных областях. От таких систем требуется умение формировать гипотезы о знаниях и поведении, определять соответствующие обучающие методы и способы действий.
Этапы создания ЭС. К наиболее важным этапам создания экспертных систем могут быть отнесены концептуализация, идентификация, формализация, реализация, тестирование, внедрение, сопровождение и модернизация.
На этапе концептуализации специалист по разработке ЭС совместно с экспертом решает, какие понятия, отношения и процедуры необходимы для описания метода решения проблем в выбранной области. Главная задача этапа заключается в выборе стратегии задач и ограничений, возникающих в процессе решения задач. Концептуализация требует полного анализа проблемы.
На этапе идентификации определяются типы, характеристики, размерность задачи, состав участников процесса разработки; делаются оценки моделе пригодности; оцениваются требуемые ресурсы - временные, машинные; устанавливаются цели создания ЭС,
На этапе формализации ключевые понятия и отношения переводятся на некоторый формальный язык представления знаний. Здесь выбирается адекватный способ представления данных или моделей для рассматриваемой задачи.
На этапе реализации создается физическая оболочка ЭС, способная к выполнению возложенных на нее функций.
Проверка правильности функционирования ЭС возможна на этапе тестирования. Однако даже после тестирования невозможно предугадать всевозможные ситуации отказов, которые могут быть вызваны как неверной работой или недостатками ЭС, так и совершенно независимым выходом из строя оборудования.
Поэтому необходимо планировать этапы внедрения и сопровождения, которые облегчили бы пользователю поиск причин различных сбойных ситуаций.
Появление новых методов, правил, технических средств вызывает необходимость планирования этапа модернизации. При этом существенно возрастет фактор мобильности ЭС.
По средством правил экспертной системы, внешние модели могут быть активизированы. Модели можно использовать, чтобы вычислить последствия уменьшенного течения, стоки потерянной воды, изменения земле использования, или чтобы оценить параметры проекта такие как требование водного орошения, или изменения к таблице грунтовых вод.
Моделирование в ГИС носит наиболее сложный характер по отношению к другим автоматизированным системам. Но, с другой стороны. процессы моделирования в ГИС на каждом системном уровне и в какой-либо из рассмотренных систем весьма близки. В целом основы моделирования и построения моделей в ГИС должны базироваться на известных принципах и подходах, которые применяют в других АС.
Таким образом в ГИС принципиально решаются все задачи, выполняемые прежде в АСУ, но на более высоком уровне интеграции и объединения данных. Следовательно, ГИС можно рассматривать как новый современный вариант автоматизированных систем управления, использующих большее число данных и большее число методов анализа и принятия решений, причем в первую очередь использующих методы пространственного анализа. Экспертные системы должны служить составной частью ГИС как систем принятия решений.
Применение экспертных систем в ГИС позволяет сделать ГИС более эффективным. Имеется опыт работ с использованием ДДЗ для автоматизации процесса генерализации, для мониторинга ладшафтов.
Коммерческий рынок продуктов искусственного интеллекта в мире в 1993 году оценивался примерно в 0,9 млрд. долларов; из них 600 млн. приходится на долю США [2]. Выделяют несколько основных направлений этого рынка:
1) экспертные системы; теперь их часто обозначают еще одним термином - "системы, основанные на знаниях";
2) нейронные сети и "размытые" (fuzzy) логики;
3) естественно-языковые системы.
Коммерческие успехи к экспертным системам и нейронным сетям пришли не сразу. На протяжении ряда лет (с 1960-х годов) успехи касались в основном исследовательских разработок, демонстрировавших пригодность систем искусственного интеллекта для практического использования. Начиная примерно с 1985 (а в массовом масштабе, вероятно, с 1988-1990 годов), в первую очередь, экспертные системы, а в последние два года и нейронные сети стали активно использоваться в реальных приложениях.
Экспертные системы реального времени - основное направление искусственного интеллекта
Среди специализированных систем, основанных на знаниях, наиболее значимы экспертные системы реального времени, или динамические экспертные системы. На их долю приходится 70 процентов этого рынка.
Значимость инструментальных средств реального времени определяется не столько их бурным коммерческим успехом (хотя и это достойно тщательного анализа), но, в первую очередь, тем, что только с помощью подобных средств создаются стратегически значимые приложения в таких областях, как управление непрерывными производственными процессами в химии, аэрокосмические исследования, транспортировка и переработка нефти и газа, управление атомными и тепловыми электростанциями и многие другие.
Статические экспертные системы не способны решать подобные задачи, так как они не выполняют требования, предъявляемые к системам, работающим в реальном времени:
1. Представлять изменяющиеся во времени данные, поступающие от внешних источников, обеспечивать хранение и анализ изменяющихся данных.
2. Выполнять временные рассуждения о нескольких различных асинхронных процессах одновременно (т.е. планировать в соответствии с приоритетами обработку поступивших в систему процессов).
3. Обеспечивать механизм рассуждения при ограниченных ресурсах (время, память). Реализация этого механизма предъявляет требования к высокой скорости работы системы, способности одновременно решать несколько задач (т.е. операционные системы UNIX, VMS, Windows NT,).
4. Обеспечивать "предсказуемость" поведения системы, т.е. гарантию того, что каждая задача будет запущена и завершена в строгом соответствии с временными ограничениями. Например, данное требование не допускает использования в экспертной системе реального времени механизма "сборки мусора", свойственного языку Lisp.
5. Моделировать "окружающий мир", рассматриваемый в данном приложении, обеспечивать создание различных его состояний.
6. Протоколировать свои действия и действия персонала, обеспечивать восстановление после сбоя.
7. Обеспечивать наполнение базы знаний для приложений реальной степени сложности с минимальными затратами времени и труда (необходимо использование объектно-ориентированной технологии, общих правил, модульности и т.п.).
8. Обеспечивать настройку системы на решаемые задачи (проблемная/предметная ориентированность).
9. Обеспечивать создание и поддержку пользовательских интерфейсов для различных категорий пользователей.
10. Обеспечивать уровень защиты информации (по категориям пользователей) и предотвращать несанкционированный доступ.
Подчеркнем, что кроме этих десяти требований средства создания экспертных систем реального времени должны удовлетворять и перечисленным выше общим требованиям.