Практическая работа №22 Обрезка дополнительных цветов и цветовых диапазонов

Что такое остаток?

Остаток можно рассматривать как шаг постобработки для «улучшения» декодируемого кодеком изображения. Обладающая большим количеством «информации» о мире нейронная сеть может принимать когнитивные решения о том, что исправлять. Эта идея основана на остаточном обучении, прочитать подробности о котором вы можете здесь.
Функции потерь

Две функции потерь используются потому, что у нас две нейронные сети. Первая из них, ComCNN, помечена как L1 и определяется так:


Практическая работа №25
Анализ алгоритмов выделения признаков, характеризующих изображение
Цель работы: закрепить знания о методах сегментации изображений и выделения вторичных признаков для последующего распознавания изображений объектов, приобрести навыки технической реализации алгоритмов сегментации статистически однородных по яркости (цвету) и выделения признаков формы изображений.
Теоретические сведения
Первичные и вторичные признаки распознавания
Практически любой метод распознавания зрительных образов основан на сопоставлении некоторого описания наблюдаемого изображения с наборами описаний эталонных изображений. Естественно, что чем больше размерность описаний и чем сильней изменчивость этого описания под действием мешающих факторов (например, шума, изменения точки наблюдения), тем выше трудоемкость распознавания. Способ описания изображения первичными признаками (т.е. двумерным полем отсчетов яркости) имеет максимальную размерность и неинвариантен к повороту и масштабу изображения, поэтому и алгоритмы понимания изображений, сопоставляющие эти описания, наименее эффективны в вычислительном плане [20]. Более перспективным считается подход к пониманию изображений путем анализа их вторичного описания. Он базируется на предположении о высокой информационной избыточности представления изображений первичными признаками.
Выбор признаков распознавания
В связи с многообразием классов зрительных образов и целей распознавания число способов вторичного описания изображений практически неограниченно. В связи с этим на пути создания надежных и быстродействующих алгоритмов возникает проблема выбора вторичного описания изображений наименьшей размерности с возможно большей информативностью в условиях действия мешающих факторов [20]. Общей теории формализованного определения таких описаний на сегодняшний день не существует, поэтому разработчик обычно базируется на опыте и интуиции.
Генеральным критерием при выборе вторичных признаков является существование этих признаков у всех классов различаемых объектов.
При обработке изображений наиболее универсальными характерными признаками являются [20]: признаки формы, яркость (или цвет), текстура, периметр, габаритные размеры объектов, их площадь и др. Менее различимые для восприятия человеком - это спектральные, гистограммные, корреляционные и другие характеристики.
Все признаки, связанные с геометрическими размерами, а также яркостные признаки чаще всего являются одномерными, и построение по ним алгоритмов классификации объектов не вызывает затруднений. Однако, в реальных условиях наблюдений масштаб и освещенность изображения бывают неизвестными. В подобных случаях информативность данной группы признаков падает и распознавание следует строить на анализе иных характеристик объектов.
Контурное описание признаков формы
Опыт в области распознавания зрительных образов дает основания считать, что в большинстве практических ситуаций максимальной информативностью отличаются признаки формы [13]. Если яркость объекта достаточно однородна в пределах занимаемой им площади, то практически вся информация о его форме сосредоточена на его границах (контурах). Таким образом, признаками формы являются координаты контурных точек объектов.
Так как границы изображений объектов в основном соответствуют перепадам яркости от фона к объекту, то для их выделения используют рассмотренные выше методы пороговой обработки и методы высокочастотной линейной и нелинейной пространственной фильтрации. Однако применение указанных процедур для всего кадра изображения дает общий перечень граничных точек без привязки к конкретным объектам, присутствующим в кадре изображений. Аналогичная ситуация возникает и при выборе других базовых признаков.
Для того чтобы можно было воспользоваться выделенными признаками для распознавания объектов, необходимо составить из них символическое описание объектов, т.е. связать каждый выделенный признак с соответствующим объектом, определенным образом упорядочить признаки и представить их в виде, удобном для последующей интерпретации.
Сегментация изображений
Для связывания признаков с соответствующими объектами, а часто и для выделения признаков (например, средней яркости объектов, их площади, периметра и т.п.) необходимо разделить и локализовать изображения объектов в кадре, т.е. осуществить сегментацию. Наиболее распространенным определением сегментации является разбиение исходного изображения на неизвестное заранее количество областей, каждая из которых удовлетворяет некоторому критерию схожести [5,6,23]. Первым шагом сегментации служит вычисление пространственного распределения меры схожести различных участков изображения с помощью различного рода пространственных фильтров, результат которого можно интерпретировать как изображение. Вторым шагом является пороговая обработка этого преобразованного изображения, где принимается решение в пользу схожести или несхожести участков.
В роли меры качества процедуры сегментации часто используют оценку вероятностей ошибочного отнесения элементов изображения к объекту или фону [23]. Качество сегментации во многом зависит от выбора значения порога принятия решений. Правила выбора порога сегментации достаточно разнообразны, но часто их использование эффективно только в узком диапазоне условий наблюдения.
По пространственной зависимости порога процедуры сегментации подразделяют на глобальные (когда назначается один порог для всего изображения) и локальные (с переменным порогом). В последнем случае изображение тем или иным способом разбивается на непересекающиеся фрагменты, в пределах которых назначается собственное значение порога. Правила же выбора порогового значения для фрагмента аналогичны правилам выбора глобальных порогов.
В основе организации большинства известных алгоритмов сегментации лежат операции построения гистограмм  уровней яркости  (или ее производных  ) изображения, полученного после предварительной обработки, и анализ этих гистограмм. В зависимости от порядка производной яркости изображения различают градиентные и неградиентные методы. Дальнейшую классификацию пороговых процедур можно провести по признаку типа операции для приближенного вычисления градиента и методу коррекции гистограмм [23].
Пороговые процедуры при сегментации изображений
Исторически первым гистограммным методом определения порога сегментации  является метод мод [6]. Он заключается в поиске «впадины»  гистограммы яркости всего изображения, расположенной между двух мод:  и  , (рис. 4.9). Моды отражают распределение яркостей соответственно фона и объекта (или группы однородных по яркости объектов).

гистограмма яркости сечение строки кадра по яркости
Рис. 4.9. Гистограмма яркости изображения крупноразмерного объекта на однородном фоне
В реальных изображениях из-за сильного отличия площади объекта и фона, наличия нескольких объектов с разными средними яркостями, вклада областей границ объектов с переходной яркостью модальная структура общей гистограммы выражена слабо. Для усиления модальности применяют локальные пороговые процедуры, позволяющие обеспечить близкое к одинаковому представительство элементов фона и объекта в гистограмме яркости, а также коррекцию гистограмм - углубление «впадины» путем исключения граничных точек объектов. Идентификацию этих точек проводят рассмотренными выше дифференциальными операторами.
Если границы объектов после подавления шума при предварительной обработке оказываются размытыми, то иногда строят гистограммы  яркости только идентифицированных граничных точек (рис.4.10). Подобная гистограмма оказывается одномодальной и располагается как раз в области «впадины» гистограммы  яркости целого изображения. За значение порога принимают среднее значение гистограммы:

либо медиану:

где  - максимально возможное значение яркости изображения.

Рис. 4.10. Гистограмма яркости точек с превышающим порог градиентом
В случае слабо зашумленных изображений применяют безгистограммные градиентные методы. Они строятся на расчете среднего градиента g_; для каждого уровня яркости  изображения  .
,
где  - множество точек, имеющих яркость  ,  - количество этих точек. Поскольку границам объектов соответствует максимальный градиент, то в качестве порога принимают то значение яркости  , для которого  , - максимально:
.
Прослеживание контуров изображений
На следующем после сегментации шаге осуществляют связывание точек, превысивших порог. Для связывания отдельных элементов используется множество процедур. Их подробному рассмотрению посвящены работы [20,21,26,28,29]. Отметим лишь основные принципы связывания точек: по критерию примыкания, критерию ближайшего соседства, непревышения заданного расстояния, принадлежности к множеству внутренних точек области, ограниченной замкнутой кривой, принадлежности к множеству контурных точек.
Наибольшей из известных вычислительной эффективностью обладает алгоритм Розенфельда для прослеживания контурных точек объектов [28,13]. Он выполняет одновременно и их выделение, и связывание, и упорядочивание. В отличие от многих алгоритмов связывания контурных точек он является однозначным и не приводит к зацикливанию при любых конфигурациях контура. Согласно данному алгоритму на каждом  -м шаге прослеживания формируется строб (окно)  , размером 3x3 элемента с центром в текущей точке  контура с координатами  (рис.4.11).

Рис. 4.11. Прослеживание контуров изображений с помощью алгоритма Розенфельда (состояние алгоритма на  -м шаге)
Благодаря непрерывности линии контура, предыдущая, текущая и последующая точки контура всегда находятся в пределах этого строба:  . Поиск последующей точки  состоит в осмотре по часовой стрелке ячеек окна  , начиная от предыдущей точки  , и в качестве нее принимается первая ненулевая ячейка строба (рис.4.11).
Начальной точкой  контура обычно считают принадлежащую изображению объекта точку с минимальными линейными координатами:
,
где  - количество точек в контуре (размерность контура).
Описание контуров изображений
Для символического описания связанных и упорядоченных координат контурных точек используют специальные методы кодирования [13,20]. Для достижения инвариантности к сдвигу исходного изображения используют не перечень абсолютных координат контурных точек, а их приращения - разностный код. В работе [13] показано, что наилучшими свойствами, с точки зрения удобства последующей обработки обладает комплекснозначный способ кодирования. По этому способу контур  представляет собой множество элементарных векторов (ЭВ)  на комплексной плоскости изображения, где ось абсцисс считается действительной, а ось ординат - мнимой:
,
,
где  .
После формирования кода контура все другие вторичные пространственно ориентированные признаки могут быть соотнесены с объектом.
Задание. Порядок выполнения

1. 
   Сформировать в среде MathCAD тестовое черно-белое изображение, содержащее однородные по яркости объекты с резкими границами, контрастные по отношению к фону.
   
2. 
   Выполнить аддитивное зашумление каждого элемента изображения нормальным случайным процессом с нулевым математическим ожиданием и заданной дисперсией.
   
3. 
   Методами линейной низкочастотной или медианной фильтрации выполнить подавление флуктуационных шумов изображения
   
4. 
   Выполнить одним из рассмотренных методов анализ гистограммы яркости изображения и определить порог сегментации.
   
5. 
   Методом пороговой обработки выполнить сегментацию однородных по яркости объектов.
   
6. 
   С помощью алгоритма Розенфельда сформировать контуры обнаруженных объектов.
   
7. 
   Выполнить селекцию ложных контуров по длине контура объекта.