Компьютерное зрение и его задачи

Раздел 2. Формирование и представление изображений
Значительный объем информации об окружающем мире люди получают посредством зрительного восприятия. Свет, отраженный от объектов, а иногда и прошедший сквозь них, формирует изображение на сетчатке каждого глаза. Из этой пары изображений человек извлекает много сведений о структуре окружающей среды. Следовательно, важными компонентами зрительного восприятия являются: сцена с объектами, освещение объектов и восприятие освещения, отраженного от объектов или прошедшего сквозь них.
Основная цель данного раздела заключается в рассмотрении способов формирования цифровых изображений двумерных или трехмерных сцен с помощью датчиков. С помощью существующих устройств формирования изображений можно воспринимать излучение различных видов, отражаемое или проникающее внутрь объектов физического мира. Двумерное цифровое изображение представляет собой массив значений интенсивности света, отраженного или прошедшего сквозь объекты: это изображение обрабатывается машиной или компьютерной программой с целью формирования решений относительно сцены. Часто двумерное изображение является проекцией трехмерной сцены, это наиболее распространенное представление, используемое в машинном зрении.
Для генерации цифровых изображений существует много различных устройств. Они различаются как принципом восприятия электромагнитного излучения, так и своим электромеханическим устройством. Мы рассмотрим несколько различных датчиков.
2.1 Камеры на основе ПЗС
ПЗС камера - это камера разработанная с использованием технологии приборов с зарядовой связью.
(рисунок 1. получение изображения вазы с помощью ПЗС-камеры)
Это наиболее гибкий и часто используемый тип устройств ввода изображений для систем машинного зрения. ПЗС-камера очень похожа на фотокамеру с фотопленкой 35 мм. Различие в том, что в плоскости изображения у ПЗС-камеры вместо фотопленки со сверхчувствительным химическим покрытием располагается матрица из маленьких твердотельных ячеек, преобразующих световую энергию в электрический заряд. Каждая ячейка преобразует получаемую световую энергию в электрический заряд. Сначала все ячейки очищаются, а затем под действием падающего света они начинают накапливать заряд. Для управления временем накопления может использоваться затвор. Плоскость изображения действует как цифровая память, которую можно построчно считывать в управляемом компьютером процессе ввода изображения.
Если цифровое изображение состоит из 500 строк и 500 столбцов однобайтных значений яркости, то для хранения такого изображения потребуется массив размером четверть миллиона байт. Иногда ПЗС-камера подключается к компьютерной плате, называемой фреймграббером, которая содержит память для изображения и, возможно, предоставляет средства для управления камерой. В настоящее время разработаны способы непосредственного обмена цифровыми данными между ПЗС-камерами и компьютерами, например стандарт IEEE-1394. Производители современных камер предлагают цифровые камеры, которые могут хранить несколько десятков изображений непосредственно внутри камеры; во многих из них для хранения изображений используются карты памяти. Записанные в памяти камеры изображения можно в любой момент ввести в компьютер для дальнейшей обработки.
(рисунок 2. компьютерная схема с вводом данных и графическим выводом)
На рисунке 2 приведена схема компьютерной системы с вводом данных от камеры и графическим выводом. Это типичная система для промышленных или медицинских зрительных задач. Она также типична для мультимедиа-компьютеров, которые могут быть укомплектованы недорогой камерой для проведения телеконференций. Центральное место в этой схеме отводится буферу кадра - высокоскоростному хранилищу изображения: камера генерирует входное изображение, которое после аналого-цифрового преобразования сохраняется в цифровой форме в буфере кадра. Изображение в буфере кадра доступно для отображения пользователю и для обработки различными компьютерными алгоритмами. В действительности буфер кадра может хранить несколько исходных или преобразованных изображений.
В качестве геометрической модели формирования изображения можно рассматривать проектирование каждой точки трехмерной сцены через центр проектирования или центр объектива на плоскость изображения. Яркость точки изображения связана с интенсивностью излучения от точки трехмерной поверхности. Данная модель может быть реализована физически - камеру-обскуру(камеру с дырочным объективом) действительно можно сделать, используя камеру с корпусом в виде коробки и маленьким отверстием вместо объектива. В ПЗС-камерах обычно применяются линзовые объективы, так же как и в традиционных 35-мм фотоаппаратах. Большинство настоящих объективов являются составными и содержат больше двух преломляющих поверхностей. Тут нужно сделать 2 важных замечания.
Во-первых, объектив работает как собиратель света: точки изображения достигает свет, распространяющийся внутри некоторого конуса световых лучей, исходящих из трехмерной точки. Из-за того, что линзы объектива геометрически неидеальны, из-за зависимости преломления светового излучения от длины волны и некоторых других явлений, конус лучей в действительности формирует на плоскости размытое пятно, называемое кружком рассеяния.
Во-вторых, массив элементов ПЗС-датчика построен из физически дискретных ячеек, а не из бесконечно малых точек. Поэтому каждая ячейка датчика накапливает отклик от лучей, приходящих от некоторой окрестности точки трехмерной поверхности. Эти два факта приводят к размытию изображения и определяют предел резкости и размеров наименьших видимых деталей на изображении.
Массивы ячеек ПЗС-датчиков производятся в виде микросхем и обычно имеют размеры около 1х1 см. В массиве из 640х480 или 512х512 пикселей стороны пикселя равны примерно 0,001 дюйма. Существует ряд других способов размещения ячеек ПЗС-датчика на плоскости изображения
(рисунок 3. способы размещения ячеек ПЗС-датчика. (а)-круговая, (b)-линейная, (с)-ROSA)
Линейный массив может быть использован в задачах, когда требуется измерить только ширину объектов или когда надо получить изображение и проконтролировать длинный фрагмент материала, перемещающегося перед камерой. Существуют линейные датчики, содержащие в строке от 1000 до 5000 пикселей. Такие датчики можно использовать подобно ручному сканеру, когда линейный датчик перемещается над сканируемой поверхностью. Аналогичный метод применяется в планшетных сканерах, но в них для формирования изображения листа бумаги используется оптическая система, перемещаемая с помощью высокоточного механического устройства. Они используются для получения цифровых изображений из цветных фотографий или печатных документов. Для фокусирования "линейного отрезка" реальной сцены на линейный ПЗС-датчик обычно применяются цилиндрические линзы.
Круговой массив может быть полезен для контроля круговых шкал, например, на часах или спидометрах: объект надо точно разместить относительно камеры и затем сканировать круговой массив для получения изображения стрелки спидометра. На рисунке 3 показана конфигурация ROSA. Она обеспечивает аппаратное решение для накопления всей световой энергии, падающей или в спектры, или в круговые полосы. Эта конфигурация была разработана для дискретизации спектра мощности изображения, но может использоваться и в других задачах. Технология производства микросхем предоставляет возможности реализации и в других конфигураций датчиков.
2.1.1 Видеокамеры
Видеокамеры предназначены для получения изображения для человеческого восприятия путем записи последовательностей изображений с типичной частотой 30 раз в секунду, что позволяет представить изображение движение объекта в течении времени, а не только пространственные характеристики объекта, которые можно представить одиночными изображениями или кадрами. Для обеспечения непрерывности восприятия движения человеком используется 60 полукадров в секунду. Последовательность полукадров представляет собой последовательность поочередно следующих порций, состоящих из всех четных и всех нечетных строк изображения. При видеосъемке обычно так же записывается звуковой сигнал. Видеокамеры, предназначенные для получения изображений для машинной обработки, могут записывать изображения с необходимой в прикладных задачах скоростью и не нуждаются в использовании технологии полукадров.
Кадры видеопоследовательности разделяются маркерами. Для уменьшения объема данных обычно используется некоторый способ сжатия изображений. Аналоговые телевизионные стандарты были тщательно спроектированы для удовлетворения множества требований: ряд интересных особенностей стандартов позволяют использовать один и тот же сигнал и для цветных, и для черно-белых телевизоров, передавать совместно с изображениями звуковой и текстовый сигнал.
2.2 Проблемы формирования цифровых изображений
В процессе восприятия изображений с помощью датчиков возникает ряд проблем. Далее мы рассмотрим наиболее важные из них. Суммарный эффект различных проблем, связанных с формированием изображений, приводит к появлению на изображении некоторых искажений геометрических и яркостных характеристик.
2.2.1 Геометрические искажения
Геометрические искажения в процессе формирования изображения возникают по различным причинам. Из-за дефектов при изготовлении объектива лучи света, собираемые от поверхностного элемента сцены не преломляются точно нужным образом. Бочкообразная дисторсия наблюдается при использовании короткофокусных объективов; при это м прямые линии в периферийных областях сцены выглядят согнутыми в сторону от центра изображения.
2.2.2 Дисперсия
При прохождении через вещество световые лучи могут преломляться и рассеиваться. Изображения, полученные путем аэрофотосъемки или со спутников, особенно подвержены таким дефектам, которые появляются из-за водяных паров или температурных градиентов, придающих атмосфере свойства линзы.
2.2.3 Блюминг (избыточная яркость)
Поскольку дискретные детекторы, такие, как ячейки ПЗС, не идеально изолированы друг от друга, то заряд, накопленный в одной ячейке, может стекать в соседние ячейки. Термин блюминг относится к явлению, когда утечка заряда возникает в области яркой засветки плоскости изображения. В результате на изображении возникает яркий "цветок" с размерами больше, чем должен быть в действительности.
2.2.4 Неоднородность ПЗС-матрицы
Из-за дефектов производства у элементов ПЗС-матрицы может оказаться различная чувствительность, так что при одинаковой освещенности различные ячейки будут генерировать различный выходной сигнал. Тогда для точной оценки интенсивности может потребоваться определить полный массив масштабных множителей s[r, c] и смещений t[r, c], по одному для каждого пикселя. Это делается путем калибровки при однородном освещении, когда интенсивность можно вычислить как I2[r, c]=s[r, c]I1[r, c] + t[r, c]. В предельном случае, на ПЗС-матрице могут быть несколько мертвых ячеек, которые совсем не генерируют выходной сигнал. Эти дефекты обнаруживаются в процессе инспекционного контроля. Их можно компенсировать программными средствами, присваивая мертвой ячейке выходной сигнал, равный усредненному отклику соседних ячеек.
2.2.5 Отсечение и циклический возврат
При аналого-цифровом преобразовании очень большие значения интенсивности могут быть усечены до максимального значения или старшие биты этого значения могут быть утеряны, так что значение интенсивности будет представлено значением некоторого меньшего значения(произойдет циклический возврат к началу диапазона значений интенсивности). На полутоновом изображении результат циклического возврата АЦП выглядит как яркая область с темным центром; на цветном изображении этот эффект может проявляться в изменении цвета.
2.2.6 Хроматическая дисторсия
Световые волны различной длины преломляются линзой по-разному. В результате, световые волны различной длины от одного и того же малого участка сцены могут попасть в несколько различных пикселей изображения на чувствительной поверхности датчика. Например, на изображении очень резкой черно-белой границы на периферии сцены может наблюдаться постепенно изменение интенсивности в пределах нескольких пикселей изображения.
2.2.7 Эффекты дискретизации
В процессе дискретизации значение интенсивности формируется для некоторой дискретной области сцены. Оно представляется одним из дискретных значений интенсивности и поэтому подвержено ошибкам смешивания и округления.
2.3 Представление цифровых изображений
Цифровое изображение - это двумерное изображение I[r, c], представленное в виде двумерного массива дискретных значений интенсивности, каждое из которых представлено с ограниченной точностью. Такие изображения широко используются в телекоммуникационных приложениях, базах данных и машинном зрении. Для обмена данными между различным аппаратным и программным обеспечением были разработаны стандартные форматы изображений. Одна из возможных ситуаций показана на рисунке 4
(рисунок 4. обмен данными между аппаратным и программным обеспечением)
В настоящее время используются десятки различных форматов, некоторые из них я рассмотрю позже.
Исходное изображение можно рассматривать как обычный поток байт, представляющих пиксели изображения по очереди, строка за строкой. Такой порядок называется растровым порядком. В потоке байт могут присутствовать маркеры для разделения строк изображения. В пиксельных данных исходного изображения такие параметры, как тип изображения, размеры, время и способ получения. Относительно недавно разработанные стандарты предусматривают наличие заголовка для хранения неграфической информации, необходимой для маркировки или для декодирования пиксельных данных.
2.3.1 Заголовок файла изображения
Заголовок файла делает файл изображения самодостаточным для дальнейшей обработки различными программами - в нем содержаться все характеристики, необходимые для работы с изображением. В заголовке могут храниться размеры и тип изображения, дата создания, название и т.п. В заголовке также может присутствовать палитра или таблица кодировки для интерпретации значений пикселей. Полезной, но не часто доступной возможностью является раздел истории обработки для хранения комментариев о создании и обработке изображения.
2.3.2 Данные изображения
Некоторые форматы рассчитаны на ограниченный набор типов изображений, например, на бинарные и черно-белые. Однако наиболее распространенные форматы продолжают развиваться. Количество поддерживаемых ими свойств и типов изображений постоянно увеличивается. Различные форматы могут отличаться допустимыми предельными размерами изображений. Некоторые форматы рассчитаны на работу с последовательностями кадров. Появившиеся сравнительно недавно мультимедия-форматы рассчитаны на хранение данных изображение совместно с текстовой, звуковой и графической информацией.
2.3.3 Форматы цифровых изображений
В данный момент существует множество различных форматов, рассмотрим наиболее распространенные и часто используемые большинством пользователей.
2.3.4 Изображения GIF
Формат GIF был разработан компанией CompuServe, Inc. Этот формат применяется для хранения огромного количества изображений в сети и в существующих базах данных. Он устроен относительно просто, но для кодирования цвета в нем используются только 8-битные числа, поэтому формат не рассчитан на изображения с большим количеством цветов.
2.3.5 Изображения TIFF
Теговый формат файлов изображений был разработан компанией Aldus Corp. TIFF является очень гибким, но в тоже время сложным форматом. Он используется на всех популярных компьютерных платформах и часто выбирается в качестве основного формата для сканеров. TIFF допускает хранение в одном файле нескольких изображений м цветовым разрешением от 1 до 24 бит на пиксель.
2.3.6 Изображения JPEG
Формат JPEG был предложен относительно недавно Объединенной группой экспертов по обработке фотоизображений. Основной целью этого формата ставилось нахождение практичного способа сжатия высококачественных полноцветных неподвижных изображений. Часто алгоритм сжатия позволяет сжать высококачественное изображение в отношении 20:1 без заметной потери качества. В основном используется для хранения фотографий.
2.3.7 Видеоизображения AVI
Audio Video Interleave -- RIFF-медиаконтейнер, впервые использованный Microsoft в 1992 году в пакете Video for Windows. Формат файлов с расширением AVI может содержать видео и аудио данные, сжатые с использованием разных комбинаций кодеков, что позволяет синхронно воспроизводить видео со звуком. AVI файл может содержать различные виды компрессированных данных (например, DivX -- видео + WMA -- аудио или Indeo -- видео + PCM -- аудио), в зависимости от того, какой кодек используется для кодирования/декодирования.
2.3.8 Видеоизображения MKV
Matroska -- проект, нацеленный на создание открытого, гибкого, кроссплатформенного (включая аппаратные платформы) формата мультимедийного контейнера и набора инструментов и библиотек для работы с данными в этом формате. Возможности формата, закладываемые в Matroska:
трансляция через Интернет (протоколы HTTP и RTP);
быстрая перемотка по файлу;
устойчивость к ошибкам;
разбиение файла на главы (Chapters);
переключаемые «на лету» субтитры;
переключаемые звуковые дорожки;
переключаемые видеодорожки;
модульная расширяемость.