Рабочая программа науки утверждена постановлением Совета Ферганского филиала Ташкентского университета информационных технологий имени Мухаммада ал-Хоразмий от 30 августа 2022 года №1

Принципиальным достоинством фазовой корреляции является то, что в нем осуществляется фактическое измерение величины параллакса, а не его оценка, полученная в результате поиска или экстраполяции. Поэтому изъятие из процесса пространственного анализа амплитудной информации дает возможность сохранить работоспособность метода при локальных яркостных различиях, образованных как спецификой съемки, так и шумами. Однако, следует учитывать, что объем вычислений преобразования Фурье, резко возрастает с увеличением размеров преобразуемого участка изображения. И в общем случае (без использования быстрых алгоритмов) для одностороннего преобразования необходимо выполнить – N⁴ операций с комплексными числами, где NхN элементов – размер обрабатываемой области. Кроме того, вследствие принципа неопределенности метода фазовой корреляции, не позволяющего однозначно определить, какому из объектов соответствует найденный вектор параллакса, оперирование всей областью изображения является нецелесообразным. В связи с этим метод фазовой корреляции обычно применяют для фрагментов изображений, размер которых варьируется от 32х32 до 128х128 пикселей. Причем, для стереоскопических изображений, из-за наличия только горизонтального параллакса, использование квадратных участков может привести к ложному присваиванию векторов параллакса. Поэтому для исключения этого форма участка преобразования или зоны анализа должна быть должна быть прямоугольной. Кроме того, большое значение имеет и размер области присваивания найденных векторов параллакса. Причем, величина зоны анализа зависит от размера области присваивания. Поэтому после нахождения вектора параллакса необходимо его присвоить определенной области изображения. Это означает, что все элементы этой области имеют одно и то же значение параллакса. В действительности каждый элемент изображения имеет свою диспаратность, которая, в зависимости от принадлежности к одному или разным объектам сцены, может совпадать или не совпадать с соседними элементами. Соответственно, объединение элементов в группу и присваивание ей только одного вектора вносит некоторую погрешность в представление пространственного расположения объектов сцены. Однако, при сжатии стереоскопических изображений не требуется точное нахождение величины параллакса, как, например, в фотограмметрии. Причем, присваивание области только одного вектора уменьшает количество передаваемых данных.
Рассматривая создание системы стереоскопического телевидения на основе вещательного стандарта H.264/AVC, относящегося к стандартам с блочной обработкой, форму области присваивания целесообразно выбрать в виде квадратного блока. Причем, при выборе размера этого блока следует учитывать следующие обстоятельства:

1. 
   Размер блока должен такой, чтобы наилучшим образом компенсировать параллакс при передаче стереоскопических изображений. То есть величина среднеквадратической ошибки между фактическим кадром и его предсказанием должна быть минимальна. При этом можно предположить, что с уменьшением размера блока предсказание улучшается, т.к. вероятность того, что левое и правое изображения имеют аналогичные большие блоки, мала.
   
2. 
   С другой стороны, уменьшение размера блока вызывает увеличение количества векторов, что также увеличивает объем передаваемой информации и соответственно скорости цифрового потока. Поскольку в фазовой корреляции используется преобразование Фурье, то увеличение размера блока требует увеличения размера зоны анализа, что в результате приводит к повышению количества выполняемых вычислений и соответственно, к снижению быстродействия. Поэтому с этой стороны выбирать относительно большой блок нецелесообразно. Другой аспект проблемы связан с возможным ухудшением качества восстановленного кадра стереопары на приемной стороне при увеличении размера блока. Дело в том, что, чем больше размер блока присваивания, тем больше объем ошибок предсказания. А поскольку в кодере имеется возможность регулирования скорости потока, то в силу различных причин скорость дополнительного потока, которая несет данные о глубинном расположении объектов сцены, может быть установлена ниже рекомендованной. Поэтому действие механизма адаптивного квантования приводит к возникновению искажений именно со стороны ошибки предсказания. В связи с этим, применение блока небольшого размера приводит к лучшим качественным показателям восстановленного кадра стереопары.
   
3. 
   Третьим фактором является совместимость со структурными элементами вещательного стандарта, т. е. использование стандартных элементов для оценки параллакса позволяет исключить усложнение алгоритма обработки изображений в целом.
   

Исходя из вышесказанного, в качестве области присваивания векторов параллакса обычно выбирают блок стандартного размера 8х8 пикселей. Однако, при этом не исключается и адаптация размера блока к различным участкам изображений стереопары.
После определения размера области присваивания, необходимо найти и размеры зоны анализа, принимая ее форму прямоугольной. При этом, если отсутствует вертикальный параллакс, ухудшающий восприятие стереоскопических изображений, то соответственно и нет необходимости проведения анализа в вертикальном направлении. Поэтому вертикальный размер зоны соответствует размеру блока присваивания, т.е. 8 элементам. Горизонтальный же размер должен быть выбран такой, который бы позволил обнаружить максимально возможное параллактическое смещение деталей объектов. Это возможно, если размер зоны в рассматриваемом направлении будет не меньше величины допустимого линейного параллакса P_max, а именно (P_max+размер блока). Соответственно, добавление размера блока позволяет повысить достоверность обнаружения смещения. Поэтому для попадания детали в зону анализа горизонтальный размер ее обычно расширяют на один блок.
Кроме того, разделение изображений стереопары на зоны может привести к тому, что исследуемые на параллактическое смещение объекты, имеющие идентичные координаты как в левом, так и в правом изображениях, могут не попасть в соответствующие зоны анализа. Поэтому для устранения этого недостатка зоны делают с перекрытием.
На рис. 12.5 представлена структурная схема блока оценки параллакса на основе фазовой корреляции.
Левое и правое изображения одновременно поступают на формирователь прямоугольных зон анализа, которые затем подвергаются прямому преобразованию Фурье. Обычно в спектральном анализе для улучшения качества обработки используют оконные (взвешивающие) функции. Поэтому в формирователе происходит также умножение выделенных зон анализа на взвешивающую функцию, в качестве которой может быть использована, например, функция Кайзера.

Рис.12.5. Схема блока определения величины параллакса на основе фазовой корреляции.
Полученные на выходе формирователя взвешенные прямоугольные участки изображений преобразуются с помощью быстрого преобразования Фурье (БПФ) в частотную область и после нормирования, позволяющего выделить фазовую информацию, осуществляется обратное БПФ (ОБПФ). Эти три операции (БПФ, нормирование и ОБПФ) выполняются согласно приведенным выше выражениям, результатом которых служит корреляционная поверхность, имеющая один или несколько пиков, чье положение указывает на направление и величину смещения объектов в анализируемой зоне. Когда в зону попадает только малая часть объекта, корреляционная поверхность содержит пик малой интенсивности, который может быть проигнорирован.
Поскольку зоны анализа сделаны перекрывающимися, то смещенный объект появляется более чем в одной зоне, что приводит к повышению амплитуды пика в других окнах. Однако из-за специфики спектрального преобразования неизвестно, каким объектам в зоне принадлежат найденные пики. Для установления этого служат блоки смещения и отбора участков изображений.
Работа блока смещения заключается в том, что зона анализа одного из изображений разбивается на участки, размером 8х8 пикселей. Затем каждый такой участок последовательно смещается на ту величину, которая была определена на предыдущем этапе, и сравнивается с фрагментами другого изображения. Поскольку в зону анализа могут попасть несколько объектов, имеющих разную величину параллакса, то это вызовет появление нескольких пиков с разной величиной смещения. Поэтому обработка производится для всех пиков, превышающих некоторое установленное пороговое значение. В качестве критерия сравнения обычно используются суммы абсолютной разности (SAD), так как обладают минимальным количеством арифметических операций.
Затем на основании рассчитанных значений SAD происходит отбор подходящих участков изображений и присваивание им соответствующих векторов параллакса. При этом необходимо учитывать, что операция нахождения и присваивания векторов фрагментам изображений представляет собой некоторую форму перебора, позволяющую обнаруживать похожие значения яркости в анализируемых зонах. Однако этот процесс выполняется после оценивания параллаксов, когда они уже известны. А перебор используется для оценивания величины параллакса. Следовательно, количество корреляций, которые нужно вычислить для полного перебора, весьма велико по сравнению с дополнительным анализом, осуществляемым в методе фазовой корреляции.
Рассмотренный подход к оценке параллакса на основе фазовой корреляции позволяет по отношению к методу полного перебора сократить время выполнения анализа и, как следствие, снизить требования к быстродействию кодирующих устройств. Вместе с этим, использование фазовой корреляции обеспечивает нечувствительность к яркостным изменениям, которые характерны для стереоскопических изображений, и уменьшает количество ошибок на изображениях периодических структурах.