Определение регистрации изображения (концепция)

(1) Регистрация изображений — это технология, которая совмещает разные изображения, снятые в одной и той же сцене, то есть позволяет найти взаимосвязь между изображениями по принципу «точка-точка» или установить связь с определенными интересующими особенностями.

В качестве примера возьмите два изображения, сделанных из одной и той же сцены. Предположим, что фактическая трехмерная мировая точка P соответствует двум точкам двумерного изображения P1 и p2 на двух изображениях соответственно. Что необходимо сделать при регистрации изображения, так это найти взаимосвязь отображения между P1 и P2 или взаимосвязь между p1, p2 и P. p1 и p2 называются соответствующими точками (Correspondence Points), точками совмещения (Matching Points) или контрольными точками (Control Points).

(2) Регистрация и корреляция изображений являются типичной проблемой и технической трудностью в области исследований по обработке изображений. Их цель состоит в том, чтобы сравнить или объединить изображения, полученные в разных условиях для одного и того же объекта. Например, изображения будут получены с разного оборудования для сбора данных. , снято из разных времен, разных ракурсов съемки и т.д. иногда требуется регистрация изображений для разных объектов.

Регистрация изображений — это метод, который использует определенный алгоритм для оптимального сопоставления одного или нескольких изображений (локально) с целевым изображением на основе определенного критерия оценки.

По разным способам регистрации,Разные критерии оценки и разные типы изображений.,Существуют различные типы методов регистрации изображений.

（3）Регистрация изображение представляет собой суперпозицию нескольких источников из разных источников, в разное время и процесс съемки изображений с ракурсов. Процесс регистрации изображений пытается найти совпадение между двумя изображениями и выровнять их в пространстве, чтобы минимизировать требуемую ошибку, меру однородных соседних показаний между изображениями. Как только это соответствие установлено, его обычно можно изучить, корректируя или обрабатывая связь между двумя или более изображениями. Можно сказать, что Регистрация изображениядаПроцесс расчета пространственных преобразований,Он выравнивает набор изображений по общей системе отсчета просмотра.,Обычно одно из набора изображений.

Регистрация изображения Вообще есть два пути：ImageToImageа такжеImageToMap。前者да将多张图片对齐以整合или融合表示Взаимно同对象изсовпадение пикселей,иназад者да将искажение входного изображениячтобы соответствовать эталонному изображениюособенностьинформация,при обеспечении его пространственного разрешения.

(4) Регистрация изображений – это процесс сопоставления и наложения двух или более изображений, полученных в разное время, от разных датчиков (аппаратуры для обработки изображений) или в разных условиях (погода, освещенность, положение и угол камеры и т. д.), он широко распространен. используется в анализе данных дистанционного зондирования Земли, компьютерном зрении, обработке изображений и других областях.

（5）Регистрация изображения:делатьдляслияние Предварительная обработка изображенийшаг,Регистрация изображения представляет собой пару двух изображений.,путем поискатрансформация пространстваСопоставьте одно изображение с другим изображением,Установите взаимно однозначное соответствие между точками, соответствующими одному и тому же положению на двух картинках.,Для достижения цели информационного слияния.

（6）Регистрация Изображение — это метод поиска трансформации между двумя или более изображениями одной и той же сцены. взаимосвязь пространств и процесс преобразования одного или нескольких изображений. Регистрация Изображение — это наиболее важный и основной этап всех задач анализа изображений, а также необходимое условие для таких приложений, как сшивание изображений, реконструкция изображений и распознавание целей. Для часто используемых На основе функцийиз Метод регистрации изображения, ключ заключается в том, как эффективно извлекать признаки, масштабно-инвариантные признаки (Scale Invariant Feature Transform,SIFT）Алгоритм можетдля我们所提供需要из不变особенность。Функции SIFT инвариантны к вращению, освещению, аффинности и масштабированию.,SIFT В настоящее время этот алгоритм является наиболее эффективным среди алгоритмов обнаружения и сопоставления признаков. масштабно-инвариантный признак SIFT Алгоритмы можно разделить надляОбнаружение функций、Описание функцииисопоставление функцийтри части。

Регистрация изображение ищу в разное часовка, разные ракурсы или разные датчики трансформации между двумя изображениями или изображениями, снятыми об одной и той же сцене отношения пространств, а также процесс сопоставления и наложения одного или нескольких из них. Регистрация Изображение можно просто понять как процесс поиска пространственного отображения, изменения положения точек пикселей одного изображения и поддержания пространственной согласованности с соответствующими точками пикселей другого изображения. Регистрация изображениядадистанционное зондированиеобработка изображения, распознавание целей, объединение изображений, сращивание изображений, реконструкция изображений, зрение роботов и многие другие ключевые технологии в области анализа изображений. Исследования в области изображений являются горячей точкой. Регистрация изображенияотделимыйдляНа основе функцийиВ зависимости от регионаиз配准,в На основе функцийиз Метод регистрации изображения Поскольку он оперирует только функциями и требует меньше вычислений, он используется более широко, чем для. На основе функцийиз Метод регистрации изображенияиз基本шагдля Обнаружение функций、сопоставление функции, функции согласования дизайна, преобразования изображений и повторной выборки, Регистрация Операции с изображением вращаются вокруг характеристик изображения. Итак, как извлечь признаки с хорошей инвариантностью в для На основе функцийиз Регистрация Ключ к изображению.

принцип

Заявки на регистрацию изображений

Регистрация изображениясуществоватькомпьютерное зрение、обработка медицинских изображений、механика материалов、дистанционное зондированиеШироко используется в других областях.。

В области компьютерного зрения методы регистрации могут использоваться для анализа видео, распознавания образов и автоматического отслеживания изменений движения объектов.

Регистрация изображений имеет множество практических применений при обработке и анализе медицинских изображений. С развитием медицинского оборудования для визуализации для одного и того же пациента можно собирать изображения, содержащие точную анатомическую информацию, такую ​​как КТ, ультразвук и МРТ, в то же время можно также собирать изображения, содержащие функциональную информацию, такую ​​​​как ОФЭКТ; Однако постановка диагноза путем наблюдения за различными изображениями требует пространственного воображения и субъективного опыта врача.

Примите правильный метод регистрации изображения则可以将多种多样изинформация准确地融合到同одинизображение中,Это позволяет врачам более удобно и точно наблюдать за поражениями и структурами со всех сторон. в то же время,Путем регистрации динамических изображений, собранных в разное время,Может количественно анализировать изменения в очагах поражения и органах.,Ставит медицинский диагноз, Составьте хирургический план、Планирование лучевой терапии становится более точным и надежным.

В механике материалов регистрация часто используется для изучения механических свойств и называется корреляцией цифровых изображений. Объединяя и сравнивая информацию (форму, температуру и т. д.), собранную разными камерами и разными датчиками, можно рассчитать такие значения, как поле деформации и поле температуры. Обратная оптимизация параметров и т. д. может быть выполнена путем привлечения теоретической модели.

Другие области применения: прогноз погоды, геоинформационные системы, суперразрешение, отслеживание движения, автоматическое управление.

Регистрация изображений широко используется при обнаружении целей, реконструкции моделей, оценке движения, сопоставлении признаков, обнаружении опухолей, локализации повреждений, ангиографии, геологических исследованиях, воздушной разведке и других областях.

Заявки на регистрацию изображений в основном делятся на четыре группы в зависимости от метода получения изображений:

1. разные точки зрения(Многоперспективный анализ)——отразные точки взгляд Получите то же самое изображение сцены. Цель состоит в том, чтобы получить более крупное 2D-изображение или 3D-представление отсканированной сцены. Пример применения: дистанционно зондирование - сшивание изображений обследуемой области. компьютерное восстановление формы глаза (объемная форма).
2. разное время(Многовременной анализ)——отразное время Получайте изображения одной и той же сцены, обычно через равные промежутки времени, возможно, в разных условиях. Его цель — найти и оценить изменения сцены между последовательно полученными изображениями. Пример применения: дистанционно зондирование - глобальный мониторинг землепользования, ландшафтное планирование. компьютерное зрение-Безопасность автоматически меняется,Спортивное отслеживание. Медицинские изображения – наблюдение за лечебным лечением,Наблюдение за прогрессированием опухоли.
3. разные датчики(Мультимодальный анализ)——отразные датчики Получите то же изображение сцены. Его цель — объединить информацию из разных источников для получения более сложных и подробных представлений сцены. Пример применения: дистанционно зондирование-другойособенность传感устройствоинформация融合,Если доступны полноцветные изображения с лучшим пространственным разрешением,Цветные/мультиспектральные изображения с лучшим спектральным разрешением,Или радиолокационные изображения, независимые от облаков и освещения. Результаты могут найти применение в области лучевой терапии и ядерной медицины.
4. Регистрация от сцены к модели.один个场景изизображениеи场景из Модель配准。Модель可以да场景из计算机表示,Например, карта или цифровая модель рельефа (DEM) в ГИС.,Еще одна сцена с похожим содержанием,«Средний» экземпляр и т. д. Его цель — позиционировать полученное изображение внутри сцены/модели.,и/или сравнить их. Пример применения: дистанционно зондирование - регистрация аэрофото- или спутниковых данных на картах или других слоях ГИС. компьютерное зрение — целевой шаблон, соответствующий живому изображению,Автоматический контроль качества. Медицинские изображения — сравнение изображений пациентов и наборов цифровых анатомических изображений.,Классификация образцов.

Традиционные методы регистрации

Традиционные методы регистрациидаодин个итеративная оптимизацияиз过程,Сначала определите меру сходства (например: норма L2,взаимная информация), путем непрерывного выполнения параметрического преобразования или итеративной непараметрической трансформации. оптимизация,使得配准назадиз源изображение与目标изображениесходство Самая большая степень。

С начала XXI века при регистрации изображений в основном используется метод На основе функций.

Есть три таких методашаг：ключточка Обнаружениеkeypoint Детектор и описание функции дескриптор, функция сопоставления функций картографирование, трансформация изображений. Проще говоря, мы выбираем точки интереса на двух изображениях и помещаем их на эталонное изображение. изображение) и воспринимаемое изображение изображение), а затем преобразуйте считываемое изображение, чтобы совместить два изображения.

(1) Обнаружение ключевых точек

Ключевые точки — это точки интереса, которые представляют важное или уникальное содержимое изображения (углы, края и т. д.). Каждая ключевая точка представлена ​​дескриптором, вектором основных функций ключевой точки. Дескриптор должен быть устойчив к преобразованиям изображения (позиционирование, масштабирование, яркость и т. д.). Многие алгоритмы используют обнаружение ключевых точек и описание функций:

SIFT^4 (масштабно-инвариантное преобразование признаков) — это оригинальный алгоритм обнаружения ключевых точек, но он не бесплатен для коммерческого использования. Дескрипторы функций SIFT инвариантны к равномерному масштабированию, ориентации, изменениям яркости и инвариантны к аффинным искажениям.

SURF^5 (Ускоренные надежные функции) — это детектор и дескриптор, созданный на основе SIFT. Его преимущество в том, что он очень быстрый. Он также запатентован.

ORB^6 (ориентированный FAST и вращающийся BRIEF) — это быстрый двоичный дескриптор, основанный на сочетании обнаружения ключевых точек FAST^7 (функции ускоренного теста сегментов) и дескрипторов BRIEF^8 (двоичные устойчивые независимые элементарные функции). Он инвариантен к вращению и устойчив к шуму. Разработанный OpenCV Labs, он является эффективной бесплатной альтернативой SIFT.

AKAZE^9 (Accelerated-KAZE) — это быстрая версия KAZE^10. Это для нелинейного масштабирования пространство^11 обеспечивает быстрое многомасштабное Обнаружение. функции и описание методов с инвариантностью масштабирования и вращения.

Здесь используется алгоритм AKAZE, cv.AKAZE_create().

(2) Сопоставление функций

После того, как ключевые точки были идентифицированы в паре изображений, нам необходимо сопоставить или «сопоставить» соответствующие ключевые точки на двух изображениях. Одним из таких методов является BFMatcher.knnMatch(). Этот метод вычисляет расстояние дескрипторов между каждой парой ключевых точек и возвращает наименьшее расстояние среди k лучших совпадений для каждой ключевой точки.

(3) Преобразование изображения

После сопоставления как минимум четырех пар ключевых точек мы можем преобразовать одно изображение в другое, что называется деформацией изображения. Два изображения одной и той же плоскости в пространстве связаны гомографиями. Гомографии — это геометрические преобразования с 8 свободными параметрами, представляющие глобальное преобразование изображения (в отличие от локального преобразования) с помощью матрицы 3х3. Следовательно, чтобы получить преобразованное воспринятое изображение, необходимо вычислить матрицу гомографий.

Гомография

Двумерную точку (x, y) (x, y) на изображении можно выразить как трехмерный вектор в виде (x1, x2, x3) (x1, x2, x3), где x=x1/x3x=x1/ х3, у =х2/х3у=х2/х3. Его называют однородным выражением точки, расположенной на плоскости проекции P^2. Так называемая гомография — это обратимое отображение точек и прямых, которое происходит на плоскости проекции P^2. Другие названия включают проективное преобразование, преобразование проекции и преобразование планарной проекции. Обычно матрицу гомографии можно оценить путем сопоставления признаков между изображениями.

Матрица преобразования гомографии представляет собой матрицу H размером 3*3. Это преобразование можно произвольно умножить на ненулевую константу без изменения самого преобразования. Таким образом, хотя он имеет 9 элементов, он имеет 8 степеней свободы. Это означает, что нужно найти 8 неизвестных параметров.

Почему 9 элементов (3*3) имеют 8 степеней свободы?

Всего предстоит решить всего 8 тысяч.

Гомографиятрансформировать

 Гомографиятрансформировать其实就даодин个平лапша到另один个平лапшаизтрансформироватьсвязь。

Точки представляют собой одни и те же физические точки на двух изображениях, которые мы называем соответствующими точками. Здесь показаны четыре соответствующие точки четырех разных цветов: красного, зеленого, желтого и оранжевого. Гомография — это преобразование (матрица 3×3), которое сопоставляет точки на одном изображении с соответствующими точками на другом изображении.

В следующем примере используется реализация OpenCV от AKAZE.：

import numpy as np
import cv2 as cv
 
img = cv.imread('image.jpg')
gray= cv.cvtColor(img, cv.COLOR_BGR2GRAY)
 
akaze = cv.AKAZE_create()
kp, descriptor = akaze.detectAndCompute(gray, None)
 
img=cv.drawKeypoints(gray, kp, img)
cv.imwrite('keypoints.jpg', img)

сопоставление функций

После того, как ключевые точки были идентифицированы в паре изображений, нам необходимо сопоставить или «сопоставить» соответствующие ключевые точки на двух изображениях. Одним из таких методов является BFMatcher.knnMatch(). Этот метод вычисляет расстояние дескрипторов между каждой парой ключевых точек и возвращает наименьшее расстояние среди k лучших совпадений для каждой ключевой точки.

Затем мы устанавливаем соотношение для обеспечения точности. Фактически, чтобы совпадение было более надежным, совпадающие ключевые точки должны быть ближе, чем ближайшее ложное совпадение.

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
 
img1 = cv.imread('image1.jpg', cv.IMREAD_GRAYSCALE)  # referenceImage
img2 = cv.imread('image2.jpg', cv.IMREAD_GRAYSCALE)  # sensedImage
 
# Initiate AKAZE detector
akaze = cv.AKAZE_create()
# Find the keypoints and descriptors with SIFT
kp1, des1 = akaze.detectAndCompute(img1, None)
kp2, des2 = akaze.detectAndCompute(img2, None)
 
# BFMatcher with default params
bf = cv.BFMatcher()
matches = bf.knnMatch(des1, des2, k=2)
 
# Apply ratio test
good_matches = []
for m,n in matches:
    if m.distance < 0.75*n.distance:
        good_matches.append([m])
         
# Draw matches
img3 = cv.drawMatchesKnn(img1,kp1,img2,kp2,good_matches,None,flags=cv.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)
cv.imwrite('matches.jpg', img3)

Реализация метода распределения функций в OpenCV:

преобразование изображения

После совпадения не менее четырех пар ключевых точек,Мы можем преобразовать одно изображение в другое изображение,сказатьдляпреобразование изображения^12（image деформация). Два изображения одной и той же плоскости в пространстве связаны преобразованием Гомография^13 (Гомографии). Гомографии — это геометрические преобразования с 8 свободными параметрами, представляющие общее преобразование изображения матрицей 3x3 (аналогично локальной трансформация наоборот). поэтому,для Получить преобразованное сенсорное изображение,Необходимо рассчитать матрицу гомографий.

Чтобы получить наилучшее преобразование, нам нужно использовать алгоритм RANSAC для обнаружения выбросов и их удаления. Он встроен в метод findHomography OpenCV. Существуют также альтернативы алгоритму RANSAC, такие как LMEDS: Least-Median Robust Method.

# Select good matched keypoints
ref_matched_kpts = np.float32([kp1[m[0].queryIdx].pt for m in good_matches]).reshape(-1,1,2)
sensed_matched_kpts = np.float32([kp2[m[0].trainIdx].pt for m in good_matches]).reshape(-1,1,2)
 
# Compute homography
H, status = cv.findHomography(ref_matched_kpts, sensed_matched_kpts, cv.RANSAC,5.0)
 
# Warp image
warped_image = cv.warpPerspective(img1, H, (img1.shape[1]+img2.shape[1], img1.shape[0]))
             
cv.imwrite('warped.jpg', warped_image)

методы глубокого обучения

Большинство современных исследований по регистрации изображений включают глубокое обучение. За последние несколько лет глубокое обучение позволило повысить производительность в задачах компьютерного зрения, таких как классификация изображений, обнаружение объектов и сегментация.

Извлечение признаков

Глубокое обучение для регистрации Первый способ сказать «изображение» — это «Извлечение». элементы. Сверточным нейронным сетям удается получать все более сложные характеристики изображений и учиться на них. С 2014 года исследователи применяют эти сети для Извлечения. шаг оснований вместо использования SIFT или подобных алгоритмов.

2014 год,Общий метод извлечения признаков был предложен Досовицким и др.,использовать未标记из数据训练卷积神经网络。Этиособенностьиз通用секс使转换具иметь鲁棒секс。Этиособенностьилиописывать符изсекс能优于SIFTописыватьперсонаж, соответствующий задаче。

В 2018 году Ян и др. разработали нежесткий метод регистрации, основанный на той же идее. Они используют предварительно обученные сетевые уровни VGG для создания дескриптора объекта, сохраняя при этом сверточную информацию и локальные функции. Эти дескрипторы также превосходят SIFT-подобные детекторы, особенно в тех случаях, когда SIFT содержит много выбросов или не соответствует достаточному количеству характерных точек.

Регистрация на контролируемое обучение

(1) Что такое этикетка?

Поскольку это обучение с учителем, каково его название?

Поле деформации между двумя изображениями. Что такое поле деформации? Это разница между этой парой изображений с одинаковыми точками пикселей, то есть пространственное распределение вектора смещения объекта в трехмерном/двумерном пространстве.

(2) Как получить тег?

① Используйте для регистрации традиционный классический метод регистрации, а полученное поле деформации используется в качестве метки;

② Выполните имитацию деформации исходного изображения, используя исходное изображение в качестве фиксированного изображения, деформированное изображение в качестве движущегося изображения и моделируемое поле деформации в качестве метки.

Система регистрации изображений состоит из четырех частей (основных этапов регистрации изображений).

Обнаружение функций(Feature Detection)

Под признаками здесь подразумеваются общие характеристики, в том числе структурные особенности изображения в оттенках серого и цветности, такие как углы, края и контуры, вейвлет-коэффициенты и т. д.

сопоставление функций(Feature Matching)

То есть для сопоставления признаков используются операторы описания признаков (т. е. векторы признаков) и стратегии сходства.

Преобразование оценки параметров модели(Transform Model Estimation)

Модель преобразования также называется моделью отображения, которая представляет собой функцию преобразования координат, которая сопоставляет входное изображение с эталонным изображением.

Передискретизация и преобразование изображений(Image Resampling and Transformations)

Этот шаг представляет собой процесс выравнивания входного изображения с эталонным изображением с помощью модели преобразования. Координаты преобразованного изображения больше не будут целыми числами, что требует методов повторной выборки и интерполяции.

Этапы регистрации изображения

На основе функцийиз Этапы регистрации изображения можно условно разделить на четыре этапа: функций、сопоставление функций、трансформировать Модель估计иизображениеизтрансформироватьи重采样。

1） Обнаружение функций：Обнаружение Функция заключается в извлечении характерных особенностей из эталонного изображения и изображения, подлежащего регистрации. Эти признаки являются типичными представителями атрибутов изображения. Характерными объектами могут быть региональные особенности (например, леса, озера, поля) или Линейный. объект (как в границах области、береговая линия、путь、река) или точечный объект (региональная угловая точка、точка разграничения линии、Точка перегиба кривой). Эти существенные особенности различимы、分布существовать整个изображение之начальство,И его можно стабилизировать одновременно в эталонном изображении и в изображении, которое необходимо зарегистрировать. Характеристики изображения — это репрезентативные атрибуты изображения.,да人类извлекать出изизображение典型表示。изображениеособенность Должны быть соблюдены следующие характеристики：

а) Разница: элементы изображения являются точным представлением изображений. Различные типы изображений должны иметь разные типы функций, поэтому функции изображения должны иметь определенные различия.

б) Однородность: регистрация изображений также должна иметь однородность, несмотря на различия, то есть изображения одного типа имеют одинаковые признаки, а изображения одного типа могут быть связаны между собой посредством признаков.

в) Независимость: признаки, обнаруженные на одном и том же изображении, должны быть независимы друг от друга, то есть существование определенного признака не обусловлено существованием других признаков.

Для объектов изображения, которые удовлетворяют вышеуказанным условиям, если они все еще остаются элементами изображения после прохождения одного или нескольких пространственных преобразований, такие элементы изображения называются инвариантными элементами изображения. Инвариантные характеристики изображения могут лучше всего отражать существенное содержание изображения. Это связь между исходным изображением и преобразованным изображением, а также основа для решения модели пространственного преобразования и параметров между изображениями. Инвариантные признаки изображения не изменяются в зависимости от внешних условий изображения, то есть не изменяются в зависимости от угла обзора, освещенности, шума, масштаба, окклюзии, размытия и т. д. Следовательно, цель обнаружения признаков изображения — обнаружить как можно больше стабильных инвариантных признаков изображения. Из-за важности свойств инварианта изображения он привлек внимание многих отечественных и зарубежных исследовательских институтов, таких как Лаборатория интеллектуальных вычислений Университета Британской Колумбии в Канаде, Группа машинного зрения Университета Оулу в Финляндии, Исследовательский центр роботов. Группа Оксфордского университета в Великобритании и Института автоматизации Китайской академии наук в Китае NLPR Laboratories и др.

особенностьвключать：точкаособенность、Линейный объект、особенности поверхности。

точкаособенность：最常用изодин种изображениеособенность,Включая точку края объекта, точку угла, точку пересечения линий и т. д., точки объектов делятся на несколько уровней в соответствии с процентным значением каждой точки объекта. для разных целей,особенностьточкаизизвлекать应иметь所другой。точка Извлечение К методам относятся:

Алгоритм Харриса：受信号иметь дело с中Взаимно关函数из启发,дает матрицу M, связанную с автокорреляционной функцией,Собственное значение матрицы М — это кривизна первого порядка автокорреляционной функции,Если оба значения кривизны высокие,Затем подумайте, что точка должна быть угловой точкой.,此方Закон对изображение旋转、изменение яркости、Он обладает хорошей устойчивостью к изменениям угла обзора и шуму. 

Алгоритм Сьюзан：Алгоритм Сьюзаниспользоватьодин个圆形из模板существоватьизображениеначальство滑动,Пиксельная точка Обнаружения, расположенная в центре круглого шаблона, называется основной точкой. Предположим, изображение для не текстурировано.,Область центральной точки разделена на две области: одна — это область, значение яркости которой равно (или близко к) яркости центральной точки.,для области сходства значений ядра,Второйдля Значение яркости несходство Ю ядроточка亮度изобласть。

Harris-Laplace：Harris算ребенок能最稳定地существоватьизображение旋转、Световые изменения、Извлечение особенностей двумерной плоскости в перспективе трансформировать поверхноститочка,但существоватьтри维масштабировать В космосе эффективность повторного обнаружения детектора Харриса неудовлетворительна, характерная точка Харриса в разных масштабах имеет ошибки положения, а детектор Харриса не имеет масштабной и аффинной инвариантности. И трехмерно масштабировать Наиболее стабильным и эффективным оператором обнаружения масштаба признаков в пространстве является нормализованный оператор Лапласа. Оператор Харриса-Лапласа предложен путем объединения преимуществ Харриса и Лапласа.    Характерные точки Харриса-Лапласа обладают характеристиками инвариантности масштаба и вращения, а также устойчивы к изменениям освещенности и изменениям угла обзора в небольших пределах.

SIFTособенностьточкаизвлекать：использоватьDoG filterстроитьмасштабировать пространство,существоватьмасштабировать Извлеките точку крайнего значения на пространстве.

SURFособенностьточкаизвлекать：на основеHessianматрица,это зависит отHessianматрица行列式из局部最大值позиция兴趣точка Расположение。对于изображениеIЧжунмоуточкаXсуществоватьмасштабировать Определение матрицы Гессе для пространства:

где L_xx(X,σ) представляет собой свертку гауссовой частной производной второго порядка в точке X с изображением I.

БЫСТРОЕ извлечение характерной точки: FAST — это упрощение извлечения угловой точки SUSAN. Он определяет, является ли центральный пиксель характерной точкой, путем сравнения контраста в оттенках серого 16 пикселей на круге с центральным пикселем.

Оператор Моравца, оператор Форстнера...

Линейный объект：изображение中最明显из Проволока段особенность,как край дороги или реки,目标изконтурлиния и т. д.。Линейный Извлечение объекта обычно выполняется в два этапа: сначала используется определенный алгоритм для извлечения очевидной информации о сегменте линии на изображении, а затем используются условия ограничения для выбора сегментов линии, которые удовлетворяют условиям для Линейный объект。Проволока Извлечение К методам относятся:

Robert、Sobel、Prewitt、Kirsch、Gauss-Laplace、Canny...

особенности поверхности：指использоватьизображение中明显изобластьинформацияделатьдляособенность。существовать实际из应用中最назад可能也даиспользоватьобластьиз重心или圆из圆心точкаждатьделатьдляособенность。лапша Извлечение К методам относятся:

Mser: использовать разные пороги для бинаризации изображения. В этом процессе соединенные области, сформированные на всех изображениях порогов, представляют собой области минимального значения. В процессе изменения изображения порога формируется серия вложенных областей экстремальных значений. В каждой группе вложенных регионов существует тип региона с относительно стабильными свойствами. Этот тип региона имеет небольшие изменения в пределах большого порогового диапазона и определяется как «наиболее стабильный регион экстремальных значений».

 2）сопоставление функций：Обнаружение到из参考изображениеи待Регистрация изображенийначальствоизособенность可以通过Взаимно邻областьизизображение强度均值、особенностьиз空间分布или者代表особенностьизописыватьсубмарина, чтобы соответствовать。сопоставление Ключевым аспектом функций является то, что Обнаружение Еще одна особенность, предоставляемая функциями, заключается в выборе стратегий сопоставления. парламентие функции должны учитывать, какие параметры использовать для измерения сходства и когда достигается наилучшее соответствие. Обычно используемые параметры измерения сходства включают В зависимости от Нормализованная взаимная корреляция регионов, взаимная информацияи На основе функцийиз不变особенность、Пирамиды и вейвлеты и т.д.

сопоставление функции в два этапа: Описание функции, используйте критерий подобия для проведения парламентия функций。

Описание функции：现иметьиз主要Описание функцииребенок：SIFTОписание функцииребенок、SUFRОписание функцияребенок, контрастная гистограмма, DAISY функцияребенок, метод моментов.

Дескриптор функции SIFT: дескриптор функции, основанный на распределении градиента изображения. Характеристики: хорошая защита от помех, но большое количество цифр и высокая вычислительная сложность.

Дескриптор функции SURF: разделите область, окружающую характерную точку, на несколько подобластей и используйте сумму частных производных направлений X и Y точек пикселей в каждой подобласти и сумму их абсолютных значений. ​​для формирования дескриптора характерной точки. Особенности: Имеет хорошую устойчивость к изменению яркости, однако данный дескриптор требует использования цельных изображений, что ограничивает область его применения.

Контрастная гистограмма: контраст между пикселями в области вокруг характерной точки и самой характерной точки формируется в гистограмму для описания характерной точки. Особенности: Этот метод быстрее, чем дескрипторы на основе градиента, но описательная сила немного слабее, чем у дескрипторов на основе градиента.

Дескриптор функции DAISY: на основе алгоритмов SIFT и GLOH, взвешенная по градиенту сумма заменяется интеграцией нескольких гауссовских направленных фильтров частных производных с исходным изображением. Возможности: этот дескриптор имеет те же преимущества, что и оператор функции SIFT, но работает быстрее, чем оператор функции SIFT.

Моментный метод: момент Ху, момент Зернике.

использоватьсходствокритерий степенисопоставление функций：常用изсходство Критерий измерения пола следующий:евклидоврасстояние、Расстояние Махаланобис、Расстояние Хаусдорфа и т. д.

3）Оценка модели преобразования:трансформировать Модель估计да根据匹配изособенность Наверноетрансформировать Модель。существоватьиметь些情况下,Модель трансформации была оценена одновременно с распределением функций.,поэтому第二步и第три步也可以放существоватьодин起。трансформировать Модель估计就да要选择匹配函数из类型及其параметр估计。

Модель трансформации твердого тела

Модель аффинного преобразования

Модель проективного преобразования

модель нелинейного преобразования

4）Преобразование и передискретизация графики:изображениеизтрансформироватьи重采样дасуществовать得到трансформировать Модельназад,обращаться Регистрация изображенийруководитьтрансформироватьи赋值,Методы назначения:Метод прямого преобразования и метод обратного преобразования。впередтрансформировать Закондаот参考изображениеначальствоиз像素точка Координаты отправления,Вычислить координатное положение точки пикселя после регистрации,И значение серого точки пикселя используется как значение серого новой точки пикселя; метод обратного преобразования начинается с координат точки пикселя на зарегистрированном изображении.,Рассчитайте координаты соответствующих точек пикселей на эталонном изображении.,А значение серого точки на эталонном изображении используется как значение серого точки пикселя перед преобразованием . Потому что метод прямого преобразования может создавать пиксели без присвоенных значений.,Или есть ситуация, когда несколько точек пикселей соответствуют одной точке пикселя.,И его сложнее реализовать, чем метод обратного преобразования.,Поэтому часто используется метод обратного преобразования. Метод обратного преобразования требует использования метода интерполяции в оттенках серого.,常用изинтерполяция МетодИнтерполяция ближайшего соседа, билинейная интерполяция, интерполяция кубической сверткой и т. д.（Включает вводпреобразование изображения Полученные координаты точек не обязательно соответствуют целым простым числам.,则应руководитьинтерполяцияиметь дело с。）

шаг

Чтобы выполнить регистрацию изображения, необходимо рассмотреть три вопроса, а именно модель пространственного преобразования, используемую при регистрации, критерий измерения сходства для регистрации и метод оптимизации матрицы пространственного преобразования.

① Модель пространственного изменения.

Модель пространственных вариаций относится к модели сопоставления между двумя изображениями, которые необходимо зарегистрировать.,Например, есть только такие операции, как вращение и перевод.,那就да Модель трансформации твердого тела, и например, есть операция масштабирования, и даже амплитуды масштабирования в направлении X и направлении Y не одинаковы, то есть аффинное преобразование или модель нелинейного преобразования。В любом случае вам придется пройти регистрацию,Во-первых, мы должны определить, какая модель отображения существует между двумя изображениями. Базовый набор преобразований 2D-плоскости:,Кастрюля,евклидов,сходство,Аффинный,Спроецируйте эти пятьтрансформировать。

②Критерии измерения сходства для регистрации

Критерии измерения сходства для регистрации. Что дальше после того, как вы определите модель трансформации? Конечно, необходимо определить параметры в модели, и определить эти параметры (количество параметров различно для разных моделей трансформации, например, трансформация твердого тела имеет три параметра: смещение x, смещение y и угол поворота). , а аффинное преобразование имеет 6 параметров) Вы должны указать программе, какие параметры являются лучшими или правильными. Таким образом, одним из критериев оценки того, какие параметры являются правильными, является то, что мы называем критерием меры сходства регистрации, который сообщает программе, какая степень регистрации находится при определенном наборе параметров. Очевидно, набор параметров, который определяет степень регистрации. самое лучшее — это параметры, которые мы ищем. Самый простой метод – это критерий измерения суммы квадратов ошибок.

③Метод оптимизации матрицы пространственного преобразования.

Метод оптимизации матрицы пространственного преобразования. Потому что в большинстве случаев параметры в модели решаются не путем решения, а путем «пробования и оценки». Оптимизация матрицы пространственного преобразования — это просто оптимизация этих параметров. Найти процесс поиска набора параметров. который обеспечивает наилучшую степень регистрации. В обычных условиях задача регистрации преобразуется в задачу поиска оптимального значения меры подобия. В методе расчета обычно необходимо использовать соответствующий алгоритм итеративной оптимизации, такой как метод градиентного спуска, метод Ньютона. генетический алгоритм и т. д., если вы с ними знакомы. Если вы не понимаете алгоритм, у вас нет другого выбора, кроме как использовать самый глупый метод эргодического поиска, то есть искать все комбинации параметров на определенном расстоянии шага, а затем находить тот, который достигает наивысшей степени совмещения по критерию меры сходства. Набор параметров.

Регистрация изображения четыре аспекта, пять шагов:

Регистрация Технология изображения включает в себя четыре аспекта: модель преобразования, пространство признаков, меру сходства, пространство поиска и стратегию поиска. Согласно этим четырем характеристикам, регистрация Шаг изображения обычно можно разделить на следующие пять этапов:

Выберите подходящую модель преобразования в соответствии с реальным применением;

Выбирать合适изпространство объектов,Либо на основе оттенков серого, либо на основе функций;

По конфигурации параметров модели преобразования и выбранным признакам определить возможный диапазон изменения параметров и выбрать оптимальную стратегию поиска;

Применить меру сходства для поиска в пространстве поиска в соответствии с критериями оптимизации, чтобы найти максимальную точку корреляции, тем самым решая неизвестные параметры в модели преобразования;

Изображение, подлежащее регистрации, сопоставляется один к одному с опорным изображением попиксельно в соответствии с моделью преобразования для достижения соответствия между изображениями.

Среди них то, как выбрать подходящие функции для сопоставления, является ключом к регистрации.

Некоторые часто используемые методы регистрации

1. Пиксельный метод

Использование статистического метода взаимной корреляции,Включает в себя поиск местоположения и направления узоров на изображении.,дасходствосекс与匹配度из度量。например,Двумерная нормализация набора взаимно-корреляционных функций,评估参考изображение与感Знатьизображение之间из每个Кастрюляизсходствосекс,где эталонное изображение очень мало по сравнению с воспринимаемым изображением,Если эталонное изображение подходит,Тогда взаимная корреляция достигает максимального значения。这种方Закониз主要缺точкада图片из自сходствосекс【изображениеиз自сходствосексда指Взаимно邻или者不Взаимно邻изизображение块很сходство】带来изсходствосекс度量最大值平坦度а также高иметь дело с复杂секс。

2. Метод точечного картирования

использовать Извлечение признаков算Закон得到из图片особенность,Извлечение больших объемов информации из входных необработанных данных,Отфильтруйте лишнюю информацию,После Обнаружения характеристик каждого изображения,Они должны совпадать. Углы, линии пересечения, точка максимальной кривизны на контурах, центр окна с максимальной кривизной и центр тяжести замкнутой граничной области.,Это все так называемый контроль. Метод точечного картирования в основном состоит из трех этапов: извлечение признаков → поиск точек признаков → пространственное картографирование. Недостатком этого метода является специфика содержимого окна.,Окна, содержащие гладкие области, в которых отсутствует важная информация, могут быть неправильно сопоставлены с другими гладкими областями эталонного изображения.

3. Контурные методы

Для создания контуров изображения вычисляется среднее значение данного набора цветов, а затем во время сегментации каждый пиксель RGB изображения классифицируется либо как цвет в определенном диапазоне, либо как цвет, выходящий за пределы определенного диапазона. Траектория точек представляет собой сферу с радиусом, равным порогу. Каждая точка, расположенная внутри и на поверхности сферы, соответствует заданным требованиям к цвету. Затем точки на изображении обрабатываются в соответствии с тем, находятся ли они в пределах диапазона. и получается изображение двоичной сегментации. Затем используется фильтр Гаусса для устранения шума после процесса сегментации и получения контура изображения, но этот метод работает очень медленно.

Помимо вышеперечисленных способов, существует также применение взаимоимной информацияиз多模态Регистрация изображения、частотная область Регистрация изображения и регистрация с использованием генетических алгоритмов изображенияи т. д.。

Краткое изложение традиционных алгоритмов регистрации изображений

Регистрация изображений является типичной проблемой и технической трудностью в области исследований по обработке изображений. Ее цель состоит в том, чтобы сравнить или объединить изображения, полученные для одного и того же объекта в разных условиях. Например, изображения будут получены от разного оборудования для сбора данных, снятого в разное время. и разные условия съемки и т. д. Иногда также необходимо использовать вопросы регистрации изображений для разных объектов. В частности, для двух изображений в наборе наборов данных изображений одно изображение сопоставляется с другим изображением путем нахождения пространственного преобразования, так что точки, соответствующие одному и тому же положению в пространстве в двух изображениях, соответствуют друг другу, так что достигается цель информационный синтез.

Классификация способов регистрации изображений

Классификация регистрации изображений:

Классификация по характеристикам проблем:

1. Качество регистрации: свойства регистрации.

Тип регистрации, основанный на данных или функциях.

Например, регистрация естественных изображений, регистрация медицинских изображений, регистрация изображений дистанционного зондирования и т. д.

2. Метод сбора изображений

① Многопросмотровый анализ: многопросмотровая регистрация.

Регистрация изображения одного и того же объекта в одной сцене под разными углами обзора.

Снимайте изображения похожих объектов или сцен с разных точек зрения, чтобы получить лучшее представление сканируемого объекта или сцены. Например, использование сшивания изображений для восстановления 3D-моделей из 2D-изображений и т. д.

②Многовременной анализ: многовременная регистрация.

Регистрация изображения одного и того же объекта в одной сцене и с одного и того же ракурса в разное время. Например, отслеживание движения, отслеживание роста опухоли и т. д.

③Мультимодальный анализ: мультимодальная регистрация.

Мультимодальная регистрация распространена в области медицинских изображений, поэтому в качестве примера взята мультимодальная регистрация медицинских изображений.

Потому что медицинское оборудование для визуализации может предоставлять разные формы изображений с разной информацией о пациенте (компьютерная томография, МРТ, позитронно-эмиссионная томография, ПЭТ, функциональная магнитно-резонансная ф МРТ и т. д.).

Регистрация на основе одномодальных или множественных изображений может быть разделена на одномодальные и мультимодальные.

3. Взаимодействие: интерактивность процесса регистрации

Ручной, полуавтоматический или автоматический

4. Размерность: размерность пространства изображения.

Если рассматривать только пространственное измерение, его можно разделить на 2D/2D, 2D/3D, 3D/3D и т. д. Если учитывать факторы временных рядов, также возникает проблема регистрации двух изображений, извлеченных в разное время.

5. Область преобразования: Область преобразования изображения (глобальная/локальная регистрация).

6. Характер основания регистрации: Характер основания регистрации.

По признакам и мерам сходства, на которых основан алгоритм.

①Регистрация по внутренним функциям

Внутренние характеристики относятся к информации, извлеченной из самого изображения.

На основе функций（feature-based）：существовать几何начальствоиметь特别意义из可以позицияизособенностьточканабор（например不连续точка,графическая точка поворота,Точка пересечения линии и т. д.),Или используйте метод сегментации, чтобы извлечь контур интересующей части (кривой или поверхности).,以делатьдля用来比较изпространство объектов。На медицинских снимках может быть анатомическое значение точки.。

На основе значения пикселя (на основе интенсивности):использовать整幅изображениеиз像素или体素来构成пространство объектов。根据像素值из统计информация来计算сходствосекс测度又可划分дляметод наименьших квадратов,метод Фурье,метод взаимной корреляции,взаимная метод информации и так далее.

②Регистрация по внешним признакам

в медицинских изображениях,Определенные отметки на изображении получают путем фиксации маркеров на пациенте или введения в организм проявляющих веществ.,сказатьдлявнешнийособенностьточка。

③Регистрация на основе координат изображений различных устройств.

7. Предмет регистрации: Субъект регистрации.

На примере регистрации медицинских изображений ее можно разделить на три типа: внутрипредметную (изображения одного и того же пациента), межсубъектную (от разных пациентов) и атласную (регистрация данных пациента и атласа).

Объект регистрации Объект регистрации：голова、молочная железа、грудь、Глаз、желудок、колено ждать…

8. Тип трансформации: Свойства трансформации.

根据用于将浮动изображение空间与参考изображение空间Взаимно关联изтрансформировать Модель对Регистрация алгоритм классификации изображений. трансформация в изображения пространства Можно разделитьдляТрансформация твердого тела (жесткого) и трансформация нежесткого тела (нежесткого, деформируемого)。

Первый тип модели преобразования — это линейное преобразование, включающее вращение, масштабирование, сдвиг и другие аффинные преобразования. Линейные преобразования носят глобальный характер, поэтому не могут моделировать локальные геометрические различия между изображениями.

Второй тип модели трансформации допускает «эластичные» или «нежесткие» преобразования. Эти преобразования локально искажают плавающее изображение, чтобы совместить его с эталонным изображением. Нежесткие преобразования включают радиальные базисные функции (сплайн-функции тонкой пластины или поверхности, множественные квадратичные поверхностные функции и преобразования с компактным носителем), модели физического континуума (вязкие жидкости) и модели больших деформаций (диффеоморфизмы).

Модели преобразования обычно являются параметрическими, т.е. преобразование всего изображения может быть описано одним параметром (вектором преобразования). Такие модели называются параметрическими моделями. С другой стороны, непараметрические модели не следуют какой-либо параметризации и допускают произвольное смещение каждого элемента изображения.

9. Параметры регистрации: параметры алгоритма.

Когда признак сравнения принимает форму набора характерных точек, решение преобразования можно найти с помощью системы одновременных уравнений.

Однако в общем случае задача регистрации трансформируется в задачу решения оптимального значения меры подобия. В методе расчета обычно необходимо использовать соответствующие алгоритмы итерационной оптимизации, такие как метод градиентного спуска, метод Ньютона, метод Пауэлла. метод, генетический алгоритм и т. д.

Классификация по характеру алгоритма:

1. Регистрация изображений в оттенках серого.

Метод, основанный на информации в оттенках серого регистрации Изображение обычно не требует сложной предварительной обработки изображения, но использует некоторую статистическую информацию о оттенках серого самого изображения для измерения сходства изображения. Основная особенность состоит в том, что он прост в реализации, но область его применения узка и не может быть непосредственно использована для коррекции нелинейной деформации изображений. В процессе поиска оптимального преобразования часто требуется огромный объем вычислений. После десятилетий разработок было предложено множество методов, основанных на информации в оттенках серого. регистрации Изображения можно условно разделить на три категории: метод взаимной корреляции (также называемый методом сопоставления шаблонов), метод последовательного сходства Обнаружение сопоставления и метод взаимной корреляции (также называемый методом сопоставления шаблонов). информация Закон。

2.На основе функцийиз Регистрация изображения

Что у них общего

На основе Что такое метод сопоставления функций у них Общая задача заключается в предварительной обработке изображения, подлежащего регистрации, то есть сегментации изображения и Извлечении. Обработка признаков, а затем использование извлеченных признаков для завершения сопоставления между признаками двух изображений и установление отношений сопоставления регистрации между изображениями посредством отношений сопоставления признаков. Поскольку в изображении можно использовать множество функций, генерируются различные функции. основе функцийиз方Закон。常用到изизображениеособенностьиметь：особенностьточка（включатьрогточка、Точка большой кривизны и т. д.) отрезок прямой、край、контур、закрытая территория、Структуры признаков и статистические свойства, такие как инварианты моментов.、Центр тяжести и так далее.

точка

да配准中常用到изизображениеособенность№1,Основное применение — угловая точка на изображении.,изображение中изрогточкасуществоватькомпьютерное распознавание образов зрения и регистрация Он имеет очень широкий спектр применения в различных областях. Регистрация по углу точки изображенияиз主要思路дапервыйсуществоватьдва幅изображение中分别извлекатьрогточка,Затем используйте разные методы, чтобы установить корреляцию между углами на двух изображениях.,Таким образом устанавливая характер одноименной точки,Наконец, для управления точкой используется одноименный символ.,Определите трансформацию регистрации между изображениями. Так как методов извлечения роговой точки уже довольно много,Поэтому самая сложная проблема метода, основанного на угловых точках, состоит в том, как установить связь между двумя изображениями с одинаковым названием точки. Сообщаемые методы решения проблемы сопоставления точек включают метод релаксации, метод кластеризации гистограмм относительных расстояний, расстояние Хаусдорфа и связанные с ним методы и т. д. Эти методы более требовательны к углам, достигаемым Обнаружением.,Например, если вы хотите тот же номер,Простые трансформационные отношения и т. д.,Поэтому его нельзя адаптировать для приложений универсальной регистрации.

Качество соответствия

На основе регистрации принцип, шаг и методы изображения, и как определить Критерии изображения, знание скорости, точности и надежности сопоставления изображений являются критериями оценки качества. Есть три важных показателя качества соответствия. Как улучшить Качество максимально соответствие, особенно для дальнейшего повышения скорости сопоставления изображений при условии обеспечения точности и надежности, всегда было компьютерным. Темы исследований в таких областях, как зрение и распознавание образов.

Конкретный алгоритм регистрации изображений представляет собой алгоритм, основанный на смеси или варианте этих двух точек.

Разница между сопоставлением изображений и регистрацией изображений:

сопоставление изображений

через контент изображения、особенность、структура、связь、纹理及灰度ждатьизпереписыватьсясвязь,сходствосексиодин致секс分析,Методы достижения одной и той же цели изображения. Корреляция изображений использует функцию взаимной корреляции.,评价два块影像изсходствосекс以确定同名точка。Прямо сейчаспервый Вынуть, чтобы определитьсяточкадля中心из小область中из影像信号,Затем извлеките сигнал изображения соответствующей области в другом изображении.,Вычислите корреляционную функцию между двумя,Соответствующий центр области точкадля, соответствующий максимальному значению корреляционной функции, имеет то же название, что и точка. Определение одноименной точки основано на мере соответствия для,Таким образом, определение мер сопоставления является наиболее важной задачей сопоставления изображений.,Различные меры соответствия могут быть определены на основе разных теорий или разных идей.,В результате были сформированы различные методы сопоставления изображений и соответствующие алгоритмы реализации. Общие алгоритмы сопоставления изображений, основанные на квадратной шкале серого изображения, включают метод корреляционной функции, метод ковариационной функции, метод коэффициента корреляции, метод суммы разностей квадратов, метод абсолютных значений разницы, метод наименьших квадратов и т. д.,Алгоритм сопоставления изображений на основе пространства объектов включает в себя метод траектории отвеса (VLL,Vertical Line Locus), в дополнение к методу сопоставления изображений на основе характеристик площади изображения, многоуровневому сопоставлению изображений пирамиды, ПРОСЕИВАНИЕ и так далее.

Регистрация изображения

Регистрация изображения就да将разное время、разные Процесс сопоставления и наложения двух и более изображений, полученных датчиками (аппаратурой формирования изображения) или в различных условиях (погода, освещенность, положение и ракурс камеры и т.п.). Процесс технологической регистрации выглядит следующим образом: Сначала выполняется Извлечение. два изображения. получает точку признака; находит пару точек совпадающего признака посредством измерения сходства, затем получает параметры преобразования координат пространства изображения с помощью пары точек совпадающего признака: наконец, параметры преобразования координат используются для регистрации; изображения。и Извлечение признаки – ключ к технологии регистрации, точная Извлечение признаковдлясопоставление Успех функций гарантирован. Поэтому поиск Извлечения с хорошей инвариантностью и точностью Метод признаков, который имеет решающее значение для точности сопоставления. На основе функцийиз Регистрация Изображение сначала извлекает особенности информации об изображении, а затем выполняет регистрацию с этими признаками для моделей. Извлечение Результатом работы является таблица, содержащая объекты и представление изображения. Каждый объект представлен набором атрибутов. Дополнительные атрибуты включают ориентацию и кривизну края, размер области и т. д. Между локальными объектами существуют взаимные отношения, такие как геометрические отношения, отношения измерения радиации, топологические отношения и т. д. Отношения между этими локальными объектами можно использовать для создания глобальных объектов. Обычно регистрация на основе локальных объектов в основном основана на точках, линиях или краях, тогда как метод регистрации глобальных объектов — это метод регистрации, который использует взаимосвязь между локальными объектами. На основе взаимоимной информацияиз Регистрация Изображение оценивается по обобщенному расстоянию между совместным распределением вероятностей двух изображений и распределением вероятностей, когда они полностью независимы. информация, также известная как «Регистрация мультимодальной медицины». Измерение изображения. Когда два изображения, основанные на общей анатомической структуре, достигают оптимальной совмещения, оттенки серого соответствующих пикселей взаимозаменяемы. информация должна быть макс. Поскольку на основе взаимоимной информацияиз配准对噪声比较敏感,первый,通过滤波и分割ждать方Закон对изображениеруководить预иметь дело с。然назадруководить采样、трансформировать、интерполяция、Оптимизируйте для достижения цели регистрации.

Несколько алгоритмов сопоставления изображений на основе оттенков серого:

平均绝对差算Закон（MAD）、绝对误差и算Закон（SAD）、误差平方и算Закон（SSD）、平均误差平方и算Закон（MSD）、归один化积Взаимно关算Закон（NCC）、последовательныйсходствосекс Обнаружение算Закон（SSDA）、hadamardтрансформировать算Закон（SATD）。

MAD-алгоритм：

Средние абсолютные различия (сокращенно алгоритм MAD) — это алгоритм сопоставления, предложенный Лизом в 1971 году. Это широко используемый метод распознавания образов. Алгоритм имеет простую идею, имеет высокую точность сопоставления и широко используется при сопоставлении изображений.

Пусть S(x,y) — изображение поиска размером mxn, а T(x,y) — шаблонное изображение MxN, как показано на следующих рисунках (a) и (b) соответственно. Наша цель: в (. а) Найдите область, соответствующую (b) (показана в желтой рамке).

Идеи алгоритмов

В графе поиска S возьмем (i, j) в качестве верхнего левого угла, возьмем подграф размера MxN и вычислим его сходство с шаблоном, пройдемся по всему графу поиска и найдем граф шаблона среди всех подграфов, которые могут; В качестве окончательного результата сопоставления используется наиболее похожий подграф.

Формула меры сходства алгоритма MAD выглядит следующим образом. Очевидно, что чем меньше средняя абсолютная разница D(i,j), тем больше она похожа. Поэтому вам нужно найти только наименьшее D(i,j), чтобы определить соответствующую позицию подграфа:

Оценка алгоритма：

преимущество:

①Простая идея,Легко понять (подизображение и изображение шаблона находятся в соответствующих позициях).,Сумма абсолютных значений разностей между значениями оттенков серого,Найдите среднее значение еще раз,вещество：да计算издаребенок图与模板图изL1расстояниеиз平均值）。

②Процесс работы прост,Точность совпадения высокая.

недостаток:

①Сумма расчета слишком велика。

②очень чувствителен к шуму。

Алгоритм SAD

представлять

 绝对误差и算Закон（Sum of Absolute Differences,简сказатьSAD算Закон）。на самом деле,SAD算Закон与MAD算Закон思想几乎да完全один致,只да其сходство度测量公式иметьодинточкаизменять（计算издаребенок图与模板图изL1расстояние）。

Алгоритм SSD

误差平方и算Закон（Sum of Squared Differences,简сказатьSSD算Закон）,Также называется алгоритмом суммы дисперсий. на самом деле,SSD算Закон与SAD算Законнравиться出один辙,只да其сходство度测量公式иметьодинточкаизменять（计算издаребенок图与模板图изL2расстояние）。

Алгоритм MSD

平均误差平方и算Закон（Mean Square Differences,简сказатьMSD算Закон）,Также называется алгоритмом среднеквадратической ошибки. на самом деле,MSDкромеSSD,ЭквивалентноMADкромеSAD（计算издаребенок图与模板图изL2расстояниеиз平均值）。

Алгоритм NCC

归один化积Взаимно关算Закон（Normalized Cross Correlation,简сказатьNCC算Закон）,与начальстволапша算Законсходство,По-прежнему используются оттенки серого для фрагментов изображений и изображений-шаблонов.,Степень соответствия между ними рассчитывается по формуле нормализованного показателя Актуальности.

E(S^i,j) и E(T) представляют собой среднее значение серого фрагмента изображения и шаблона в точке (i,j) соответственно.

Алгоритм SSDA

Алгоритм последовательного обнаружения сходства (Sequential Similiarity Detection Алгоритм, называемый Алгоритмом SSDA), который был представлен Барнеа и Сильверманом в 1972 году в статье «А class of algorithms for fast digital image Алгоритм сопоставления, предложенный в разделе «регистрация», представляет собой усовершенствование традиционного алгоритма сопоставления шаблонов и работает в десятки-сотни раз быстрее, чем алгоритм MAD.

Те же предположения, что и в приведенном выше алгоритме: S(x,y) — граф поиска mxn, T(x,y) — граф-шаблон MxN, S_i,jда搜索На картинкеизодин个ребенок图（左начальстворог起始Расположениедля(i,j)）。

SSDA算Законописыватьследующее：

①Определить абсолютную ошибку：

Зачеркнутые представляют собой средние значения подграфов и шаблонов соответственно:

Фактически, абсолютная ошибка — это абсолютное значение разницы между соответствующими позициями подграфа и изображения шаблона после удаления их соответствующих средних значений.

②Установить порогTh；

③существовать模板На картинкеслучайныйВыбиратьНе повторяетсяиз像素точка,Вычислить абсолютную ошибку из текущего подграфа,Накопление ошибок,Когда значение накопления ошибок превышаетThчас,Запишите общее количество раз.H,所иметьребенок图из累加次数Hиспользовать таблицуR(i,j)выражать。SSDAОбнаружениеопределениедля：

Рисунок ниже даетA、B、Cтриточкаиз误差累计增长изгиб,вA、Bдваточка Отклонение от шаблона,Ошибка быстро растет；Cточкамедленный рост,说明很可能да匹配точка（На картинкеTkЭквивалентно вышеизложенномуизTh,Прямо сейчас阈值；I(i,j)Эквивалентно вышеизложенномуR(i,j),То есть накопительное число).

④В процессе расчета,После того как совокупная ошибка сумма случайных точек превысит порог (фиксация количества накоплений H),Затем откажитесь от текущего подграфа и вычислите следующий подграф. После прохождения всех подграфов,Выберите подграф (i,j), соответствующий максимальному значению R, чтобы создать соответствующее изображение [если существует несколько максимальных значений R (обычно они не существуют),Затем выберите изображение с наименьшей совокупной ошибкой в ​​качестве соответствующего изображения].

Поскольку накопленное значение случайнойточки превышает порог Th, расчет текущего подграфа заканчивается.,Таким образом, нет необходимости вычислять все пиксели фрагмента изображения.,Значительно улучшена скорость работы алгоритма для дальнейшего повышения скорости;,Сначала можно выполнить черновую регистрацию,То есть: чересстрочные и изолированные выбранные фрагменты изображений.,Грубое позиционирование по приведенному выше алгоритму,Затем сравните найденный фрагмент изображения,用同样из方Закон求其8个邻域ребенок图из最大R值делатьдляфинальный Регистрация изображений。这样可以иметь效из减少ребенок图个数,Уменьшите объем вычислений,Улучшите скорость вычислений.

Алгоритм SATD

алгоритм преобразования Адамара (Сумма of Absolute Transformed Difference,Сокращенно Алгоритм SATD),Это алгоритм суммирования абсолютных значений после преобразования Адамара. Преобразование Адамара эквивалентно умножению левой и правой частей исходной матрицы Q изображения на матрицу преобразования Адамара H. в,Все элементы матрицы преобразования Хардамара H равны 1 или -1.,является ортогональной матрицей,Может быть сгенерировано функцией Адамара (n) в MATLAB.,n представляет квадратную матрицу n-го порядка.

Алгоритм SATD — это матрица Q, полученная разностью шаблона и подграфа.,Затем найдите преобразование Адамара матрицы Q (умножьте одновременно левую и правую части на H,то есть HQH),Для матрицы преобразования найдите сумму абсолютных значений ее элементов, которая и есть значение SATD.,делатьдлясходство度из判别依据。对所иметьребенок图都руководитьнравитьсяначальствоизтрансформироватьназад,Найдите подграф с наименьшим значением SATD.,Это лучший матч.

Метод регистрации и позиционирования На основе функцииточка：

Овальная площадка дляSIFTсопоставление функцийобласть,Центральное положение эллипса представляет собой двумерную координату ключевой точки изображения.,Длинная ось эллипса представляет собой ключевое измерение.,Направление эллипса представляет направление ключа.

Количество совпадающих точек для пар изображений постепенно уменьшается по мере увеличения порога.,Но соответствующая точка более стабильна. Функции SIFT — это локальные особенности изображения.,Богат информацией,Подходит для быстрого и точного сопоставления в огромных базах данных объектов.,и выбрав соответствующий порог,Найдите надежное и стабильное парламентие функцииточка.

Метод регистрации и позиционирования по моментам изображения:

对基准изображениеи待Регистрация изображенийруководить Извлечение предварительная обработка признаков, использование метода главной оси центроида для завершения сопоставления между признаками двух изображений, установление отношений сопоставления регистрации между изображениями и использование аффинного преобразования для выполнения преобразования изображений, подлежащих регистрации. изображениявыполнить Регистрация изображенияпозиция。

Опорное изображение и изображение, подлежащее регистрации, обрабатываются отдельно, и непрерывные полные контуры двух изображений получаются посредством пороговой сегментации, медианной фильтрации, выделения контуров и расчета основных осей целевых контуров для двух; Контурные изображения соответственно. Угол между основными осями является углом поворота изображения.

Классификация алгоритмов регистрации изображений:

На основе функций

первыйизвлекатьизображениеизособенность,регенерировать Описание функции и, наконец, сопоставить особенности двух изображений на основе сходства описываемых. Характеристики изображения можно в основном разделить на такие особенности, как точка, линии (края), области (поверхности) и т. д. Их также можно разделить на локальные особенности и глобальные особенности. Район (район) Извлечение признаков является более хлопотным и трудоемким, поэтому в основном используются точечные и краевые признаки. особенности。

точкаособенность：

• Harris
• Moravec
• KLT
• Harr-like
• HOG
• LBP
• SIFT
• SURF
• BRIEF
• SUSAN
• FAST
• CENSUS
• FREAK
• BRISK
• ORB
• метод светового потока
• A-KAZE

краевые особенности：

• оператор лога
• оператор Роберт
• Собель оператор
• Оператор Превитта
• Хитрый оператор

На основе оттенков серого и шаблона

Этот тип метода напрямую использует операции корреляции и другие методы для расчета значений корреляции, чтобы найти наилучшую позицию соответствия. Сопоставление шаблонов (Сопоставление блоков) заключается в поиске фрагментов изображений, похожих на изображение шаблона, в другом изображении на основе известного изображения шаблона. . Алгоритмы сопоставления на основе оттенков серого также называются алгоритмами корреляционного сопоставления, которые используют для сопоставления пространственные двумерные скользящие шаблоны. Различные алгоритмы сопоставления в основном отражаются на выборе соответствующих критериев.

Часто используемые алгоритмы：

• Алгоритм средней абсолютной разности (MAD)
• Алгоритм суммы абсолютных ошибок (SAD)
• Алгоритм суммы квадратов ошибок (SSD)
• Алгоритм ошибки средней суммы квадратов (MSD)
• Алгоритм корреляции нормализованного продукта (NCC)
• последовательныйсходствосекс Обнаружение算Закон（SSDA）
• алгоритм преобразования Адамара (SATD)
• Алгоритм кодирования локального значения серого
• PIU

На основе трансформации домена

• Использование фазовой корреляции (преобразование Фурье-Меллина) 18 Код 19
• преобразование Уолша
• вейвлет

Методы регистрации изображений условно делятся на три категории:

Один тип - На основе оттенков серого и шаблонаиз,Этот тип метода напрямую использует операции корреляции и другие методы для расчета значений корреляции, чтобы найти наилучшую совпадающую позицию.,Метод простой и жесткий,В целом эффект будет не очень хорошим.

Вторая категория – На основе функцийиз匹配方Закон,Такие как sift, функции surfточки,Или векторные особенности и т. д.,Сильная адаптивность.

Третья категория — это метод На основе трансформации домена, Использование фазовой корреляции (преобразование Фурье-Меллина) или преобразование Уолша, вейвлет и другие методы, осуществляют регистрацию под новым доменом.

По различным показателям регистрации эти методы можно свести к следующим трем категориям.

точечный знак или контрольный знак,Отметьте расположение одинаковых ориентиров между двумя изображениями.,然назад计算它们之间из转换связь。Эти标志物可以да内部基准标记物иливнешний皮肤标记物。В идеале трех пар соответствующих маркеров достаточно для расчета жесткой трансформации двух 3D-изображений.,особое внимание,Они не должны располагаться по прямой линии. Среднеквадратическую ошибку часто называют «ошибкой регистрации цели». «Ошибка регистрации цели» иногда может использоваться как показатель для минимизации фактического расстояния между двумя наборами объектов.,И не только расстояние между центроидами реперных маркеров.

Жесткая регистрация На основе функций,Для жесткой регистрации также можно использовать другие элементы, помимо опорных меток. Примеры этих объектов включают линии, кривые, облака точек или поверхности. Вообще говоря,Эти функции могут быть автоматически извлечены компьютерами.,Или вручную извлеченные людьми. Обычно,它要求配准能够существоватьодин定程度начальство容忍Извлечение ошибка. Алгоритмы регистрации применяются непосредственно к этим функциям. Поскольку соответствие неизвестно, обычно приходится выполнять итеративную оптимизация来同час估计особенностьпереписыватьсясвязьитрансформировать。最流行из算Законда迭代最近точка(ICP)算Закон,Этот алгоритм широко используется для регистрации двух наборов поверхностей или поверхностей. в некоторых приложениях,Сообщается, что он дает точные и надежные результаты.

Метод регистрации по значению интенсивности изображения。配准度量да由два幅изображение之间изсходство度计算出来из。Должен方Закон不需要预分割или预описывать Взаимно应изструктура,Поэтому может быть полностью автоматизирован,Обычно лучше, чем На основе метод регистрации функций является более надежным. Некоторые часто используемые меры сходства регистрации включают разность квадратов интенсивности (SSD), взаимный Коэффициент. корреляции (КК),Равномерность изображений и метрики, основанные на теории информации,Например, совместная энтропия и расстояние Кубе-Лейблера (KL).

Большинство этих мер применяются непосредственно ко всему изображению.,Ее часто называют глобальной метрикой. для Для достижения более точной регистрации,Некоторые исследователи также предложили свои локальные метрики.,Используйте ту же метрику, что и глобальная метрика.,Но описать интересующую область (ROI),а не весь домен изображения. Типичные примеры включают сопоставление шаблонов и важные функции регионального парламентирования.

Метод регистрации изображения

Метод регистрации Изображения можно разделить на два типа: для относительной регистрации и абсолютной регистрации: относительная регистрация подразумевает выбор одного изображения среди нескольких изображений в качестве эталонного изображения и регистрацию с ним других связанных изображений, а его система координат является произвольной. Абсолютная регистрация подразумевает сначала определение контрольной сетки, и все изображения регистрируются относительно этой сетки, то есть геометрическая коррекция каждого компонента изображения производится отдельно для достижения унификации системы координат. В этой статье в основном изучается относительная регистрация нескольких крупноформатных изображений, поэтому определение взаимосвязи сопоставления функции регистрации между несколькими изображениями — это Регистрация. ключ изображения. Обычно используется соответствующий полином, соответствующий сдвигу, вращению и аффинному преобразованию между двумя изображениями. изображения Отображение функцийсвязь Конвертироватьдлянравиться何确定多项式из系数,Как окончательное преобразование определяет точку контроля регистрации (RCP).

Метод регистрации изображения

По методу как определить РЦП и Регистрация Разница между информацией изображения, используемой в изображении и методе регистрации Изображение разделено на три основные категории: на основе метода информации в оттенках серого, метода области преобразования и метода основе функции метода, где На основе Метод функций можно подразделить на несколько категорий в зависимости от различных используемых характеристических атрибутов. Различные описанные методы будут обсуждаться ниже в соответствии с этим принципом классификации. регистрации изображенияипринцип。

зарегистрированная модель трансформации

трансформация между изображениями Пространственные отношения могут быть через трансформацию модель пространства для представления и трансформация Модель пространства, в свою очередь, может быть выполнена с использованием функции пространственного геометрического преобразования описывать. трансформация между изображениями пространства大致Можно разделитьдляглобальная трансформацияилокальная трансформация。так называемыйглобальная трансформация означает, что все точки пикселей на двух изображениях удовлетворяют одному и тому же соотношению преобразования, то есть существует общее соотношение движения между объектами наблюдения на двух изображениях. За существование глобальная Два или более образа трансформации имеют между собой четкую трансформационную связь и могут быть представлены единой функцией трансформации. глобальная трансформация — это самое базовое и распространенное преобразование между объектами, такое как перемещение, вращение и масштабирование объектов. так называемая локальная трансформация означает, что точки пикселей на двух изображениях не имеют одинаковых отношений трансформации, то есть между объектами наблюдения существует только локальное соотношение движения. В случае локального движения взаимосвязь между двумя изображениями невозможно точно представить с помощью какой-либо функции. Следовательно, для представления трансформации разных частей двух изображений необходимо несколько разных функций. пространствасвязь。локальная трансформация — это глобальная совокупность нескольких частей объекта трансформация复合и成,нравиться人体или动物из动делать所产生из局部运动ждать。общее преобразование пространствасвязь主要иметь刚体трансформировать、сходствотрансформировать、Аффинныйтрансформировать、проекциятрансформировать及非Проволокасекстрансформироватьждать。

масштабировать пространство

изображениемасштабировать пространстводасуществоватьобработка Модель изображений вводит постоянно меняющиеся параметры масштаба для обработки изображения, получения серии фрагментов изображений и получения основных характеристик изображения из информации этих фрагментов изображений. При традиционной обработке с постоянным масштабом На основе технологии изображений применяется технология многомасштабного анализа с непрерывными изменениями масштаба. пространство能够更加准确из获取所需要изизображениеособенность。因и,Технология многомасштабного анализа имеет важные перспективы применения и практическую ценность в области анализа, распознавания и понимания изображений.

После гауссоватрансформировать得到измасштабировать пространствосказатьдля Гауссовскиймасштабировать пространство,Концепция гауссовского масштабирования пространства была впервые предложена Уиткиным.,И черезKoenderinkждать人из Исследовать工делать得到进один步из发展。Кендеринк доказал, что функция ядра Гаусса является линейной ядерной функцией, а Линдеберг доказал, что функция ядра Гаусса является единственной линейной ядерной функцией.

Как упоминалось ранее, образ Обнаружения функций与изображениеиз尺度иметь着密切изсвязь。Для конкретных признаков изображения они выражаются в определенном диапазоне масштабов, то есть признаки, обнаруженные в определенном диапазоне масштабов, не могут быть обнаружены в других диапазонах масштабов.поэтому,существовать对изображениеруководить Обнаружение функции, необходимо представить образ масштабировать пространство значит образ масштабировать Пространство представляет собой особенность изображения Обнаружения. Изображение масштабировать Пространство означает, что оно может эффективно обнаруживать необходимые функции изображения, а затем получать необходимое содержание изображения. Используйте метод многомасштабного анализа для анализа изображения. пространство表示获得了广泛из应用,像常见изМетод анализа пирамид, метод вейвлет-анализа и метод анализа квадродерева относятся к категории многомасштабного анализа.。对输入изизображениеиспользовать多尺度分析,То есть к входному изображению добавляются параметры переменного масштаба.,Формируем серию субизображений, которые представляют собой изображения масштабировать пространство.

由изображениемасштабировать пространство Знать,В крупномасштабных ситуациях ложные обнаружения можно очень хорошо устранить, но точность позиционирования объектов невысока; в мелкомасштабных ситуациях позиционирование объектов может быть выполнено точно, но риск ложных обнаружений значительно возрастает;поэтому,Сначала можно провести Обнаружение в больших масштабах.,Затем найдите объекты в небольшом масштабе. Благодаря методу многомасштабного анализа изображений характеристики изображения можно анализировать более эффективно.,Получить многомасштабную информацию об изображении,Затем получите необходимое содержимое изображения.

Выбор масштаба изображения и функция дифференциального сравнения: Масштабировать изображение пространствода通过один簇другой分辨率изизображениеруководить表示из,Изображения различного разрешения получаются с помощью функции ядра Гаусса. Используя соответствующие функции, такие как дифференциалы в разных масштабах.,Элементы изображения, такие как края и углы, могут быть представлены с разным разрешением. в общем,Величина пространственной дифференциации уменьшается по мере увеличения масштаба. Однако,В масштабно-инвариантном режиме,Всегда ожидается, что амплитуда останется постоянной при изменении масштаба. поэтому,для Для сохранения масштабной инвариантности,Дифференциальная функция должна быть нормирована на масштаб наблюдения.

Ниже приведены некоторые часто используемые функции дифференциального сравнения, и все они нормализованы по масштабу:

什么дамасштабировать пространство

Все объекты, которые мы точно представляем, реагируют на определенный масштаб, а объекты в реальном мире всегда претерпевают разные изменения при наблюдении в разных масштабах. масштабировать Теория пространства была предложена еще в 1962 году. Основная идея состоит в том, чтобы получить многомасштабное масштабирование путем масштабирования исходного изображения. пространство представляет собой последовательность, для которой масштабировать Извлеките основной контур пространства и используйте его в качестве вектора объектов для реализации края, угловой точки Обнаружение и Извлечение в различных разрешениях. признаковждать。масштабировать пространство中各尺度изображениеиз模糊程度逐渐变大,能够模拟人существоватьрасстояние目标由近到远час目标существовать视网膜начальствоиз形成过程。Чем больше масштаб, тем размытее изображение.。

Общий процесс регистрации изображений на основе объектов:

Блок-схема регистрации изображений：

1. Обнаружение функций: Обнаружение функций

Обнаружение особенностей является важной задачей в процессе регистрации изображений. В зависимости от сложности проблемы обнаружение обычно классифицируется как ручное или автоматическое, но обычно предпочтительнее автоматическое обнаружение функций.

закрытые границы,край,контур,Проволока交точка,рогточка,а также它们из代表точканравиться重心или Проволока末端（统сказатьдляконтрольточка）可以делатьдляособенность。由特殊对象组成из Этиособенностьдолжно быть легко Обнаружение,Прямо сейчасособенность将да物理начальство可解释и可识别из。

Эталонное изображение должно иметь достаточный набор общих функций с плавающим изображением, не подвергаясь воздействию каких-либо неизвестных перекрытий или неожиданных изменений. Алгоритм, используемый для обнаружения, должен быть достаточно надежным, чтобы иметь возможность обнаруживать одни и те же особенности во всех проекциях сцены без каких-либо конкретных искажений или ухудшений изображения.

2.Feature matching: сопоставление функций

Долженшаг基本建立существоватьобращаться Регистрация изображений与существовать参考изображение中Обнаружение到изособенность之间изпереписыватьсясвязьначальство。

Помимо пространственных отношений между объектами, для определения точности регистрации также используются различные дескрипторы объектов и меры сходства.

Дескрипторы функций должны быть настроены соответствующим образом, чтобы они оставались инвариантными при любом ухудшении качества, в то же время они должны быть невосприимчивы к шуму и иметь возможность правильно различать различные функции.

3.Transform model estimation: преобразование изображения Модельиз评估

для Регистрация плавающего изображения с эталонным изображением,需要估计映射函数изпараметр。использоватьот前одиншаг获得изпереписыватьсяособенность来计算Этипараметр。

Выбор функции отображения зависит от априорных знаний о процессе получения изображения и ожидаемой деформации изображения. При отсутствии какой-либо предварительной информации необходимо обеспечить гибкость модели.

4.Image transformation/re-sampling: преобразование изображения

Используйте сопоставление для регистрации плавающих изображений.

Обнаружение и описание особенностей изображения

изображениеособенностьиз分辨需要经过изображениеособенностьизОбнаружениеиописыватьдва个шаг。изображение Обнаружение функции – различать особенности на изображении, описание изображения функции则да对особенностьруководить表达。

изображение Обнаружение：иметь些算ребенок将изображениеособенностьиз Обнаружениеиописывать Объедините двадляодин,То есть первая половина оператора - Обнаружение.,Вторая половина оператора описывается,нравитьсяSIFT算ребенок及其变种。изображение Обнаружение Функции можно разделить на для На по характерным типам Обнаружения. основе функцииточка, основанная на блоках blob и В зависимости от регионаиз Обнаружение функций。изображение Обнаружение функцийодин个重要из起точкадаMoravec所提出изрогточкаконцепция,Он предложил использовать угловую точку Моравца для сопоставления видео в 1981 году, а Стивенс предложил оператор Харриса в 1988 году;,улучшенныйMoravec算ребенок对小изизображение变化икрай保持изиметь效секс；противHarris算ребенок对尺度敏感问题,KristianиLoweпредставлены отдельноHarris-Laplacian算ребенокиSIFT算ребенок；Matasждатьсуществовать2002年提出最大稳定极值область（Maximally StableExtremal Регионы, MSER) ​​Метод аффинно-инвариантной области Обнаружение Миколайчик и Шмид в 2004 году объединили точку угла Харриса Обнаружение с масштабировать; теорию пространства и построить аффинную область, а также получить масштабно-инвариантный сын Харрис-Аффинного Обнаружения и аффинно-инвариантный сын Гессиан-Аффинного Обнаружения Туйтелаарса в 2004 году; В 2012 году был предложен метод на основе краев, который использует края изображения и оттенки серого для обнаружения аффинных областей. Детекторы регионов, EBR) и основанные на интенсивности Детектор регионов (IBR); вдохновленный теорией информации, Кадир и Брейди в 2004 году предложили находить заметные области (выдающиеся) для существенных особенностей. Регионы, СР) детектор.

изображениеописывать：Описание Функция состоит в том, чтобы выразить характеристики Обнаружения и осуществить парламентие. Подготовка функций. Описание изображения Методы функций обычно можно разделить на три категории: Описание, основанное на распределении окрестностей. функция метод, основанный на фильтрах метод функции и описание на основе инвариантных моментов функции方Закон。

Критерии оценки ошибок

Регистрация Оценка изображений является более сложной задачей, чем для. Причина в том, что не существует единого стандарта и разные типы изображений могут требовать разных методов оценки. Для разных точки Для регистрации одной и той же сцены при взгляде критериями оценки являются частота повторения, инвариантность и количество признаков. В приложениях классификации и распознавания определение и измерение частоты повторений более сложны и могут быть измерены только по устойчивости к небольшим изменениям. Регистрация Ошибка изображения связана с изображением Обнаружение. Ошибка позиционирования при использовании функций, ошибка сопоставления при сопоставлении изображений и преобразовании Ошибка преобразования изображения, оказывающая наибольшее влияние на изображение, — «Обнаружение». Ошибка позиционирования при выполнении функций будет иметь прямое влияние на последующую точность сопоставления и точность преобразования. Поэтому при оценке производительности алгоритма в данной статье используется Корделия. Schmidиз重复率（Repeatability）делатьдля算Закон误差из衡量标准。对于同один场景существоватьдругойиз拍摄情况下获得из多幅изображение,Частота повторений ясно указывает на геометрическую стабильность наблюдаемого интереса к этим изображениям. Для двух изображений,重复率дасуществовать这два幅изображение均出现изособенностьточка占所иметьособенностьточкаиз比例。

Критерии оценки регистрации изображений на шельфе

Обычно используется для одномодовой регистрации изображений. Корреляция Coefficient, CC) для измерения эффекта, при этом часто используется многорежимная регистрация изображений; взаимная информация（Mutual Information, МИ) мера.

1. Актуальность

Корреляция — это, по сути, мера сходства, которая дает представление о том, насколько похожи плавающее изображение и эталонное изображение. Если два изображения абсолютно одинаковы, корреляция равна 1, если два изображения совершенно не связаны, значение корреляции равно 0, если значение корреляции равно -1, это означает, что изображения полностью анти; -коррелировано, что означает, что одно изображение является другим А-негативом. Используя корреляцию в качестве критерия оценки, одномодальная регистрация может привести к удовлетворительным результатам.

Для последовательности изображений одного и того же объекта из-за различий в условиях получения изображения или небольших изменений самого объекта,использовать使изображение间сходствосексмаксимизироватьизпринципвыполнитьизображение间из配准,Прямо сейчас通过优化два幅изображение间сходствосекс准则来估计трансформироватьпараметр,,主要да刚体из Кастрюляи旋转。Актуальность В основном ограничивается одиночным режимом Регистрация изображения,В частности, сравнение серии изображений,В них обнаруживаются небольшие изменения, вызванные заболеванием.

Это выражается как:

x_i, y_i — интенсивность i-го пикселя плавающего изображения и опорного изображения соответственно;

x_m, y_m — средняя интенсивность плавающего изображения и эталонного изображения.

2. взаимная информация

взаимная Информация — это еще одна мера, определяющая сходство интенсивностей изображений соответствующих вокселей в двух изображениях. Когда два изображения точно совмещены, взаимозаимная информациямаксимизировать。взаимная Значения информации неотрицательны и симметричны. Его диапазон начинается с нуля и может варьироваться до высоких значений. Высокая взаимоимная Значение информации представляет собой значительное снижение неопределенности, в то время как нулевое значение равнозначно. Значение информации ясно показывает, что эти две переменные независимы.

由于Должен方Закон不需要对два种成像模式中изображение强度间связьизсекс质делать任何假设,Нет необходимости в сегментации изображения или какой-либо предварительной обработке.,Поэтому он широко используется в различных задачах регистрации, таких как КТ/МР и ПЭТ/МР. Метод максимальной взаимной информации можно использовать практически при любой регистрации изображений в различных режимах.,Особенно когда часть данных одного из изображений отсутствует, можно получить хороший эффект совмещения.

p(x, y) — совместная функция распределения; p_1(x) и p_2(y) — маргинальные функции распределения;

Для оценки также часто используются такие показатели, как потери DICE5 и коэффициент энтропийной корреляции (ECC) в области сегментации изображений.

Регистрация изображения с использованием OpenCV

Мы используем самый простой код, доступный в Интернете, для выполнения простейшей регистрации. Нам нужно использовать библиотеку opencv и библиотеку imutils. Конкретный код и результаты экспериментов следующие:

import numpy as np
import imutils
import cv2

# Прочитайте изображение и оттеньте его в оттенках серого.
img_align = cv2.imread("../dataset/Registration/image-1.jpg")
img_temp = cv2.imread("../dataset/Registration/image.jpg")
img1 = cv2.cvtColor(img_align, cv2.COLOR_RGB2GRAY)
img2 = cv2.cvtColor(img_temp, cv2.COLOR_RGB2GRAY)
height, width = img2.shape

# Получите ключевую точку и опишите символы для соответствия файлам шаблонов.
# Чем больше значение, установленное ORB_create, тем больше количество ключевых точек.
k = 1000
orb_detector = cv2.ORB_create(k)
kp1, d1 = orb_detector.detectAndCompute(img1, None)
kp2, d2 = orb_detector.detectAndCompute(img2, None)
matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = matcher.match(d1, d2)

# matches.sorted(key = lambda x: x.distance)
matches = matches[:int(len(matches) * 0.9)]
no_of_matches = len(matches)
p1 = np.zeros((no_of_matches, 2))
p2 = np.zeros((no_of_matches, 2))
for i in range(len(matches)):
    p1[i, :] = kp1[matches[i].queryIdx].pt
    p2[i, :] = kp2[matches[i].trainIdx].pt
    
# Проверка создания изображения для результата Гомография
homography, mask = cv2.findHomography(p1, p2, cv2.RANSAC)

# Регистрация изображений
transformed_img = cv2.warpPerspective(img_align, homography, (width, height))
matchedVis = cv2.drawMatches(img1, kp1, img2, kp2, matches, None)
matchedVis = imutils.resize(matchedVis, width=1000)
cv2.imwrite('../dataset/Registration/result{}.jpeg'.format(k), matchedVis)
cv2.waitKey(0)

Сопоставление изображений на основе функций сверточной нейронной сети

Сверточная нейронная сеть (CNN) — это модель глубокого обучения, которая широко используется в области обработки изображений. Сопоставление изображений означает поиск изображения, которое наиболее похоже на входное изображение в библиотеке изображений. Метод сопоставления изображений, основанный на функциях CNN, использует сверточные нейронные сети для извлечения функций изображения, а затем использует эти функции для сопоставления изображений. Этот метод более точен и надежен, чем традиционный метод ручного проектирования функций.

на основеCNNособенностьизизображение匹配из Исследоватьшаг：

1. Подготовка данных: подготовьте обучающий набор и тестовый набор. Обучающий набор должен содержать изображения из нескольких категорий, и каждая категория должна содержать несколько изображений. Тестовый набор должен содержать сопоставляемые изображения и соответствующие метки.
2. CNNИзвлечение признаков: используйте предварительно обученные модели CNN (например, VGG、ResNetждать）извлекать每张изображениеизособенностьвектор。可以использоватьCNNМодельиз卷积层или全连接层из输出делатьдляособенностьвектор,Также можно использовать выходные данные слоя пула. в целом,использовать最назадодин层卷积层из输出делатьдляособенностьвектор效果较好。
3. сопоставление Функции: введите вектор признаков в алгоритм сопоставления для выполнения анализа. функции. Обычно используемые алгоритмы сопоставления включают евклидово расстояние, косинусное расстояние и т. д. При сопоставлении вы можете выбрать сопоставление ближайшего соседа (Nearest Сосед, NN) или На основе Как найти вектор функций.
4. Оценка производительности. Используйте оценочные показатели (такие как точность, полнота, показатель F1 и т. д.), чтобы оценить эффективность сопоставления изображений.

Методы сопоставления изображений, основанные на функциях CNN, широко используются в поиске изображений, распознавании лиц, поиске изображений и других областях. Поскольку сверточные нейронные сети могут автоматически изучать функции, методы сопоставления изображений, основанные на функциях CNN, являются более точными и надежными, чем традиционные методы.

Технология регистрации изображений на основе FCN и взаимной информации

Ввиду проблем, с которыми традиционные методы регистрации имеют такие проблемы, как медленная скорость сходимости и легкое попадание в экстремальные значения при регистрации трехмерных мультимодальных изображений, метод, основанный на полностью сверточной нейронной сети (Fully Convolutional Networks,FCN）ивзаимная информацияиз配准方Закон。использоватьFCNМодельизвлекать二维изображение深层особенность并руководить粗配准；将得到из配准结果делатьдлявзаимная информация о начальной точке поиска алгоритма, тем самым сужая область поиска до уровня, близкого к глобальному оптимальному решению, используя взаимозаменяемую точку; Алгоритм информации дополнительно настраивает и оптимизирует параметры для получения оптимального результата трехмерной регистрации.。Результаты экспериментов показывают,Во время CT-MRРегистрация изображения,Предложенный метод позволяет не только значительно повысить скорость регистрации.,Это также позволяет эффективно избегать локальной конвергенции.,Имеет более высокую точность.

взаимная информация — один из наиболее распространенных методов регистрации на основе оттенков серого. в взаимоимной информация Регистрация В изображении наиболее часто используемые алгоритмы оптимизации показаны на рисунке ниже.

Полностью сверточная нейронная сеть (FCN)

Полностью сверточная нейронная сеть (Полностью ConvolutionalNetworks,FCN）。FCN Это на CNN Развитие и расширение этих двух, самая большая разница между ними - FCN. Сверточный слой заменяет полностью связный слой (как показано на рисунке 1). Как показано), именно эта разница позволяет FCN избежать потери информации о пространственном положении изображения, вызванной линейным преобразованием полностью связанного слоя, и еще больше обогатить изучение функций. В то же время, благодаря совместному использованию весов сверточного слоя, FCN эффективно уменьшает количество параметров обучения сети и может повысить скорость обучения модели. Структура сети FCN показана на рисунке ниже.

Построение модели FCN

Вся модель состоит из двух частей: эталонного изображения и соответствующего многомасштабного плавающего изображения. признаковустройствоMulti-Scale Layer (часть a на рисунке ниже) и через Concatenate Публичное Извлечение после каскадного слияния (на рисунке обозначено буквой С) признаковустройствоPublic Layer。

Алгоритм процесса

В статье используются FCN и взаимоимная Алгоритм гибридной оптимизации информации реализует трехмерную структуру. изображения Миссия. Используйте результаты регистрации, полученные FCN, чтобы сделать взаимную информация搜索算Закониз起始точка,Получите более точные параметры регистрации за счет дальнейшей поисковой оптимизации.,Весь процесс регистрации показан на рисунке ниже.

Критерии оценки результатов эксперимента

Коэффициент подобия (DSC)

сходствосекс系数用于度量实际配准结果与理论配准结果из重合度,Формула такая, как показано ниже。

A и B соответственно представляют плавающее изображение, зарегистрированное с помощью метода, описанного в этой статье, и плавающее изображение, зарегистрированное с помощью параметров метки.

Коэффициент корреляции (КК)

Взаимносвязьматематические расчеты чисел Формула такая, как показано ниже：

Среди них Н. Представляет количество пикселей в изображении, Mi представляет значение оттенков серого плавающего изображения, Si представляет значение серого эталонного изображения.,M'、S'分别表示浮动изображениеи参考изображениеиз平均灰度值。сходствосекс系数（DSC）、взаимная информация（MI） Как и индекс коэффициента корреляции (CC), чем выше значение, тем лучше эффект регистрации.。

взаимная информация

взаимная информация(Mutual Информация) — мера степени взаимозависимости между случайными переменными. Предположим, есть случайная переменная X и другая случайная переменная Y, тогда их взаимоимная информацию, как показано ниже.

время регистрации

Это время, необходимое для работы алгоритма.

Ссылки:

Краткое изложение традиционных алгоритмов регистрации изображений (qq.com)

Как завершить регистрацию изображения — классическую проблему обработки изображений? Приходите и получите этот обзор регистрации изображений (qq.com)

[Обучение регистрации изображений] Основы регистрации изображений (qq.com)

Как зарегистрировать изображения (qq.com)

Регистрация изображений — жесткая регистрация (qq.com)

Регистрация изображения_Энциклопедия Baidu (baidu.com)

[Организация] Соответствующие знания о регистрации изображений (Регистрация изображений)_117 Блог Bottles of Fruit Orange — блог CSDN

[Компьютерное зрение] Регистрация изображения (изображение Registration) - Маленькая золотая ворона будет сиять－Z&M - Блог Парк (cnblogs.com)

Сопоставление изображений на основе функций сверточной нейронной сети Исследовать-наггетсы (juejin.cn)

На основе FCN и взаимной информацияиз医学Регистрация изображения Технические исследования (Исследование) - наггетсы (juejin.cn)

1.Регистрация изображения Краткое описание_sfiРегистрация изображенияизпринцип-CSDNблог

О регистрации-Блог CSDN

Регистрация изображения Введение-CSDNблог

Регистрация изображений (основы) — блог CSDN

[Организация] Соответствующие знания о регистрации изображений (Регистрация изображений) — блог CSDN

Машинное зрение (9): Блог регистрации изображений_liutangplease — блог CSDN

【Регистрация изображения】Алгоритм сопоставления шаблонов на основе оттенков серого (1): MAD, SAD, SSD, MSD, NCC, SSDA, Алгоритм Блог SATD_Grayscale Matching-CSDN

Разница между такими понятиями, как сопоставление изображений, регистрация, слияние и сращивание_Как выполнять сращивание и слияние изображений_Блог Ле Чжэн Цяньяна - блог CSDN