Корреляция и отслеживание цифровых изображений

Корреляция и отслеживание цифровых изображений — это оптический метод, в котором используются методы отслеживания и регистрации изображений для точных 2D и 3D измерений изменений в изображениях. Этот метод часто используется для измерения смещений и деформаций по всему полю и широко применяется во многих областях науки и техники. По сравнению с тензорезисторами и экстензометрами методы корреляции цифровых изображений предоставляют более подробную информацию о деформации благодаря способности предоставлять как локальные, так и усредненные данные.

Обзор

Популярность методов корреляции цифровых изображений (DIC) растет, особенно в приложениях механических испытаний в микро- и наномасштабах, из-за их относительной простоты реализации и использования. Достижения в области компьютерных технологий и цифровых камер стали основой для этого метода, и хотя преобладающим подходом была оптика белого света, DIC может быть распространен практически на любую технологию обработки изображений.

Концепция использования взаимной корреляции для измерения сдвигов в наборах данных известна уже давно и применяется к цифровым изображениям, по крайней мере, с начала 1970-х годов. Современные приложения практически бесчисленны, включая анализ изображений, сжатие изображений, измерение скорости и оценку деформации. Большую часть первых работ DIC в области механики провели исследователи из Университета Южной Каролины в начале 1980-х годов. и был оптимизирован и улучшен в последние годы. Обычно DIC полагается на поиск максимума корреляционного массива между подмножествами массива интенсивностей пикселей на двух или более соответствующих изображениях, что дает целочисленный поступательный сдвиг между ними. Также возможно оценить сдвиги до более высокого разрешения, чем разрешение исходных изображений, что часто называют «субпиксельной» регистрацией, поскольку измеренный сдвиг меньше целочисленной единицы пикселя. Для субпиксельной интерполяции сдвига другие методы не просто максимизируют коэффициент корреляции. Итерационный подход также может использоваться для максимизации интерполированного коэффициента корреляции с использованием методов нелинейной оптимизации. Подход нелинейной оптимизации имеет тенденцию быть концептуально более простым и может более точно обрабатывать большие деформации, но, как и большинство методов нелинейной оптимизации, , это медленнее.

Двумерная дискретная взаимная корреляция $r_{ij}$ можно определить несколькими способами, одним из которых является:

$r_{ij}={\frac {\sum _{m}\sum _{n}[f(m+i,n+j)-{\bar {f}}][g(m,n)-{\bar {g}}]}{\sqrt {\sum _{m}\sum _{n}{[f(m,n)-{\bar {f}}]^{2}}\sum _{m}\sum _{n}{[g(m,n)-{\bar {g}}]^{2}}}}}.$

Здесь f ( m , n ) — интенсивность пикселя или значение шкалы серого в точке ( m , n ) исходного изображения, g ( m , n ) — значение шкалы серого в точке ( m , n ) в переведенном изображении, ${\bar {f}}$ и ${\bar {g}}$ – средние значения матриц интенсивности f и g соответственно.

Однако в практических приложениях корреляционный массив обычно вычисляется с использованием методов преобразования Фурье, поскольку быстрое преобразование Фурье является гораздо более быстрым методом, чем непосредственное вычисление корреляции.

$\mathbf {F} ={\mathcal {F}}\{f\},\quad \mathbf {G} ={\mathcal {F}}\{g\}.$

Затем, взяв комплексное сопряжение второго результата и поэлементно умножив преобразования Фурье , мы получаем преобразование Фурье коррелограммы: $\ R$:

$R=\mathbf {F} \circ \mathbf {G} ^{*},$

где $\circ$ – произведение Адамара (произведение по входу). В этой точке также довольно часто нормализуют величины к единице, что приводит к изменению, называемому фазовой корреляцией .

Тогда взаимная корреляция получается применением обратного преобразования Фурье:

$\ r={\mathcal {F}}^{-1}\{R\}.$

В этой точке координаты максимума $r_{ij}$ дать целочисленный сдвиг:

$(\Delta x,\Delta y)=\arg \max _{(i,j)}\{r\}.$

Картирование деформаций

Для отображения деформации функция отображения, которая связывает изображения, может быть получена путем сравнения набора пар подокна по всем изображениям. (Рисунок 1). Координаты или точки сетки ( x _i , y _j ) и ( x _i ^* , да _дж ^* ) связаны переводами, которые происходят между двумя изображениями. Если деформация мала и перпендикулярна оптической оси камеры, то соотношение между ( x _i , y _j ) и ( x _i ^* , да _дж ^* ) можно аппроксимировать двумерным аффинным преобразованием, например:

$x^{*}=x+u+{\frac {\partial u}{\partial x}}\Delta x+{\frac {\partial u}{\partial y}}\Delta y,$

$y^{*}=y+v+{\frac {\partial v}{\partial x}}\Delta x+{\frac {\partial v}{\partial y}}\Delta y.$

Здесь u и v — сдвиг центра фрагмента изображения в направлениях X и Y соответственно. Расстояния от центра фрагмента изображения до точки ( x , y ) обозначаются через $\Delta x$ и $\Delta y$. Таким образом, коэффициент корреляции r _ij является функцией компонентов смещения ( u , v ) и градиентов смещения.

${\frac {\partial u}{\partial x}},{\frac {\partial u}{\partial y}},{\frac {\partial v}{\partial x}},{\frac {\partial v}{\partial y}}.$

Основная концепция картографии деформаций с помощью DIC

ДИК оказался очень эффективным при картировании деформации при макроскопических механических испытаниях, где применение зеркальных маркеров (например, краски, тонера) или обработки поверхности в результате механической обработки и полировки обеспечивает необходимый контраст для хорошего сопоставления изображений. Однако эти методы нанесения поверхностного контраста не распространяются на нанесение отдельно стоящих тонких пленок по нескольким причинам. Во-первых, осаждение из паровой фазы при нормальных температурах на подложки полупроводникового качества приводит к получению пленок зеркального качества со среднеквадратичной шероховатостью, которая обычно составляет порядка нескольких нанометров. Никакие последующие этапы полировки или отделки не требуются, и если не используются методы электронной визуализации, позволяющие различить микроструктурные особенности, пленки не обладают достаточным контрастом поверхности для адекватного сопоставления изображений. Обычно эту проблему можно обойти, нанеся краску, которая приводит к образованию случайного рисунка пятен на поверхности, хотя большие и турбулентные силы, возникающие в результате распыления или нанесения краски на поверхность отдельно стоящей тонкой пленки, слишком велики и могут разрушить образцы. Кроме того, размеры отдельных частиц краски составляют порядка мкм, а толщина пленки — всего несколько сотен нанометров, что было бы аналогично поддержанию большого валуна на тонком листе бумаги.

мкДИК

Достижения в области нанесения и осаждения рисунков в уменьшенных масштабах длины позволили использовать методы мелкомасштабного синтеза, включая наномасштабную химическую реструктуризацию поверхности и фотолитографию сгенерированных компьютером случайных зеркальных узоров, чтобы создать подходящий поверхностный контраст для DIC. Одним из подходов является нанесение очень мелких частиц порошка, которые электростатически прилипают к поверхности образца и могут отслеживаться цифровым способом. Для тонких пленок Al первоначально использовался мелкозернистый абразивный полировальный порошок из оксида алюминия, поскольку размеры частиц относительно хорошо контролируются, хотя адгезия к пленкам Al была не очень хорошей, и частицы имели тенденцию к чрезмерной агломерации. Кандидатом, который работал наиболее эффективно, был порошок диоксида кремния, разработанный для высокотемпературного клеевого состава (Aremco, Inc.), который наносился через пластиковый шприц.

Легкий слой порошка покрыл бы измерительную часть образца, а более крупные частицы можно было бы аккуратно сдуть. Остальные частицы будут иметь лучшую адгезию к поверхности. Хотя полученный контраст поверхности не идеален для ДВС-синдрома, высокое соотношение интенсивностей между частицами и фоном дает уникальную возможность отслеживать частицы между последовательными цифровыми изображениями, сделанными во время деформации. Этого можно добиться довольно просто, используя методы цифровой обработки изображений. Субпиксельное отслеживание может быть достигнуто с помощью ряда методов корреляции или путем подгонки к известным профилям интенсивности частиц.

Фотолитография и электронно-лучевая литография могут использоваться для создания микроинструментов для микроспекл-штампов, а штампы могут печатать спекл-рисунки на поверхности образца. Можно выбрать чернила для штампов, подходящие для оптических исследований DIC, SEM-DIC и одновременных исследований SEM-DIC/ EBSD (чернила могут быть прозрачными для EBSD).

Корреляция цифрового объема

Цифровая объемная корреляция (DVC, иногда называемая Volumetric-DIC) расширяет алгоритмы 2D-DIC на три измерения для расчета трехмерной деформации всего поля на основе пары трехмерных изображений. Этот метод отличается от 3D-DIC, который рассчитывает только трехмерную деформацию внешней поверхности с использованием обычных оптических изображений. Алгоритм DVC способен отслеживать информацию о смещении всего поля в форме вокселей, а не пикселей. Теория аналогична описанной выше, за исключением того, что добавляется еще одно измерение: z-измерение. Смещение рассчитывается на основе корреляции 3D-подмножеств эталонного и деформированного объемного изображений, что аналогично корреляции 2D-подмножеств, описанной выше.

DVC может быть выполнен с использованием наборов данных объемных изображений. Эти изображения можно получить с помощью конфокальной микроскопии , рентгеновской компьютерной томографии , магнитно-резонансной томографии или других методов. Подобно другим методам ДИК, изображения должны иметь четкий высококонтрастный трехмерный «пятнистый рисунок», чтобы обеспечить точное измерение смещения.

ДВК был впервые разработан в 1999 году для изучения деформации трабекулярной кости с использованием рентгеновских изображений компьютерной томографии. С тех пор области применения ДВК расширились и теперь включают гранулированные материалы, металлы, пенопласты, композиты и биологические материалы. На сегодняшний день он используется для изображений, полученных с помощью МРТ , компьютерной томографии (КТ), микроКТ , конфокальной микроскопии , и светолистовая микроскопия. В настоящее время DVC считается идеальным в исследовательском мире для трехмерной количественной оценки локальных смещений, деформаций и напряжений в биологических образцах. Он предпочтительнее из-за неинвазивности метода по сравнению с традиционными экспериментальными методами.

Двумя ключевыми задачами являются повышение скорости и надежности измерений DVC. Методы 3D-изображений создают более шумные изображения, чем обычные 2D-оптические изображения, что снижает качество измерения смещения. Скорость вычислений ограничена размерами файлов 3D-изображений, которые значительно больше, чем 2D-изображения. Например, 8-битное (1024x1024) пиксельное 2D-изображение имеет размер файла 1 МБ, а 8-битное (1024x1024x1024) воксельное 3D-изображение имеет размер файла 1 ГБ. Частично это можно компенсировать с помощью параллельных вычислений .

Приложения

Корреляция цифровых изображений продемонстрировала применение в следующих отраслях:

• Автомобильная промышленность
• Аэрокосмическая промышленность
• Биологический
• Промышленный
• Исследования и образование
• Правительство и военные
• Биомеханика
• Робототехника
• Электроника

Он также использовался для картирования деформаций при землетрясении.

Стандартизация ДИК

Международное общество корреляции цифровых изображений (iDICs) — это организация, состоящая из представителей академических кругов, правительства и промышленности, которая занимается обучением и обучением конечных пользователей системам DIC, а также стандартизацией практики DIC для общих приложений. iDIC, созданный в 2015 году. была сосредоточена на создании стандартизации для пользователей DIC.

См. также

• Оптический поток
• Стресс
• Напряжение
• Вектор смещения
• Измерение скорости изображения частиц
• Корреляция цифровых изображений для электроники

Внешние ссылки

• Mathematica ImageCorrelate Функция
• Использование корреляции цифровых изображений для измерения деформации лопасти трубы
• Имиджевые системы ДИК
• DIC в электронном дизайне
• Приложения DIC в аэрокосмической отрасли
• 3D-измерения оптической деформации
• Международное общество корреляции цифровых изображений ( iDICs )