Масштабировать пространство
Теория масштабного пространства — это основа для многомасштабного сигналов представления , разработанная сообществами компьютерного зрения , обработки изображений и сигналов с дополнительными мотивами из физики и биологического зрения . Это формальная теория обработки структур изображений в разных масштабах путем представления изображения как однопараметрического семейства сглаженных изображений, представления в масштабном пространстве , параметризованного размером сглаживания ядра , используемого для подавления мелкомасштабных структур. [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] Параметр в этом семействе называется параметром масштаба , при этом интерпретируется, что структуры изображения пространственного размера меньше примерно были в значительной степени сглажены на уровне масштаба-пространства в масштабе .
Основным типом масштабного пространства является линейное (гауссово) масштабное пространство , которое имеет широкую применимость, а также привлекательное свойство, заключающееся в том, что его можно вывести из небольшого набора аксиом масштабного пространства . Соответствующая структура масштабного пространства включает в себя теорию операторов производной Гаусса, которую можно использовать в качестве основы для выражения большого класса визуальных операций для компьютеризированных систем, обрабатывающих визуальную информацию. Эта структура также позволяет сделать визуальные операции инвариантными к масштабу , что необходимо для обработки изменений размера, которые могут возникнуть в данных изображения, поскольку объекты реального мира могут иметь разные размеры, и, кроме того, расстояние между объектом и камерой может изменяться. быть неизвестным и может варьироваться в зависимости от обстоятельств. [ 9 ] [ 10 ]
Определение
[ редактировать ]Понятие масштабного пространства применяется к сигналам произвольного числа переменных. Наиболее распространенный случай в литературе относится к двумерным изображениям, которые и представлены здесь. Для данного изображения , его линейное (гауссово) представление в масштабном пространстве представляет собой семейство производных сигналов определяется сверткой с двумерным гауссовским ядром
такой, что
где точка с запятой в аргументе подразумевает, что свертка выполняется только над переменными , а параметр масштаба после точки с запятой просто указывается, какой уровень масштаба определяется. Это определение работает для континуума масштабов , но обычно фактически рассматривается только конечный дискретный набор уровней представления в масштабном пространстве.
Параметр масштаба является дисперсией фильтра Гаусса и пределом для фильтр становится импульсной функцией такой, что то есть представление в масштабном пространстве на уровне масштаба это изображение сам. Как увеличивается, это результат сглаживания с помощью фильтра все большего и большего размера, тем самым удаляя все больше и больше деталей, содержащихся в изображении. Поскольку стандартное отклонение фильтра равно , детали, значительно меньшие этого значения, в значительной степени удаляются из изображения при параметре масштаба , см. следующий рисунок и [ 11 ] для графических иллюстраций.
-
Представление в масштабном пространстве в масштабе , соответствующий исходному изображению
-
Представление в масштабном пространстве в масштабе
-
Представление в масштабном пространстве в масштабе
-
Представление в масштабном пространстве в масштабе
-
Представление в масштабном пространстве в масштабе
-
Представление в масштабном пространстве в масштабе
Почему фильтр Гаусса?
[ редактировать ]Столкнувшись с задачей создания многомасштабного представления, можно задаться вопросом: может ли любой фильтр g низкочастотного типа и с параметром t , определяющим его ширину, использоваться для создания масштабного пространства? Ответ — нет, поскольку крайне важно, чтобы сглаживающий фильтр не создавал новых ложных структур в крупных масштабах, которые не соответствуют упрощениям соответствующих структур в более мелких масштабах. В литературе по масштабному пространству было описано несколько различных способов формулировки этого критерия в точных математических терминах.
Вывод из нескольких представленных различных аксиоматических выводов заключается в том, что пространство гауссовского масштаба представляет собой канонический способ создания пространства линейного масштаба, основанный на существенном требовании, согласно которому новые структуры не должны создаваться при переходе от мелкого масштаба к любому более грубому масштабу. . [ 1 ] [ 3 ] [ 4 ] [ 6 ] [ 9 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] [ 19 ] Условия, называемые аксиомами масштабного пространства , которые использовались для вывода уникальности ядра Гаусса, включают линейность , инвариантность сдвига , структуру полугруппы , отсутствие усиления локальных экстремумов , масштабную инвариантность и вращательную инвариантность . В работах, [ 15 ] [ 20 ] [ 21 ] уникальность, заявленная в аргументах, основанных на масштабной инвариантности, подверглась критике, и были предложены альтернативные самоподобные ядра в масштабном пространстве. Однако гауссово ядро является уникальным выбором согласно аксиоматике масштабного пространства, основанной на причинности. [ 3 ] или отсутствие усиления локальных экстремумов. [ 16 ] [ 18 ]
Альтернативное определение
[ редактировать ]Эквивалентно , семейство масштабных пространств можно определить как решение уравнения диффузии (например, в терминах уравнения теплопроводности ),
с начальным состоянием . в масштабном пространстве Эта формулировка представления L означает, что можно интерпретировать значения интенсивности изображения f как «распределение температуры» в плоскости изображения и что процесс, который генерирует представление в масштабном пространстве как функцию t, соответствует тепла к диффузии в плоскости изображения за время t (полагая теплопроводность материала равной произвольно выбранной постоянной 1/2 ) . Хотя эта связь может показаться поверхностной читателю, не знакомому с дифференциальными уравнениями , на самом деле основная формулировка масштабного пространства в терминах отсутствия усиления локальных экстремумов выражается в терминах условия знака для частных производных в 2 +1-D объем, создаваемый масштабным пространством, то есть в рамках уравнений в частных производных . Более того, детальный анализ дискретного случая показывает, что уравнение диффузии обеспечивает объединяющую связь между непрерывными и дискретными масштабными пространствами, что также обобщается на нелинейные масштабные пространства, например, с использованием анизотропной диффузии . Следовательно, можно сказать, что основным способом создания масштабного пространства является использование уравнения диффузии и что ядро Гаусса возникает как функция Грина этого конкретного уравнения в частных производных.
Мотивации
[ редактировать ]Мотивация создания представления данного набора данных в масштабном пространстве исходит из основного наблюдения о том, что объекты реального мира состоят из разных структур в разных масштабах . Это означает, что объекты реального мира, в отличие от идеализированных математических объектов, таких как точки или линии , могут проявляться по-разному в зависимости от масштаба наблюдения. Например, понятие «дерево» подходит для масштаба метров, тогда как такие понятия, как листья и молекулы, более подходят для более мелких масштабов. Для системы компьютерного зрения, анализирующей неизвестную сцену, нет возможности априори узнать, какие масштабы подходят для описания интересных структур в данных изображения. Следовательно, единственный разумный подход — рассматривать описания в нескольких масштабах, чтобы иметь возможность уловить неизвестные вариации масштаба, которые могут возникнуть. Доведенное до предела представление в масштабном пространстве учитывает представления во всех масштабах. [ 9 ]
Другая мотивация концепции масштабного пространства исходит из процесса выполнения физических измерений реальных данных. Чтобы извлечь какую-либо информацию из процесса измерения, необходимо применить операторы небесконечно малого размера к данным . Во многих областях информатики и прикладной математики размер оператора измерения не учитывается при теоретическом моделировании задачи. С другой стороны, теория масштабного пространства явно включает необходимость небесконечно малого размера операторов изображения как неотъемлемой части любого измерения, а также любой другой операции, которая зависит от реального измерения. [ 5 ]
Существует тесная связь между теорией масштабного пространства и биологическим видением. Многие операции в масштабном пространстве демонстрируют высокую степень сходства с профилями рецептивных полей, записанными на сетчатке млекопитающих и на первых стадиях зрительной коры. В этом отношении структуру масштабного пространства можно рассматривать как теоретически обоснованную парадигму раннего видения, которая, кроме того, была тщательно проверена с помощью алгоритмов и экспериментов. [ 4 ] [ 9 ]
Гауссовы производные
[ редактировать ]В любом масштабе в масштабном пространстве мы можем применять операторы локальной производной к представлению в масштабном пространстве:
Благодаря коммутативному свойству оператора производной и оператора гауссовского сглаживания такие производные в масштабном пространстве могут быть эквивалентно вычислены путем свертки исходного изображения с операторами производной Гаусса. По этой причине их часто также называют производными Гаусса :
Единственность операторов производной Гаусса как локальных операций, полученных из представления в масштабном пространстве, может быть получена с помощью аналогичных аксиоматических выводов, которые используются для вывода уникальности гауссовского ядра для сглаживания в масштабном пространстве. [ 4 ] [ 22 ]
Визуальный интерфейс
[ редактировать ]Эти операторы производной Гаусса, в свою очередь, могут быть объединены с помощью линейных или нелинейных операторов в большее количество различных типов детекторов признаков, которые во многих случаях могут быть хорошо смоделированы с помощью дифференциальной геометрии . В частности, инвариантность (или, точнее, ковариация ) к локальным геометрическим преобразованиям, таким как вращения или локальные аффинные преобразования, может быть получена путем рассмотрения дифференциальных инвариантов в соответствующем классе преобразований или, альтернативно, путем нормализации операторов гауссовой производной к локально определенной системе координат, определенной например, из предпочтительной ориентации в области изображения или путем применения предпочтительного локального аффинного преобразования к локальному фрагменту изображения ( см. в статье об адаптации аффинной формы более подробную информацию ).
Когда операторы производной Гаусса и дифференциальные инварианты используются таким образом в качестве детекторов основных признаков в нескольких масштабах, незафиксированные первые этапы визуальной обработки часто называют визуальным интерфейсом . Эта общая структура применялась для решения большого количества задач в компьютерном зрении, включая обнаружение признаков , классификацию признаков , сегментацию изображений , сопоставление изображений , оценку движения , вычисление сигналов формы и распознавание объектов . Набор операторов производной Гаусса до определенного порядка часто называют N-струей и представляет собой базовый тип функции в рамках структуры масштабного пространства.
Примеры детекторов
[ редактировать ]Следуя идее выражения визуальных операций в терминах дифференциальных инвариантов, вычисленных в нескольких масштабах с использованием операторов производной Гаусса, мы можем выразить детектор краев из набора точек, которые удовлетворяют требованию, чтобы величина градиента
должен принять локальный максимум в направлении градиента
Разработав дифференциальную геометрию, можно показать [ 4 ] что этот дифференциальный детектор границ может быть эквивалентно выражен через переходы через нуль дифференциального инварианта второго порядка
которые удовлетворяют следующему знаковому условию на дифференциальном инварианте третьего порядка:
Аналогичным образом, многомасштабные детекторы капель в любом заданном фиксированном масштабе [ 23 ] [ 9 ] может быть получено из локальных максимумов и локальных минимумов любого оператора Лапласа (также называемого лапласианом гауссиана )
или определитель матрицы Гессе
Аналогичным образом угловые детекторы и детекторы гребней и впадин могут быть выражены как локальные максимумы, минимумы или пересечения нуля многомасштабных дифференциальных инвариантов, определенных из производных Гаусса. читатель отсылается к статьям об обнаружении углов и гребнях Однако алгебраические выражения для операторов обнаружения углов и гребней несколько более сложны, и за более подробной информацией .
Операции в масштабном пространстве также часто использовались для выражения методов от грубого к точному, в частности, для таких задач, как сопоставление изображений и многомасштабная сегментация изображений .
Выбор масштаба
[ редактировать ]Представленная на данный момент теория описывает хорошо обоснованную основу для представления структур изображения в нескольких масштабах. Однако во многих случаях необходимо также выбрать масштабы, подходящие для дальнейшего анализа. Необходимость выбора шкалы возникает по двум основным причинам; (i) объекты реального мира могут иметь разные размеры, и этот размер может быть неизвестен системе зрения, и (ii) расстояние между объектом и камерой может варьироваться, и эта информация о расстоянии также может быть неизвестна априори . Очень полезным свойством представления в масштабном пространстве является то, что представления изображений можно сделать инвариантными к масштабам, выполняя автоматический выбор локального масштаба. [ 9 ] [ 10 ] [ 23 ] [ 24 ] [ 25 ] [ 26 ] [ 27 ] [ 28 ] на основе локальных максимумов (или минимумов ) в масштабах нормированных к масштабу производных
где — параметр, связанный с размерностью объекта изображения. Это алгебраическое выражение для нормированных по масштабу операторов производной Гаусса происходит от введения -нормализованные производные по
- и
Теоретически можно показать, что модуль выбора масштаба, работающий по этому принципу, будет удовлетворять следующему свойству ковариации масштаба : если для определенного типа признака изображения предполагается локальный максимум на определенном изображении в определенном масштабе , то при масштабировании изображения на масштабный коэффициент локальный максимум масштаба в измененном изображении будет преобразован в уровень масштаба . [ 23 ]
Обнаружение масштабно-инвариантных функций
[ редактировать ]Следуя этому подходу гамма-нормализованных производных, можно показать, что различные типы масштабно-адаптивных и масштабно-инвариантных детекторов признаков [ 9 ] [ 10 ] [ 23 ] [ 24 ] [ 25 ] [ 29 ] [ 30 ] [ 27 ] могут быть выражены для таких задач, как обнаружение капель , обнаружение углов , обнаружение гребней , обнаружение краев и обнаружение пространственно-временных точек интереса (подробное описание того, как сформулированы эти масштабно-инвариантные детекторы признаков, см. в конкретных статьях по этим темам). Кроме того, уровни масштаба, полученные в результате автоматического выбора масштаба, можно использовать для определения областей интереса для последующей адаптации аффинной формы. [ 31 ] чтобы получить аффинные инвариантные точки интереса [ 32 ] [ 33 ] или для определения уровней масштаба для вычисления связанных дескрипторов изображений , таких как N-струи, адаптированные к локальному масштабу .
Недавняя работа показала, что и более сложные операции, такие как масштабно-инвариантное распознавание объектов таким способом можно выполнять . путем вычисления дескрипторов локального изображения (N-струй или локальных гистограмм направлений градиента) в точках интереса, адаптированных к масштабу, полученных из экстремумов нормализованного оператора Лапласа в масштабном пространстве (см. Также преобразование масштабно-инвариантных признаков [ 34 ] ) или определитель гессиана (см. также SURF ); [ 35 ] см. также статью Scholarpedia о преобразовании масштабно-инвариантных признаков. [ 36 ] для более общего взгляда на подходы к распознаванию объектов, основанные на реакциях рецептивного поля. [ 19 ] [ 37 ] [ 38 ] [ 39 ] в терминах операторов производной Гаусса или их приближений.
Связанные многомасштабные представления
[ редактировать ]изображений Пирамида — это дискретное представление, в котором масштабное пространство дискретизируется как по пространству, так и по масштабу. Для масштабной инвариантности масштабные коэффициенты должны выбираться экспоненциально, например, как целые степени 2 или √ 2 . При правильной конструкции соотношение частот дискретизации в пространстве и масштабе поддерживается постоянным, так что импульсная характеристика одинакова на всех уровнях пирамиды. [ 40 ] [ 41 ] [ 42 ] [ 43 ] Существуют быстрые, O(N) алгоритмы для вычисления масштабно-инвариантной пирамиды изображений, в которой изображение или сигнал многократно сглаживается, а затем субдискретизируется. Значения масштабного пространства между выборками пирамид можно легко оценить с помощью интерполяции внутри и между шкалами, что позволяет оценивать масштаб и положение с точностью ниже разрешения. [ 43 ]
В представлении в масштабном пространстве существование параметра непрерывного масштаба позволяет отслеживать переходы через нуль по масштабам, приводящие к так называемой глубокой структуре . Для функций, определяемых как пересечение нуля дифференциальных инвариантов , теорема о неявной функции напрямую определяет траектории в разных масштабах: [ 4 ] [ 44 ] и в тех масштабах, где происходят бифуркации , локальное поведение можно смоделировать с помощью теории особенностей . [ 4 ] [ 44 ] [ 45 ] [ 46 ] [ 47 ]
Расширения теории линейного масштабного пространства касаются формулировки концепций нелинейного масштабного пространства, более ориентированных на конкретные цели. [ 48 ] [ 49 ] Эти нелинейные масштабные пространства часто начинаются с эквивалентной диффузной формулировки концепции масштабного пространства, которая впоследствии расширяется нелинейным образом. Таким образом было сформулировано большое количество эволюционных уравнений, мотивированных различными конкретными требованиями (дополнительную информацию см. В вышеупомянутых ссылках на книги). Однако следует отметить, что не все эти нелинейные масштабные пространства удовлетворяют таким же «хорошим» теоретическим требованиям, как концепция линейного гауссовского масштабного пространства. Следовательно, иногда могут возникать неожиданные артефакты, и следует быть очень осторожным и не использовать термин «масштабное пространство» для любого типа однопараметрического семейства изображений.
Расширение первого порядка изотропного гауссовского масштабного пространства обеспечивается аффинным (гауссовским) масштабным пространством . [ 4 ] Одна из причин для этого расширения проистекает из общей потребности в вычислении дескрипторов изображений для объектов реального мира, которые просматриваются под перспективной моделью камеры . Чтобы локально обрабатывать такие нелинейные деформации, можно достичь частичной инвариантности (или, точнее, ковариации ) к локальным аффинным деформациям , рассматривая аффинные гауссовы ядра, форма которых определяется локальной структурой изображения. [ 31 ] см. статью об адаптации аффинной формы для теории и алгоритмов. Действительно, это аффинное масштабное пространство также может быть выражено из неизотропного расширения линейного (изотропного) уравнения диффузии, оставаясь при этом в классе линейных уравнений в частных производных .
Существует более общее расширение модели гауссовского масштабного пространства на аффинные и пространственно-временные масштабные пространства. [ 4 ] [ 31 ] [ 18 ] [ 19 ] [ 50 ] В дополнение к изменчивости масштаба, для рассмотрения которой была разработана первоначальная теория масштабного пространства, эта обобщенная теория масштабного пространства [ 19 ] включает также другие типы изменчивости, вызванные геометрическими преобразованиями в процессе формирования изображения, включая изменения направления взгляда, аппроксимируемые локальными аффинными преобразованиями, и относительные движения между объектами в мире и наблюдателем, аппроксимируемые локальными преобразованиями Галилея . Эта обобщенная теория масштабного пространства приводит к предсказаниям о профилях рецептивных полей, которые хорошо качественно согласуются с профилями рецептивных полей, измеренными с помощью записей клеток с помощью биологического зрения. [ 51 ] [ 52 ] [ 50 ] [ 53 ]
существует сильная связь Между теорией масштабного пространства и теорией вейвлетов , хотя эти два понятия многомасштабного представления были разработаны на основе несколько разных предпосылок. Также проводилась работа над другими многомасштабными подходами , такими как пирамиды и множество других ядер, которые не используют и не требуют тех же требований, что и настоящие описания в масштабном пространстве.
Связь с биологическим зрением и слухом
[ редактировать ]Существуют интересные отношения между представлением в масштабном пространстве и биологическим зрением и слухом. Нейрофизиологические исследования биологического зрения показали, что рецептивных полей млекопитающих существуют профили в сетчатке и зрительной коре . которые могут быть хорошо смоделированы линейными операторами производной Гаусса, в некоторых случаях также дополненными неизотропной моделью аффинного масштабного пространства, пространственно-временной моделью масштабного пространства и/или нелинейными комбинациями таких линейных операторов. [ 18 ] [ 51 ] [ 52 ] [ 50 ] [ 53 ] [ 54 ] [ 55 ] [ 56 ] [ 57 ]
Что касается биологического слуха, то существуют профили рецептивных полей в нижних холмиках и первичной слуховой коре , которые можно хорошо смоделировать с помощью спектрально-временных рецептивных полей, которые можно хорошо смоделировать с помощью производных Гаусса по логарифмическим частотам и оконных преобразований Фурье во времени с оконными функциями ядра временного масштабного пространства. [ 58 ] [ 59 ]
Глубокое обучение и масштабирование пространства
[ редактировать ]В области классического компьютерного зрения теория масштабного пространства зарекомендовала себя как теоретическая основа раннего зрения, а гауссовы производные представляют собой каноническую модель для первого слоя рецептивных полей. С появлением глубокого обучения также велась работа по использованию производных Гаусса или ядер Гаусса в качестве общей основы для рецептивных полей в глубоких сетях. [ 60 ] [ 61 ] [ 62 ] [ 63 ] [ 64 ] Используя свойства преобразования производных Гаусса и ядер Гаусса при преобразованиях масштабирования, таким образом можно получить масштабную ковариацию/эквивариантность и масштабную инвариантность глубокой сети для обработки структур изображений в разных масштабах теоретически обоснованным способом. [ 62 ] [ 63 ] Также были разработаны подходы для получения масштабной ковариации/эквивариантности и масштабной инвариантности с помощью обученных фильтров в сочетании с несколькими масштабными каналами. [ 65 ] [ 66 ] [ 67 ] [ 68 ] [ 69 ] [ 70 ] В частности, используя понятия масштабной ковариации/эквивариантности и масштабной инвариантности, можно обеспечить устойчивую работу глубоких сетей в масштабах, не охваченных обучающими данными, что позволяет осуществлять масштабное обобщение. [ 62 ] [ 63 ] [ 67 ] [ 69 ]
Временно-причинное пространство временного масштаба
[ редактировать ]Для обработки предварительно записанных временных сигналов или видео ядро Гаусса также можно использовать для сглаживания и подавления мелкомасштабных структур во временной области, поскольку данные предварительно записаны и доступны во всех направлениях. Однако при обработке временных сигналов или видео в ситуациях реального времени ядро Гаусса нельзя использовать для временного сглаживания, поскольку оно будет иметь доступ к данным из будущего, которые, очевидно, не могут быть доступны. Для временного сглаживания в ситуациях реального времени вместо этого можно использовать временное ядро, называемое ядром причинно-временного предела, [ 71 ] которое обладает аналогичными свойствами в причинно-временной ситуации (несоздание новых структур в направлении увеличения масштаба и временной масштабной ковариации), как подчиняется гауссово ядро в непричинном случае. Ядро временного предела соответствует свертке с бесконечным числом усеченных экспоненциальных ядер, связанных каскадом, со специально выбранными постоянными времени для получения ковариации временного масштаба. Для дискретных данных это ядро часто можно хорошо аппроксимировать численно небольшим набором рекурсивных фильтров первого порядка, соединенных каскадом, см. [ 71 ] для получения более подробной информации.
О более раннем подходе к обработке временных шкал причинно-временным способом путем выполнения гауссовского сглаживания по логарифмически преобразованной временной оси, однако, не имеющего какой-либо известной рекурсивной по времени реализации с эффективным использованием памяти, как это имеет ядро временно-каузального предела, см. [ 72 ]
Проблемы реализации
[ редактировать ]При реализации сглаживания в масштабном пространстве на практике существует ряд различных подходов, которые можно использовать с точки зрения непрерывного или дискретного сглаживания по Гауссу, реализации в области Фурье, с помощью пирамид на основе биномиальных фильтров, аппроксимирующих гауссово, или использования рекурсивных фильтров. . Подробнее об этом рассказано в отдельной статье, посвящённой масштабной реализации пространства .
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Перейти обратно: а б Иджима, Т. «Базовая теория нормализации узора (в случае типичного одномерного узора)». Бык. Электротех. Лаб. 26, 368–388, 1962. (на японском языке).
- ^ «Виткин, А.П. «Фильтрация в масштабном пространстве», Материалы 8-й Международной совместной конференции Art. Intell., Карлсруэ, Германия, 1019–1022, 1983» (PDF) .
- ^ Перейти обратно: а б с Кендеринк, Ян « Структура изображений », Биологическая кибернетика, 50:363–370, 1984.
- ^ Перейти обратно: а б с д и ж г час я Линдеберг, Т. (1993). Теория масштаба-пространства в компьютерном зрении . Спрингер. дои : 10.1007/978-1-4757-6465-9 . ISBN 978-1-4419-5139-7 .
- ^ Перейти обратно: а б Т. Линдеберг (1994). «Теория масштабного пространства: основной инструмент для анализа структур разных масштабов» . Журнал прикладной статистики (Дополнение к достижениям в области прикладной статистики: Статистика и изображения: 2) . 21 (2): 224–270. Бибкод : 1994JApSt..21..225L . дои : 10.1080/757582976 .
- ^ Перейти обратно: а б Флорак, Люк, Структура изображения, Kluwer Academic Publishers, 1997.
- ^ «Спорринг, Джон и др. (Редакторы), Гауссовская теория масштаба и пространства, Kluwer Academic Publishers, 1997» .
- ^ тер Хаар Ромени, Барт М. (2008). Интерфейсное зрение и многомасштабный анализ изображений: теория и приложения многомасштабного компьютерного зрения, написанные на языке Mathematica . Springer Science & Business Media. ISBN 978-1-4020-8840-7 .
- ^ Перейти обратно: а б с д и ж г Линдеберг, Тони (2008). «Масштаб-космос» . В Бенджамине Ва (ред.). Энциклопедия информатики и техники . Том. IV. Джон Уайли и сыновья. стр. 2495–2504. дои : 10.1002/9780470050118.ecse609 . ISBN 978-0470050118 .
- ^ Перейти обратно: а б с Т. Линдеберг (2014) «Выбор масштаба», Компьютерное зрение: Справочное руководство, (К. Икеучи, редактор), Springer, страницы 701–713.
- ^ «Масштабно-пространственное представление: определение и основные идеи» . www.csc.kth.se.
- ^ Дж. Бабо, А. П. Виткин, М. Боден и Р. О. Дуда, Уникальность гауссовского ядра для фильтрации в масштабном пространстве. IEEE Транс. Паттерн Анал. Машинный интеллект. 8 (1), 26–33, 1986.
- ^ Юлль, Алабама; Поджо, штат Калифорния (1 января 1986 г.). «Теоремы масштабирования для пересечений нуля» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 8 (1): 15–25. дои : 10.1109/TPAMI.1986.4767748 . hdl : 1721.1/5655 . ISSN 0162-8828 . ПМИД 21869319 . S2CID 14815630 .
- ^ Линдеберг, Тони (1990). «Масштабное пространство для дискретных сигналов» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 12 (3): 234–254. дои : 10.1109/34.49051 .
- ^ Перейти обратно: а б Пауэлс, Эрик Дж.; Ван Гул, Люк Дж.; Фидделерс, Питер; Лунс, Тео (1 июля 1995 г.). «Расширенный класс масштабно-инвариантных и рекурсивных масштабных пространственных фильтров» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 17 (7): 691–701. doi : 10.1109/34.391411 – до июля 1995 г.
- ^ Перейти обратно: а б Линдеберг, Тони (7 января 1996 г.). «Об аксиоматических основах линейного масштабного пространства: сочетание полугрупповой структуры с причинностью и масштабной инвариантностью» . Гауссова теория масштаба-пространства: учебная работа аспирантуры по теории масштаба-пространства . Kluwer Academic Publishers: 75–97 – через kth.diva-portal.org.
- ^ Вайкерт, Иоахим; Исикава, Сэйдзи; Имия, Ацуши (1 мая 1999 г.). «Линейное масштабное пространство впервые было предложено в Японии» . Журнал математического изображения и видения . 10 (3): 237–252. дои : 10.1023/А:1008344623873 . ISSN 0924-9907 . S2CID 17835046 .
- ^ Перейти обратно: а б с д Линдеберг, Тони (2011). «Обобщенная аксиоматика гауссовского масштаба-пространства, включающая линейное масштабное пространство, аффинное масштабное пространство и пространственно-временное масштабное пространство» . Журнал математического изображения и видения . 40 (1): 36–81. дои : 10.1007/s10851-010-0242-2 . S2CID 950099 .
- ^ Перейти обратно: а б с д Линдеберг, Тони (1 января 2013 г.). Хоукс, Питер В. (ред.). Обобщенная аксиоматическая теория масштаба-пространства . Достижения в области визуализации и электронной физики. Том. 178. Эльзевир. стр. 1–96. дои : 10.1016/b978-0-12-407701-0.00001-7 . ISBN 9780124077010 . Проверено 7 января 2023 г.
- ^ М. Фельсберг и Г.Зоммер « Моногенное масштабное пространство: объединяющий подход к фазовой обработке изображений в масштабном пространстве », Журнал Mathematical Imaging and Vision, 21 (1): 5–28, 2004.
- ^ Р. Дуитс, Л. Флорак, Дж. де Грааф и Б. тер Хаар Ромени « Об аксиомах теории масштабного пространства », Журнал Mathematical Imaging and Vision, 20 (3): 267–298, 2004.
- ^ Кендеринк, Джей-Джей; ван Доорн, AJ (7 июня 1992 г.). «Общие операторы окрестности» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 14 (6): 597–605. doi : 10.1109/34.141551 — через IEEE Xplore.
- ^ Перейти обратно: а б с д Линдеберг, Тони (7 января 1998 г.). «Обнаружение признаков с автоматическим выбором масштаба» . Международный журнал компьютерного зрения . 30 (2): 79–116. дои : 10.1023/А:1008045108935 . S2CID 723210 – через kth.diva-portal.org.
- ^ Перейти обратно: а б Линдеберг, Тони (7 января 1998 г.). «Обнаружение кромок и гребней с автоматическим выбором масштаба» . Международный журнал компьютерного зрения . 30 (2): 117–154. дои : 10.1023/А:1008097225773 . S2CID 35328443 – через kth.diva-portal.org.
- ^ Перейти обратно: а б Линдеберг, Тони (7 января 1999 г.). «Принципы автоматического выбора масштаба» . Справочник по компьютерному зрению и приложениям . Academic Press: 239–274 – через kth.diva-portal.org.
- ^ Линдеберг, Тони (1 мая 2017 г.). «Выбор временной шкалы в пространстве временно-каузальной шкалы» . Журнал математического изображения и видения . 58 (1): 57–101. arXiv : 1701.05088 . дои : 10.1007/s10851-016-0691-3 . ISSN 1573-7683 . S2CID 254645013 .
- ^ Перейти обратно: а б Линдеберг, Тони (1 мая 2018 г.). «Выбор пространственно-временного масштаба в видеоданных» . Журнал математического изображения и видения . 60 (4): 525–562. дои : 10.1007/s10851-017-0766-9 . ISSN 1573-7683 . S2CID 254649837 .
- ^ Линдеберг, Тони (2018). «Плотный масштабный выбор в пространстве, времени и пространстве-времени» . SIAM Journal on Imaging Sciences . 11 (1): 407–441. arXiv : 1709.08603 . дои : 10.1137/17M114892X . S2CID 22220902 .
- ^ Линдеберг, Тони (1 июня 2013 г.). «Свойства выбора масштаба обобщенных детекторов точек интереса в масштабном пространстве» . Журнал математического изображения и видения . 46 (2): 177–210. дои : 10.1007/s10851-012-0378-3 . ISSN 1573-7683 . S2CID 254653631 .
- ^ Линдеберг, Тони (1 мая 2015 г.). «Сопоставление изображений с использованием обобщенных точек интереса в масштабном пространстве» . Журнал математического изображения и видения . 52 (1): 3–36. дои : 10.1007/s10851-014-0541-0 . ISSN 1573-7683 . S2CID 254657377 .
- ^ Перейти обратно: а б с Линдеберг, Тони; Гординг, Йонас (7 января 1997 г.). «Адаптированное к форме сглаживание при оценке трехмерных сигналов глубины на основе аффинных искажений локальной двумерной структуры яркости» . Вычисление изображений и зрительных образов . 15 (6): 415–434. doi : 10.1016/S0262-8856(97)01144-X – через kth.diva-portal.org.
- ^ Баумберг, А. (7 января 2000 г.). «Надежное сопоставление функций в широко разделенных представлениях» . Материалы конференции IEEE по компьютерному зрению и распознаванию образов. CVPR 2000 (Кат. номер PR00662) . Том. 1. Компьютеры IEEE. Соц. стр. 774–781. дои : 10.1109/CVPR.2000.855899 . ISBN 0-7695-0662-3 . S2CID 15626261 .
- ^ Миколайчик, К. и Шмид, К.: Масштабные и аффинно-инвариантные детекторы точек интереса, Int. Журнал компьютерного зрения, 60:1, 63–86, 2004 г.
- ^ «Лоу, Д.Г., «Отличительные особенности изображения по масштабно-инвариантным ключевым точкам», Международный журнал компьютерного зрения, 60, 2, стр. 91–110, 2004» .
- ^ Бэй, Герберт; Эсс, Андреас; Туйтелаарс, Тинне; Ван Гул, Люк (1 июня 2008 г.). «Ускоренные надежные функции (SURF)» . Компьютерное зрение и понимание изображений . 110 (3): 346–359. дои : 10.1016/j.cviu.2007.09.014 . S2CID 14777911 – через ScienceDirect.
- ^ Линдеберг, Тони (22 мая 2012 г.). «Преобразование масштабно-инвариантного объекта» . Схоларпедия . 7 (5): 10491. Бибкод : 2012SchpJ...710491L . doi : 10.4249/scholarpedia.10491 .
- ^ Шиле, Бернт; Кроули, Джеймс Л. (1 января 2000 г.). «Распознавание без соответствия с использованием многомерных гистограмм рецептивных полей» . Международный журнал компьютерного зрения . 36 (1): 31–50. дои : 10.1023/А:1008120406972 . S2CID 2551159 — через Springer Link.
- ^ Линде, Оскар; Линдеберг, Тони (7 января 2004 г.). «Распознавание объектов с использованием составных гистограмм рецептивных полей более высокой размерности» . Международная конференция по распознаванию образов (ICPR 2004) . Материалы конференции IEEE: 1–6 – через kth.diva-portal.org.
- ^ Линде, Оскар; Линдеберг, Тони (7 января 2012 г.). «Составные гистограммы со сложными сигналами: исследование информационного содержания в дескрипторах изображений на основе рецептивных полей для распознавания объектов» . Компьютерное зрение и понимание изображений . 116 (4): 538–560. doi : 10.1016/j.cviu.2011.12.003 – через kth.diva-portal.org.
- ^ Берт, Питер и Адельсон, Тед, « Пирамида Лапласа как компактный код изображения. Архивировано 23 января 2022 года в Wayback Machine », IEEE Trans. Коммуникации, 9:4, 532–540, 1983.
- ^ Кроули, Джеймс Л.; Стерн, Ричард М. (март 1984 г.). «Быстрое вычисление разницы низкочастотного преобразования» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . ПАМИ-6 (2): 212–222. дои : 10.1109/TPAMI.1984.4767504 . ISSN 1939-3539 . ПМИД 21869184 . S2CID 17032188 .
- ^ Кроули, Дж. Л. и Сандерсон, AC «Представление в множественном разрешении и вероятностное сопоставление двумерной формы в оттенках серого», Транзакции IEEE по анализу шаблонов и машинному интеллекту, 9 (1), стр. 113–121, 1987.
- ^ Перейти обратно: а б Т. Линдеберг и Л. Бретцнер (2003) «Выбор масштаба в реальном времени в гибридных многомасштабных представлениях», Proc. Scale-Space'03, остров Скай, Шотландия, Конспекты лекций Springer по информатике, том 2695, страницы 148–163.
- ^ Перейти обратно: а б Т. Линдеберг (1992) Поведение локальных экстремумов и пятен в масштабном пространстве, Журнал Mathematical Imaging and Vision, 1 (1), страницы 65–99.
- ^ Ян Кендеринк и Андреа ван Доорн, AJ (1986), « Динамическая форма », Биологическая кибернетика 53, 383–396.
- ^ Дэймон, Дж. (1995), « Локальная теория Морса для решений уравнения теплопроводности и размытие по Гауссу », Journal of Differential Equations 115 (2), 386–401.
- ^ Флорак, Люк; Куйпер, Арьян (1 февраля 2000 г.). «Топологическая структура масштабно-пространственных изображений» . Журнал математического изображения и видения . 12 (1): 65–79. дои : 10.1023/А:1008304909717 . ISSN 1573-7683 . S2CID 7515494 .
- ^ тер Хаар Ромени, Барт М. (редактор), «Геометрически-ориентированная диффузия в компьютерном зрении» , Kluwer Academic Publishers, 1994.
- ^ Вайкерт, Иоахим (1998). Анизотропная диффузия при обработке изображений . Тойбнер Верлаг.
- ^ Перейти обратно: а б с Линдеберг, Тони (1 мая 2016 г.). «Временно-каузальные и время-рекурсивные пространственно-временные рецептивные поля» . Журнал математического изображения и видения . 55 (1): 50–88. arXiv : 1504.02648 . дои : 10.1007/s10851-015-0613-9 . ISSN 1573-7683 . S2CID 120619833 .
- ^ Перейти обратно: а б Линдеберг, Тони (1 декабря 2013 г.). «Вычислительная теория зрительных рецептивных полей» . Биологическая кибернетика . 107 (6): 589–635. дои : 10.1007/s00422-013-0569-z . ISSN 1432-0770 . ПМК 3840297 . ПМИД 24197240 .
- ^ Перейти обратно: а б Линдеберг, Тони (19 июля 2013 г.). «Инвариантность зрительных операций на уровне рецептивных полей» . ПЛОС ОДИН . 8 (7): e66990. arXiv : 1210.0754 . Бибкод : 2013PLoSO...866990L . дои : 10.1371/journal.pone.0066990 . ISSN 1932-6203 . ПМК 3716821 . ПМИД 23894283 .
- ^ Перейти обратно: а б Линдеберг, Тони (1 января 2021 г.). «Нормативная теория зрительных рецептивных полей» . Гелион . 7 (1): e05897. Бибкод : 2021Heliy...705897L . дои : 10.1016/j.heliyon.2021.e05897 . ISSN 2405-8440 . ПМЦ 7820928 . ПМИД 33521348 .
- ^ ДеАнджелис, Г.К., Озава, И. и Фриман, Р.Д., «Динамика рецептивного поля в центральных зрительных путях», Trends Neurosci. 18: 451–458, 1995. [ постоянная мертвая ссылка ]
- ^ Янг, Р.А. « Модель производной Гаусса для пространственного зрения: механизмы сетчатки », Пространственное зрение, 2: 273–293, 1987.
- ^ Янг, Ричард; Лесперанс, Рональд; Мейер, В. Уэстон (1 января 2001 г.). «Модель производной Гаусса для пространственно-временного зрения: I. Кортикальная модель» . Пространственное видение . 14 (3–4): 261–319. дои : 10.1163/156856801753253582 . ISSN 0169-1015 . ПМИД 11817740 .
- ^ Лесперанс, Рональд; Янг, Ричард (1 января 2001 г.). «Модель производной Гаусса для пространственно-временного зрения: II. Корковые данные» . Пространственное видение . 14 (3–4): 321–389. дои : 10.1163/156856801753253591 . ISSN 0169-1015 . ПМИД 11817741 .
- ^ Линдеберг, Тони; Фриберг, Андерс (30 марта 2015 г.). «Идеализированные вычислительные модели слуховых рецептивных полей» . ПЛОС ОДИН . 10 (3): e0119032. arXiv : 1404.2037 . Бибкод : 2015PLoSO..1019032L . дои : 10.1371/journal.pone.0119032 . ISSN 1932-6203 . ПМК 4379182 . ПМИД 25822973 .
- ^ Линдеберг, Тони; Фриберг, Андерс (2015). «Масштабно-пространственная теория слуховых сигналов» . Масштабное пространство и вариационные методы в компьютерном зрении . Конспекты лекций по информатике. Том. 9087. Конспекты лекций Спрингера по информатике. стр. 3–15. дои : 10.1007/978-3-319-18461-6_1 . ISBN 978-3-319-18460-9 .
{{cite book}}
:|journal=
игнорируется ( помогите ) - ^ «Якобсен Дж. Дж., ван Гемерт Дж., Лу З., Смолдерс А.В.М. (2016) Структурированные рецептивные поля в CNN. В: Труды по компьютерному зрению и распознаванию образов, стр. 2610–2619» (PDF) .
- ^ Уорролл, Дэниел Э.; Веллинг, Макс (5 ноября 2019 г.). «Глубокие масштабные пространства: эквивалентность по масштабу» . arXiv : 1905.11697 .
{{cite journal}}
: Для цитирования журнала требуется|journal=
( помощь ) - ^ Перейти обратно: а б с Линдеберг, Тони (1 января 2020 г.). «Доказуемо масштабно-ковариантные непрерывные иерархические сети, основанные на нормализованных по масштабу дифференциальных выражениях, связанных в каскаде» . Журнал математического изображения и видения . 62 (1): 120–148. arXiv : 1905.13555 . дои : 10.1007/s10851-019-00915-x . ISSN 1573-7683 . S2CID 254646822 .
- ^ Перейти обратно: а б с Линдеберг, Тони (1 марта 2022 г.). «Масштабно-ковариантные и масштабно-инвариантные гауссовы производные сети» . Журнал математического изображения и видения . 64 (3): 223–242. arXiv : 2011.14759 . дои : 10.1007/s10851-021-01057-9 . ISSN 1573-7683 . S2CID 227227887 .
- ^ Пинтеа, Сильвия Л.; Томен, Нергис; Идет, Стэнли Ф.; Луг, Марко; ван Гемерт, Ян К. (30 июня 2021 г.). «Обучение разрешения в глубоких сверточных сетях с использованием теории масштабного пространства». Транзакции IEEE при обработке изображений . 30 : 8342–8353. arXiv : 2106.03412 . Бибкод : 2021ITIP...30.8342P . дои : 10.1109/TIP.2021.3115001 . ПМИД 34587011 . S2CID 235358752 .
- ^ Сосновик Иван; Шмая, Михал; Смолдерс, Арнольд (8 июня 2020 г.). «Масштабно-эквивариантные управляемые сети» . arXiv : 1910.11093 .
{{cite journal}}
: Для цитирования журнала требуется|journal=
( помощь ) - ^ «Беккерс, Э.Дж.: CNN B-сплайнов на группах Ли (2020) В: Международная конференция по обучающим представлениям» .
- ^ Перейти обратно: а б Янссон, Ильва; Линдеберг, Тони (2021). «Изучение способности CNN обобщать ранее невиданные масштабы в широком диапазоне масштабов» . 2020 25-я Международная конференция по распознаванию образов (ICPR) . Институт инженеров по электротехнике и электронике (IEEE). стр. 1181–1188. arXiv : 2004.01536 . дои : 10.1109/ICPR48806.2021.9413276 . ISBN 978-1-7281-8808-9 . S2CID 214795413 .
- ^ «Сосновик И., Москалев А., Смолдерс А. (2021) DISCO: Точные дискретные масштабные свертки. В: Британская конференция по машинному зрению» (PDF) .
- ^ Перейти обратно: а б Янссон, Ильва; Линдеберг, Тони (1 июня 2022 г.). «Масштабно-инвариантные масштабно-канальные сети: глубокие сети, обобщающие до ранее невиданных масштабов» . Журнал математического изображения и видения . 64 (5): 506–536. arXiv : 2106.06418 . дои : 10.1007/s10851-022-01082-2 . ISSN 1573-7683 . S2CID 235417440 .
- ^ «Чжу В., Цю К., Колдербанк Р., Сапиро Г. и Ченг Х. (2022) Эквивариантные сети масштабирования-перевода с разложенными сверточными фильтрами. Журнал исследований машинного обучения, 23 (68) : 1–45 дюймов (PDF) .
- ^ Перейти обратно: а б Линдеберг, Т. (23 января 2023 г.). «Причинное во времени и рекурсивное во времени масштабно-ковариантное масштабно-пространственное представление временных сигналов и прошлого времени» . Биологическая кибернетика . 117 (1–2): 21–59. дои : 10.1007/s00422-022-00953-6 . ПМЦ 10160219 . ПМИД 36689001 .
- ^ Кендеринк, Дж. (1988). «Масштаб-время». Биологическая кибернетика . 58 (3): 159–162. дои : 10.1007/BF00364135 . S2CID 209034116 .
Дальнейшее чтение
[ редактировать ]- Линдеберг, Тони (2008). «Масштаб-космос» . В Бенджамине Ва (ред.). Энциклопедия информатики и техники . Том. IV. Джон Уайли и сыновья. стр. 2495–2504. дои : 10.1002/9780470050118.ecse609 . ISBN 978-0470050118 .
- Линдеберг, Тони: Теория масштабного пространства: основной инструмент для анализа структур в разных масштабах, в J. of Applied Статистика, 21 (2), стр. 224–270, 1994. (более подробное руководство в формате PDF по масштабному пространству)
- Линдеберг, Тони: Масштабное пространство: основа для обработки структур изображений в нескольких масштабах, Proc. Школа вычислительной техники ЦЕРН, 96 (8): 27–38, 1996.
- Ромени, Барт тер Хаар: Введение в теорию масштаба-пространства: многомасштабный анализ геометрических изображений, Учебное пособие VBC '96, Гамбург, Германия, Четвертая международная конференция по визуализации в биомедицинских вычислениях.
- Флорак, Люк, Ромени, Барт тер Хаар, Виргевер, Макс и Кендеринк, Ян: Пространство линейного масштаба, Журнал математических изображений и видения, том 4: 325–351, 1994.
- Линдеберг, Тони, «Принципы автоматического выбора масштаба», В: Б. Йене (и др., ред.), Справочник по компьютерному зрению и приложениям, том 2, стр. 239–274, Academic Press, Бостон, США, 1999. (учебник по подходам к автоматическому выбору масштаба)
- Линдеберг, Тони: «Теория масштабного пространства» В: Энциклопедия математики, ( Михиль Хазевинкель , редактор) Клувер, 1997.
- Резервное копирование веб-архива: лекция о масштабируемом пространстве в Массачусетском университете (pdf)
Внешние ссылки
[ редактировать ]- Интерактивное руководство по Java «Сила десяти» на веб-сайте Molecular Expressions.
- Одзава, Изуми. «Пространственно-временные рецептивные поля зрительных нейронов» . Университет Осаки. Архивировано из оригинала 18 февраля 2006 года.
- pyscsp: набор инструментов Scale-Space для Python на GitHub и PyPi
- pytempscsp: Набор инструментов временного масштабирования и пространства для Python на GitHub и PyPi
- Обнаружение пиков в одномерных данных с использованием подхода масштабного пространства. Код MATLAB под лицензией BSD.