Переезд матча
В этой статье есть несколько проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалять эти шаблонные сообщения )
|
В визуальных эффектах матч -движение — это метод, который позволяет вставлять 2D-элементы, другие элементы живого действия или компьютерную графику компьютерной графики в кадры живого действия с правильным положением, масштабом, ориентацией и движением относительно сфотографированных объектов в кадре . Это также позволяет удалять элементы живого действия из кадра живого действия. Этот термин широко используется для описания нескольких различных методов извлечения информации о движении камеры из движущегося изображения . Иногда называемое отслеживанием движения или решением камеры , перемещение совпадений связано с ротоскопированием и фотограмметрией .Движение матча иногда путают с захватом движения , который записывает движение объектов, часто людей, а не камеры. Обычно для захвата движения требуются специальные камеры и датчики, а также контролируемая среда (хотя недавние разработки, такие как камера Kinect и Apple, от Face ID начали менять это). Матчевое движение также отличается от фотографии с управлением движением , в которой для выполнения нескольких одинаковых движений камеры используется механическое оборудование. Матчевый переезд, напротив, обычно представляет собой программная технология, применяемая постфактум к обычным материалам, записанным в неконтролируемых условиях обычной камерой.
Совпадающее перемещение в основном используется для отслеживания движения камеры во время кадра, чтобы идентичное движение виртуальной камеры можно было воспроизвести в программе 3D-анимации . Когда новые анимированные элементы будут скомпонованы обратно в исходный кадр живого действия , они появятся в идеально подобранной перспективе и, следовательно, будут выглядеть цельными.
Поскольку перемещение спичек в основном основано на программном обеспечении, оно становится все более доступным по мере снижения стоимости компьютерной мощности; в настоящее время это признанный инструмент создания визуальных эффектов и даже используется в прямых телевизионных трансляциях как часть создания таких эффектов, как желтая виртуальная нижняя линия в американском футболе .
Принцип
[ редактировать ]Процесс перемещения спичек можно разбить на два этапа.
Отслеживание
[ редактировать ]Первым шагом является выявление и отслеживание особенностей. Объект — это определенная точка изображения, которую алгоритм отслеживания может зафиксировать и проследить через несколько кадров ( SynthEyes называет их бликами ). Часто объекты выбираются потому, что они представляют собой яркие/темные пятна, края или углы, в зависимости от конкретного алгоритма отслеживания. Популярные программы используют сопоставление шаблонов на основе оценки NCC и среднеквадратичной ошибки . Важно то, что каждая особенность представляет собой определенную точку на поверхности реального объекта. По мере отслеживания объекта он становится серией двумерных координат, которые представляют положение объекта в серии кадров. Эта серия называется «треком». После создания треков их можно сразу использовать для отслеживания двухмерного движения или затем использовать для расчета трехмерной информации.
Калибровка
[ редактировать ]Второй шаг включает в себя решение трехмерного движения. Этот процесс пытается определить движение камеры путем решения обратной проекции двумерных путей положения камеры. Этот процесс называется калибровкой .
Когда фотографируется точка на поверхности трехмерного объекта, ее положение в двухмерном кадре можно рассчитать с помощью функции трехмерной проекции . Мы можем рассматривать камеру как абстракцию, содержащую все параметры, необходимые для моделирования камеры в реальном или виртуальном мире. Следовательно, камера — это вектор, который включает в себя в качестве элементов положение камеры, ее ориентацию, фокусное расстояние и другие возможные параметры, определяющие, как камера фокусирует свет на плоскости пленки . пока существует совместимая проекционная функция P. То, как именно построен этот вектор, не важно ,
Функция проекции P принимает в качестве входных данных вектор камеры (обозначается camera ) и другой вектор — положение трехмерной точки в пространстве (обозначается xyz ) и возвращает двухмерную точку, которая была спроецирована на плоскость перед камерой ( обозначается XY ). Мы можем выразить это:
- XY = P( камера , xyz )
Функция проекции преобразует трехмерную точку и удаляет компонент глубины. Не зная глубины компонента, функция обратной проекции может возвращать только набор возможных 3D-точек, которые образуют линию, исходящую из узловой точки объектива камеры и проходящую через проецируемую 2D-точку. Мы можем выразить обратную проекцию как:
- xyz ∈ P'( камера , XY )
или
- { xyz :P( камера , xyz ) = XY }
Допустим, мы находимся в ситуации, когда отслеживаемые объекты находятся на поверхности твердого объекта, например здания. Поскольку мы знаем, что реальная точка xyz будет оставаться в одном и том же месте реального пространства от одного кадра изображения к другому, мы можем сделать эту точку постоянной, даже если мы не знаем, где она находится. Так:
- xyz я = xyz j
где индексы i и j относятся к произвольным кадрам анализируемого кадра. Поскольку это всегда верно, мы знаем, что:
- P'( камера i , XY i ) ∩ P'( камера j , XY j ) ≠ {}
Поскольку значение XY i было определено для всех кадров, в которых объект отслеживается программой отслеживания, мы можем решить функцию обратной проекции между любыми двумя кадрами, если P'( камера i , XY i ) ∩ P'( камера j , XY j ) — небольшой набор. Набор возможных векторов камеры , которые решают уравнение в точках i и j (обозначено C ij ).
- C ij = {( камера i , камера j ):P'( камера i , XY i ) ∩ P'( камера j , XY j ) ≠ {})
Итак, существует набор пар векторов камеры C ij, для которых пересечение обратных проекций двух точек XY i и XY j представляет собой непустое, надеюсь, небольшое множество с центром в теоретической стационарной точке xyz .
Другими словами, представьте себе черную точку, плавающую в белой пустоте, и камеру. Для любого положения в пространстве, в котором мы размещаем камеру, существует набор соответствующих параметров (ориентация, фокусное расстояние и т. д.), которые будут фотографировать эту черную точку точно так же. Поскольку C имеет бесконечное количество членов, одной точки никогда не бывает достаточно для определения фактического положения камеры.
Когда мы начнем добавлять точки отслеживания, мы сможем сузить возможные положения камеры. Например, если у нас есть набор точек { xyz i,0 ,..., xyz i,n } и { xyz j,0 ,..., xyz j,n }, где i и j по-прежнему относятся к кадрам и n — это индекс одной из многих точек отслеживания, за которыми мы следим. Мы можем получить набор наборов пар векторов камер {C i,j,0 ,...,C i,j,n }.
Таким образом, несколько дорожек позволяют нам сузить возможные параметры камеры. Набор возможных подходящих параметров камеры F представляет собой пересечение всех наборов:
- F = C i,j,0 ∩ ... ∩ C i,j,n
Чем меньше элементов в этом наборе, тем ближе мы можем подойти к извлечению реальных параметров камеры. В действительности ошибки, возникающие в процессе отслеживания, требуют более статистического подхода к определению хорошего вектора камеры для каждого кадра, алгоритмы оптимизации и настройка блоков связок часто используются . К сожалению, в векторе камеры так много элементов, что даже если каждый параметр свободен, мы все равно не сможем сузить F до одной возможности, независимо от того, сколько функций мы отслеживаем. Чем больше мы сможем ограничить различные параметры, особенно фокусное расстояние, тем легче будет найти решение.
В целом, процесс 3D-решения — это процесс сужения возможных решений движения камеры до тех пор, пока мы не достигнем того, которое соответствует потребностям композиции, которую мы пытаемся создать.
Проекция облака точек
[ редактировать ]После того как положение камеры определено для каждого кадра, можно оценить положение каждого объекта в реальном пространстве с помощью обратной проекции. Полученный набор точек часто называют облаком точек из-за его внешнего вида, напоминающего туманность . Поскольку облака точек часто раскрывают некоторую форму трехмерной сцены, их можно использовать в качестве эталона для размещения синтетических объектов или в программе реконструкции для создания трехмерной версии фактической сцены.
Определение наземной плоскости
[ редактировать ]Камера и облако точек должны быть ориентированы в каком-то пространстве. Поэтому после завершения калибровки необходимо определить плоскость заземления. Обычно это единичная плоскость, определяющая масштаб, ориентацию и происхождение проецируемого пространства. Некоторые программы пытаются сделать это автоматически, хотя чаще эту плоскость определяет пользователь. Поскольку сдвиг плоскостей земли представляет собой простое преобразование всех точек, фактическое положение плоскости на самом деле является вопросом удобства.
Реконструкция
[ редактировать ]3D-реконструкция — это интерактивный процесс воссоздания сфотографированного объекта с использованием данных отслеживания. Этот метод относится к фотограмметрии . В данном конкретном случае мы имеем в виду использование программного обеспечения для перемещения спичек для восстановления сцены на основе случайных кадров.
Программа реконструкции может создавать трехмерные объекты, имитирующие реальные объекты сфотографированной сцены. Используя данные из облака точек и оценку пользователя, программа может создать виртуальный объект, а затем извлечь текстуру из отснятого материала, которую можно спроецировать на виртуальный объект в качестве текстуры поверхности.
2-D против 3-D
[ редактировать ] в этой статье Использование внешних ссылок может не соответствовать политике и рекомендациям Википедии . ( Ноябрь 2020 г. ) |
Матчевый ход имеет две формы. Некоторые программы композитинга, такие как Shake , Adobe Substance , Adobe After Effects и Discreet Combustion , включают возможности двухмерного отслеживания движения . Двумерное сопоставление при перемещении отслеживает только объекты в двухмерном пространстве, не обращая внимания на движение камеры или искажения. Его можно использовать для добавления эффектов размытия изображения или стабилизации изображения к отснятому материалу. Этой техники достаточно для создания реалистичных эффектов, когда исходный материал не содержит серьезных изменений в перспективе камеры. Например, рекламный щит на заднем плане кадра часто можно заменить с помощью двухмерного отслеживания.
Инструменты перемещения трехмерных совпадений позволяют экстраполировать трехмерную информацию из двухмерной фотографии. Эти инструменты позволяют пользователям определять движение камеры и другие относительные движения на основе произвольных отснятых материалов. Информацию отслеживания можно передать в программное обеспечение компьютерной графики и использовать для анимации виртуальных камер и моделируемых объектов. Программы, способные перемещать трехмерные совпадения, включают:
- 3DEqualizer от Science.D.Visions (получивший премию Оскар за технические достижения ) [1]
- Blender (с открытым исходным кодом; использует libmv)
- Вуду
- ACTS — автоматическое отслеживание камеры с системой восстановления глубины для обработки последовательностей изображений и видео.
- LS-ACTS — надежная и эффективная система построения структуры из движения, которая может обрабатывать большие наборы данных изображений/видеопоследовательностей практически в реальном времени и надежно работать в сложных случаях (например, последовательности кольцевой проверки и множественные последовательности)
- ВИСКОДА VooCAT
- Икар (исследовательский проект Манчестерского университета, ныне прекращенный, но все еще популярный)
- Майя МатчМовер
- Пиксельная ферма PFTrack , PFMatchit, PFHoe (на основе алгоритмов PFTrack)
- KeenTools GeoTracker , PinTool
- SynthEyes от Andersson Technologies
- Бужу (получивший премию «Эмми» в 2002 году)
- NukeX из The Foundry
- CameraTracker (плагин для Adobe After Effects ) от The Foundry.
- VideoTrace от Punchcard (программное обеспечение для создания 3D-моделей из видео и изображений)
- IXIR 2D Track Editor. Он поддерживает 2D-треки и файлы масок такого программного обеспечения, как 3D Equalizer, PFTrack, Boujou, SynthEyes, Matchmover, Movimento, Nuke, Shake, Fusion, After Effects, Combustion, Mocha, Silhouette.
- mocha Pro от Imagineer Systems, утилита для постобработки на основе Planar Tracker
- fayIN — плагин для Adobe After Effects от fayteq ( приобретён Facebook в 2017 году )
- Meshroom с открытым исходным кодом от Alicevision, бесплатного приложения для фотограмметрии , которое также позволяет пользователям экспортировать анимированную камеру вместе с 3D-реконструкцией сцены.
Автоматическое и интерактивное отслеживание
[ редактировать ]Существует два метода извлечения информации о движении из изображения. Интерактивное отслеживание, иногда называемое «контролируемым отслеживанием», предполагает, что пользователь следит за объектами на протяжении всей сцены. Автоматическое отслеживание основано на компьютерных алгоритмах для определения и отслеживания особенностей снимка. Отслеживаемые перемещения точек затем используются для расчета «решения». Это решение состоит из всей информации о камере, такой как движение, фокусное расстояние и искажения объектива .
Преимущество автоматического отслеживания состоит в том, что компьютер может создавать множество точек быстрее, чем человек. Большое количество точек можно проанализировать со статистикой, чтобы определить наиболее достоверные данные. Недостаток автоматического отслеживания в том, что в зависимости от алгоритма компьютер может легко запутаться, отслеживая объекты по сцене. Методы автоматического отслеживания особенно неэффективны на снимках, связанных с быстрым движением камеры, например, при работе с камерой с рук, а также на снимках с повторяющимися объектами, такими как небольшие плитки или любой другой регулярный узор, где одна область не очень различима. Этот метод отслеживания также страдает, когда кадр содержит большое количество размытия в движении, что затрудняет различение мелких деталей.
Преимущество интерактивного отслеживания заключается в том, что пользователь-человек может следить за объектами на протяжении всей сцены и не будет сбит с толку объектами, которые не являются жесткими. Пользователь-человек также может определить, где находятся объекты в кадре, который страдает от размытия в движении; Автоматическому трекеру чрезвычайно сложно правильно найти объекты с большим размытием в движении. Недостаток интерактивного отслеживания заключается в том, что пользователь неизбежно будет допускать небольшие ошибки при следовании за объектами по сцене, что может привести к так называемому «дрейфу».
Отслеживание движения профессионального уровня обычно достигается с помощью комбинации интерактивных и автоматических методов. Художник может удалять явно аномальные точки и использовать «подложки отслеживания», чтобы блокировать вводящую в заблуждение информацию из процесса автоматического отслеживания. Матовая подложка также используется для покрытия областей кадра, содержащих движущиеся элементы, такие как актер или вращающийся потолочный вентилятор.
Отслеживание подложек
[ редактировать ]Подложка отслеживания по своей концепции аналогична подложке мусора, используемой в композиции перемещающейся подложки . Однако цель подложки отслеживания состоит в том, чтобы не допустить использования алгоритмами отслеживания ненадежных, нерелевантных или нежестких точек отслеживания. Например, в сцене, где актер идет на заднем плане, художник по трекингу захочет использовать только фон для отслеживания камеры через сцену, зная, что движение актера нарушит расчеты. В этом случае художник создаст подложку отслеживания, которая будет следовать за актером по сцене, блокируя эту информацию из процесса отслеживания.
Переработка
[ редактировать ]Поскольку часто существует несколько возможных решений процесса калибровки и может накапливаться значительное количество ошибок, последний шаг для согласования перемещения часто включает в себя уточнение решения вручную. Это может означать изменение самого движения камеры или подсказки механизму калибровки. Такая интерактивная калибровка называется «уточнением».
Большинство приложений для перемещения спичек основаны на схожих алгоритмах отслеживания и калибровки. Зачастую первоначальные результаты совпадают. Однако каждая программа имеет разные возможности очистки.
Реальное время
[ редактировать ]В производстве художественных фильмов все шире используется отслеживание камеры в режиме реального времени, позволяющее визуализировать элементы, которые будут вставлены в пост-продакшн, вживую на съемочной площадке. Преимущество этого метода заключается в том, что он помогает режиссеру и актерам улучшить исполнение, фактически видя расширения декораций или персонажей компьютерной графики во время (или вскоре после) съемок. Им больше не нужно работать на зеленом/синем экране и не получать обратной связи о результате. Ориентиры на линии глаз, расположение актеров и взаимодействие с компьютерной графикой теперь можно выполнять вживую на съемочной площадке, давая всем уверенность в том, что кадр правильный и будет работать в финальной композиции.
Для достижения этой цели необходимо объединить ряд компонентов, от аппаратного обеспечения до программного обеспечения. Программное обеспечение собирает все 360 градусов свободы движения камеры, а также метаданные, такие как масштабирование, фокус, диафрагма и элементы затвора, от множества различных типов аппаратных устройств, начиная от систем захвата движения, таких как система на основе активных светодиодных маркеров от PhaseSpace, пассивные системы, такие как Motion Analysis или Vicon, поворотные энкодеры, установленные на операторских кранах и тележках, таких как Technocranes и Fisher Dollies, или инерционные и гироскопические датчики, установленные непосредственно на камере. Существуют также лазерные системы слежения, которые можно прикрепить к чему угодно, включая стедикамы, для отслеживания камер снаружи под дождем на расстоянии до 30 метров.
Камеры управления движением также можно использовать в качестве источника или назначения для данных 3D-камеры. Движения камеры можно заранее визуализировать, а затем преобразовать в данные управления движением, которые управляют краном камеры точно по тому же пути, что и 3D-камера. Кодеры на кране также можно использовать в режиме реального времени на съемочной площадке, чтобы обратить этот процесс вспять и создать живые 3D-камеры. Данные можно отправлять в любое количество различных 3D-приложений, что позволяет 3D-художникам изменять свои CGI-элементы прямо на съемочной площадке. Основное преимущество заключается в том, что проблемы с дизайном декораций, которые в дальнейшем могут оказаться трудоемкими и дорогостоящими, могут быть решены в процессе съемок, гарантируя, что актеры «вписываются» в каждую среду для каждого кадра во время своих выступлений.
Системы захвата движения в реальном времени также можно смешивать с потоком данных камеры, позволяя вставлять виртуальных персонажей в живые кадры на съемочной площадке. Это значительно улучшает взаимодействие между реальными и нереальными персонажами, управляемыми MoCap, поскольку хореография как пластинки, так и компьютерной графики может ставиться вместе.
См. также
[ редактировать ]- 1-я и 10-я (графическая система)
- Службы виртуального мультимедиа PVI
- Структура из движения
- Виртуальная студия
Ссылки
[ редактировать ]- Matchmoving: The Invisible Art of Camera Tracking , Тим Добберт, Sybex, февраль 2005 г., ISBN 0-7821-4403-9
- Трехмерная оценка и приложения для сопоставления перемещений — ранняя статья по сопоставлению перемещений, в которой подробно рассматриваются математические аспекты.
- Сравнение приложений для поиска совпадений и отслеживания
- Учебные пособия по отслеживанию и 3D-перемещению матчей *Неработающая ссылка*
Внешние ссылки
[ редактировать ]- Объяснение Matchmoving в блоге FLIP Animation, дата обращения: май 2013 г.