FreeTrack
 | |
 | |
| Стабильная версия | v2.2
/ 7 октября 2008 г. |
|---|---|
| Операционная система | Microsoft Windows |
| Тип | Оптическое отслеживание движения |
| Лицензия | Стандартная общественная лицензия GNU |
| Веб-сайт | www.free-track.net |
FreeTrack — это универсальное приложение оптического отслеживания движения для Microsoft Windows , выпущенное под лицензией GNU General Public License , которое можно использовать с обычными недорогими камерами. Основное внимание уделяется отслеживанию движений головы с использованием в виртуальной реальности , симуляции , видеоиграх , 3D-моделировании , компьютерном проектировании и общих вычислениях без помощи рук для улучшения доступности компьютера . Отслеживание можно сделать достаточно чувствительным, чтобы требовались лишь небольшие движения головы, чтобы глаза пользователя никогда не отрывались от экрана.
Камера расположена так, чтобы наблюдать за жесткой точечной моделью, которую носит пользователь, точки которой необходимо изолировать от фонового света посредством физической и программной фильтрации. Движение отслеживается с шестью степенями свободы (6DOF): рыскание, наклон, крен, влево/вправо, вверх/вниз и вперед/назад. Windows-совместимые видеоустройства, такие как веб-камеры Поддерживаются , а также специальная камера Nintendo Wii Remote , камера iPhone TrueDeep с Eyeware Beam и камеры NaturalPoint ( TrackIR , SmartNav и OptiTrack).
FreeTrack может выводить данные отслеживания головы в программы напрямую, используя собственный открытый интерфейс, а также TrackIR интерфейсы , SimConnect и FSUIPC. Программы, поддерживающие эти интерфейсы, считаются FreeTrack-совместимыми . FreeTrack также может эмулировать мышь , клавиатуру и джойстик (через PPJoy), если программа не поддерживает прямой интерфейс.
FreeTrack написан на Delphi 7 и использует DirectShow и DirectX . Отслеживание головы достигается с помощью реализации четырехточечного алгоритма итеративной оценки позы ДеМентона (POSIT). [1] Альтера и трехточечный геометрический алгоритм . [2]
Программное обеспечение
[ редактировать ]FreeTrack использует камеру для сбора информации в режиме реального времени о точечной модели, которую носит пользователь. А именно координаты изображения точек модели, которые либо получаются непосредственно с камеры, либо извлекаются из видеопотока. Эти координаты используются для создания оценки реальной позы головы, которую пользователь может преобразовать несколькими способами для создания виртуальной позы. Одно из наиболее фундаментальных преобразований включает в себя усиление вращения, так что требуются лишь небольшие движения головой. Наконец, виртуальная поза отправляется на выбранные пользователем выходы. Все это происходит в фоновом режиме, а статус отслеживания отображается на панели задач .
Доступен предварительный просмотр в 3D, который показывает виртуальное положение и ориентацию головы для данной реальной позы головы и может просматриваться с разных точек зрения, включая вид от первого лица. Это значительно облегчает тестирование и облегчает экспериментирование с различными настройками.
Каждая степень свободы (ось) имеет кривую отклика, которую можно изменить, чтобы изменить способ движения виртуальной головы при заданном реальном движении головы. Обычно это используется для создания центральной мертвой зоны, чтобы голова пользователя могла там быть более расслабленной.
Кнопки клавиатуры, мыши и джойстика можно использовать для переключения настроек отслеживания, включая расположение виртуального центра (например, для регулировки положения сиденья в автомобиле), а также индивидуального переключения осей и выходов.
Для камер NaturalPoint FreeTrack может предоставлять расширенные функции и уровень настройки, недоступный в официальном программном обеспечении.
Камера
[ редактировать ]| Камера | Разрешение сенсора | ФПС | Датчик | Угол (°) | Выход | Использование процессора | Субпиксельная точность | ИК- светодиоды | Прибл. цена (долл. США) |
|---|---|---|---|---|---|---|---|---|---|
| Идеальная веб-камера | 640×480 | ≥60 | монохромный | 42 | сильно сжатый | маленький | Программно-зависимый | Да | ? |
| OEM- ИК веб -камера [3] | 640×480 | 30 | цвет | 42 | JPEG сжатый | маленький | Программно-зависимый | Да | $5 |
| Sony PlayStation EyeToy | 640×480 | 30 | цвет | 56 | JPEG сжатый [4] | маленький | Программно-зависимый | Нет | $16 |
| Сони PlayStation 3 Глаз | 640×480 | 187@320x240( CLEye ), 125@320x240(DirectShow), 75@640x480(DirectShow) [5] | цвет | 75, 56 | JPEG сжатый, необработанный | маленький | Программно-зависимый | Нет | $24 |
| Microsoft Xbox Live Vision | 640×480 | 60@320×240, 30@640×480 | цвет | ? | JPEG сжатый, [6] сырой | маленький | Программно-зависимый | Нет | $14 |
| Пульт Nintendo Wii | 128×96 | 100 ( Блютуз ), 250 ( И2К ) [7] | цвет | 41 | координаты точки | никто | 1/8 | Нет | $23 |
| NaturalPoint TrackIR 1 [8] | 60 тыс. пикселей (например, 300×200) | 60 | монохромный | 33 | двоичный порог | минимальный | Да | ушедший на пенсию | |
| NaturalPoint TrackIR 2 [8] | 60 тыс. пикселей (например, 300×200) | 100 | монохромный | 33 | двоичный порог [9] | минимальный | Да | ушедший на пенсию | |
| NaturalPoint TrackIR 3 [10] | 355×288 | 80 | монохромный | 33 | двоичный порог | минимальный | Да | ушедший на пенсию | |
| NaturalPoint TrackIR 3 Pro [10] | 355x288 | 120 | монохромный | 33 | двоичный порог | минимальный | Да | ушедший на пенсию | |
| NaturalPoint TrackIR 4 Pro [10] | 355×288 (подвыборка 710×480) | 120 | монохромный | 46 | двоичный порог [11] | минимальный | 1/20 | Да | $99.95 |
| NaturalPoint TrackIR 5 [10] | 640×480 | 120 | монохромный | 51.7 | порог оттенков серого [12] | минимальный | 1/150-я | Да | $149.95 |
| NaturalPoint SmartNav 1/2 | 60 тыс. пикселей (например, 300×200) | 60 | монохромный | 33 | двоичный порог | минимальный | Да | ушедший на пенсию | |
| NaturalPoint SmartNav 3 [13] | 355×288 | 120 | монохромный | 33 | двоичный порог | минимальный | 1/20 | Да | ушедший на пенсию |
| NaturalPoint SmartNav 4 [13] | 640×480 (подвыборка 1280×480) | 100 | монохромный | 41 | порог оттенков серого [14] | минимальный | 1/150-я | Да | от 400 до 500 долларов |
Разрешение
[ редактировать ]В большинстве случаев разрешения 320×240 достаточно, оно способно обеспечить гораздо более высокое субпиксельное разрешение , достаточное для точного управления курсором на мониторе с высоким разрешением. Разрешения 640×480 и выше имеют убывающую отдачу и соответствуют экспоненциальной зависимости. [ почему? ] увеличение использования ЦП, если сжатие недостаточно до достижения компьютера. Более высокие разрешения становятся более важными на больших расстояниях от камеры. В Wii используется сенсор с низким разрешением 128×96, который, по мнению некоторых, приводит к тряске при отслеживании и может потребовать сглаживания для повышения стабильности за счет снижения отзывчивости. [15]
Датчик
[ редактировать ]При том же разрешении монохромные датчики могут разрешать более мелкие детали гораздо лучше, чем цветные, из-за отсутствия массива цветных фильтров .
Частота кадров
[ редактировать ]FreeTrack использует интерполяцию с видеоустройствами с низкой частотой кадров для улучшения плавности панорамирования. Однако скорость реагирования принципиально ограничена частотой кадров; Веб-камера с частотой 30 кадров/с имеет максимальную задержку отклика 33,3 миллисекунды по сравнению с 8,33 миллисекунды для камеры со скоростью 120 кадров/с. Для сравнения: время реакции человека на визуальный стимул (рефлекс пальца) обычно составляет около 200 мс; 30 мс можно рассматривать как соревновательный пинг в онлайн-играх, основанных на рефлексах, а частота обновления ЖК-монитора обычно составляет 17 мс.
Более высокая отзывчивость дает большее ощущение контроля, но поскольку виртуальное движение головы усиливается, это также может привести к ее нереально быстрому движению. По этой причине некоторые программы ограничивают скорость движения головы, теряя часть отзывчивости камер с более высокой частотой кадров.
Угол
[ редактировать ]Более широкий угол обзора позволяет расширить область отслеживания при нахождении в непосредственной близости от камеры. На больших расстояниях широкий угол нежелателен, большая часть кадра не используется, и эффективное разрешение падает быстрее. Также можно увидеть больше периферийного света, который может мешать отслеживанию. Угол обзора можно уменьшить с помощью цифрового зума за счет разрешения.
Использование процессора
[ редактировать ]Пульт Nintendo Wii Remote эффективно не использует процессор, камеры NaturalPoint используют небольшой объем, а обычные видеоустройства могут использовать значительный объем, в зависимости от марки и конкретных используемых настроек камеры. PlayStation Eye, работающий с тем же разрешением и частотой кадров, что и TrackIR 4, будет очень требователен к одноядерному процессору. Однако современные многоядерные процессоры делают эту проблему менее серьезной. Разрешение и частоту кадров всегда можно уменьшить для экономии ресурсов ЦП.
Фильтры
[ редактировать ]FreeTrack требует, чтобы точки отслеживания были изолированы от всего остального света; лучше всего это делать с помощью инфракрасных светодиодов и фильтра, блокирующего видимый свет, перед камерой. Фотопленку или магнитный носитель информации на дискетах можно использовать в качестве недорогих фильтров видимого света. Дальнейшую фильтрацию можно выполнить программно, отрегулировав экспозицию и порог.
Все видеоустройства, такие как веб-камеры, имеют встроенный фильтр, блокирующий инфракрасное излучение, который можно снять, чтобы повысить чувствительность к инфракрасному свету, что обеспечивает лучшую изоляцию точек и возможность световозвращающего отслеживания. Обычно это простая и обратимая процедура для большинства веб-камер.
Пульты Wii Remote и камеры NaturalPoint предназначены для отслеживания точек в инфракрасном диапазоне, поэтому они уже оснащены фильтрами, блокирующими видимый свет.
Точечная модель
[ редактировать ]Конфигурации модели
[ редактировать ]- Одна точка: одна точка отслеживания, например, прикрепленная к бейсболке или проводу, выступающему вперед над головой. Этого легко добиться с помощью небольшого источника света, например, фонарика . В отличие от других конфигураций, она ограничена двумя степенями свободы (рыскание и тангаж) и может быть более чувствительна к перемещению, чем к вращению.
- Трехточечный зажим: асимметричное треугольное расположение точек, которые можно прикрепить к наушникам и расположить сбоку от головы.
- Кепка с тремя точками: симметричное треугольное расположение точек, обычно прикрепленное к краю бейсболки.
- Кепка с четырьмя точками: симметричное некопланарное расположение точек, также прикрепленное к краю бейсболки.
Модели можно изготовить своими руками с минимальными затратами, используя легкодоступные электронные компоненты. Комплекты компонентов и полностью собранные модели также можно приобрести у некоторых членов сообщества FreeTrack.
Активные баллы
[ редактировать ]Модель с активной точкой использует видимые или инфракрасные светодиоды (5 мм или больше) для обозначения точек слежения, питаемые от батареи, трансформатора (штекерного блока) или USB . Электрическая схема очень проста и может быть изготовлена человеком с небольшим опытом работы с электроникой или вообще без него.
Обычные светодиоды, подобные тем, которые используются в пультах дистанционного управления , имеют узкий, сфокусированный луч, который не подходит для оптического отслеживания движения. Их можно легко превратить в широкоугольные светодиоды, подпилив кончики линз вниз. Альтернативно, широкоугольные светодиоды можно приобрести в специализированных магазинах электроники, например, инфракрасные светодиоды Siemens/Osram SFH485P с полууголом 40 градусов.
Светоотражающие точки
[ редактировать ]Световозвращающий материал можно использовать для обозначения точек отслеживания путем освещения источником инфракрасного света. Эта конфигурация не требует подключения к пользователю проводов или батарей, но более восприимчива к помехам фонового света. В большинстве случаев внутренний блокирующий инфракрасный фильтр веб-камеры необходимо удалить, чтобы повысить чувствительность настолько, чтобы можно было видеть инфракрасный свет, отраженный точками слежения.
Интерфейс FreeTrack
[ редактировать ]FreeTrack имеет простой интерфейс, который может свободно использоваться сторонними программами, такими как Eyeware Beam, для доступа к данным отслеживания 6DOF, как реальным необработанным измерениям, так и виртуальным. Он не зависит от аппаратного обеспечения, поэтому не зависит от конкретной марки или версии оборудования и может использоваться без ограничений. от Bohemia Interactive ARMA 2 — первая игра, поддерживающая интерфейс FreeTrack. [16] и GP Bikes — первая компания, получившая эксклюзивную поддержку. [17]
Интерфейс TrackIR
[ редактировать ]FreeTrack совместим с незашифрованной версией интерфейса TrackIR для отслеживания головы NaturalPoint, который широко поддерживается в играх-симуляторах. NaturalPoint предоставляет разработчикам игр зашифрованную версию интерфейса для более популярных игр с конца 2008 года. Для них требуется программное обеспечение TrackIR версии 4.1.036 или выше, и они несовместимы с FreeTrack. [18] Затронули разработчиков первой игры, DCS: Black Shark , [19] попытались выпустить собственный интерфейс отслеживания головы, но вскоре отменили его по запросу NaturalPoint. [20] Совместимость с FreeTrack по-прежнему возможна с помощью TrackIRFixer для устранения требования шифрования в играх. [21]
TIRViews.dll — это файл библиотеки динамической компоновки, распространяемый вместе с программным обеспечением TrackIR, который обеспечивает индивидуальную поддержку небольшого количества преимущественно старых игр , используя специальные интерфейсы или хаки памяти для облегчения управления просмотром. [22] Несмотря на нарушение лицензионного соглашения программного обеспечения TrackIR , [23] его можно использовать с FreeTrack.
интерфейса TrackIR компании NaturalPoint SDK доступен только по подписанному лицензионному соглашению. [24] и на него распространяется соглашение о неразглашении , поэтому, хотя FreeTrack является бесплатным программным обеспечением , компонент интерфейса TrackIR должен иметь закрытый исходный код . [25]
См. также
[ редактировать ]
Ссылки
[ редактировать ]- ^ ДеМентон, Дэниел; Ларри С. Дэвис (1992). «Поза объекта на основе модели в 25 строках кода». Европейская конференция по компьютерному зрению . 15 : 335–343. CiteSeerX 10.1.1.50.9280 .
- ^ Альтер, ТД (1992). «3D-поза из трех соответствующих точек в проекции со слабой перспективой». Ай Памятка . 1378 (AIM – 1378): 43. CiteSeerX 10.1.1.18.1908 .
- ^ «Веб-камера 8.0 Mega 6 со светодиодной ИК-подсветкой Веб-камера Камера Skype MSN Микрофон» . Проверено 7 сентября 2010 г.
- ^ «Использование веб-камер ov519 (Eyetoy) с pdp/Gem (кадры jpeg)» . Проверено 8 мая 2010 г.
- ^ «Журнал изменений SDK CL Eye Platform» . Проверено 30 октября 2010 г.
- ^ «Камера XBOX Live Vision в Ubuntu» . Архивировано из оригинала 6 января 2010 г. Проверено 8 мая 2010 г.
- ^ «Автоматическое управление взлетом, зависанием и посадкой миниатюрных вертолетов с недорогим бортовым оборудованием» (PDF) . Проверено 8 мая 2010 г.
- ^ Jump up to: а б «Игровой контроллер TrackIR3 Pro» . арс техника. 25 августа 2004 года . Проверено 13 октября 2007 г.
- ^ «TrackIR2, трекер Track IR2 купить, обзор, избранное» . Проверено 8 мая 2010 г.
- ^ Jump up to: а б с д «Сравнение продуктов TrackIR» . NaturalPoint . Проверено 13 октября 2007 г.
- ^ «TrackIR 4 оттенки серого» . 11 июня 2009 года . Проверено 8 мая 2010 г.
- ^ «TrackIR 5 оттенки серого» . Архивировано из оригинала 14 июля 2011 г. Проверено 8 мая 2010 г.
- ^ «Разрешение Wii и задержка» . Проверено 7 декабря 2010 г.
- ^ «Арма 2: Патч v1.05» . Проверено 20 июля 2010 г.
- ^ «Выпущен PiBoSo Alpha 6» . Архивировано из оригинала 15 июля 2011 г. Проверено 16 марта 2010 г.
- ^ «NaturalPointofView — монополия NaturalPoint TrackIR» . Проверено 20 июля 2010 г.
- ^ «Улучшенные игры TrackIR: DCS: Black Shark» . NaturalPoint . Проверено 26 октября 2008 г.
- ^ Тез - ED Team (14 ноября 2008 г.). «Интерфейс HeadTracker — Форумы ED» . Игл Динамикс . Проверено 16 марта 2010 г.
- ^ «NaturalPointofView — монополия NaturalPoint TrackIR: TrackIRFixer» . Проверено 20 июля 2010 г.
- ^ «Форум FreeTrack V2.2 и FSX/FS9» . Проверено 20 февраля 2010 г.
- ^ «Страница загрузки программного обеспечения TrackIR» . NaturalPoint . Проверено 20 февраля 2010 г.
- ^ «Разработчики TrackIR: какой SDK мне нужен?» . Проверено 20 февраля 2010 г.
- ^ «Head Banging...» Архивировано из оригинала 5 июня 2011 г. Проверено 20 февраля 2010 г.
Внешние ссылки
[ редактировать ]- Официальный сайт FreeTrack
- Академическая страница Дэниела ДеМентона - статьи и примеры алгоритма POSIT
- Канал FreeTrack на YouTube