Слияние данных

Слияние данных - это процесс интеграции нескольких источников данных для получения более согласованной, точной и полезной информации, чем то, что предоставляется любым отдельным источником данных.

Процессы слияния данных часто классифицируются как низкие, промежуточные или высокие, в зависимости от стадии обработки, на которой происходит слияние. ^{[ 1 ]} Слияние данных низкого уровня объединяет несколько источников необработанных данных для получения новых необработанных данных. Ожидается, что предоплаченные данные являются более информативными и синтетическими , чем исходные входы.

Например, слияние датчика также известно как (мультисенсорное) слияние данных и представляет собой подмножество слияния информации .

Концепция слияния данных имеет происхождение в развивающейся способности людей и животных, чтобы включить информацию из разных чувств, чтобы улучшить их способность выжить. Например, сочетание вида, прикосновения, запаха и вкуса может указывать на то, является ли вещество съедобным. ^{[ 2 ]}

Модель JDL/DFIG

В середине 1980-х годов совместные директора лабораторий сформировали подпанель слияния данных (которая впоследствии стала известна как группа слияния данных). С появлением Всемирной паутины слияние данных включало данные, датчик и слияние информации. JDL/DFIG представил модель слияния данных, которая разделила различные процессы. В настоящее время шесть уровней с моделью информационной группы Fusion Data Fusion (DFIG):

Уровень 0: предварительная обработка источника (или оценка данных )
Уровень 1: оценка объекта
Уровень 2: Оценка ситуации
Уровень 3: оценка воздействия (или уточнение угроз )
Уровень 4: уточнение процесса (или управление ресурсами )
Уровень 5: уточнение пользователя (или когнитивное уточнение )
Уровень 6: уточнение миссии (или управление миссией )

Хотя модель JDL (уровень 1–4) все еще используется сегодня, часто подвергается критике за то, что уровни обязательно происходят в порядке, а также за отсутствие адекватного представления потенциала для человека в петле Полем Модель DFIG (уровень 0–5) изучала последствия осознания ситуации, уточнения пользователей и управления миссиями. ^{[ 3 ]} Несмотря на эти недостатки, модели JDL/DFIG полезны для визуализации процесса слияния данных, облегчения обсуждения и общего понимания, ^{[ 4 ]} и важно для проектирования слияния информации на уровне систем. ^{[ 3 ]} ^{[ 5 ]}

Геопространственные приложения

В домене геопространства ( ГИС ) слияние данных часто является синонимом интеграции данных . В этих приложениях часто существует необходимость объединить различные наборы данных в единый (слитый) набор данных, который включает в себя все точки данных и временные шаги от наборов входных данных. Набор предоплаченных данных отличается от простого комбинированного суперсет в том, что точки в наборе предоплаченных данных содержат атрибуты и метаданные, которые, возможно, не были включены для этих точек в исходный набор данных.

Упрощенный пример этого процесса показан ниже, где набор данных «α» сливается с набором данных β, чтобы сформировать набор предоплаченных данных Δ. Точки данных в наборе «α» имеют пространственные координаты x и y и атрибуты A1 и A2. Точки данных в наборе β имеют пространственные координаты x и y и атрибуты B1 и B2. Объединенный набор данных содержит все точки и атрибуты.

Набор входных данных α

Набор входных данных β

Объединенный набор данных Δ

Точка	Х	И	А1	A2
А1	10	10	М	Не
A2	10	30	М	Не
A3	30	10	М	Не
A4	30	30	М	Не

Точка	Х	И	B1	B2
B1	20	20	Q.	Ведущий
B2	20	40	Q.	Ведущий
B3	40	20	Q.	Ведущий
B4	40	40	Q.	Ведущий

Точка	Х	И	А1	A2	B1	B2
D1	10	10	М	Не	Q?	R?
D2	10	30	М	Не	Q?	R?
D3	30	10	М	Не	Q?	R?
D4	30	30	М	Не	Q?	R?
D5	20	20	М?	N?	Q.	Ведущий
D6	20	40	М?	N?	Q.	Ведущий
D7	40	20	М?	N?	Q.	Ведущий
D8	40	40	М?	N?	Q.	Ведущий

В простом случае, когда все атрибуты равномерны по всей области анализа, атрибуты могут быть просто назначены: m?, N?, Q?, R? Для M, N, Q, R. В реальном приложении атрибуты не являются однородными, и некоторый тип интерполяции обычно требуется для правильного назначения атрибутов точкам данных в сплавленном наборе.

В гораздо более сложном применении исследователи морских животных используют слияние данных для сочетания данных отслеживания животных с батиметрической , метеорологической (SST) и животных среды обитания для изучения и понимания использования среды обитания и поведения животных в ответ на внешние силы , температурой поверхности моря такие как погода или температура воды. Каждый из этих наборов данных демонстрирует различную пространственную сетку и скорость отбора проб, поэтому простая комбинация, вероятно, создала бы ошибочные предположения и испортила результаты анализа. Но благодаря использованию слияния данных все данные и атрибуты объединяются в единый вид, в котором создается более полная картина среды. Это позволяет ученым определять ключевые местоположения и время и сформировать новое понимание взаимодействия между окружающей средой и поведением животных.

На рисунке справа, каменные омары изучаются у побережья Тасмании. Хью Педерсон из Университета Тасмании использовал программное обеспечение для слияния данных, чтобы объединить данные отслеживания омаров южного рока (цветовой кодировки для желтого и черного в течение дня и ночи соответственно) с батиметрией и данными среды обитания, чтобы создать уникальную 4D-картину поведения каменных омаров.

Интеграция данных

В приложениях за пределами геопространственной области применяются различия в использовании терминов интеграции данных и слияния данных. Например, в таких областях, как бизнес -аналитика, интеграция данных используется для описания объединения данных, тогда как слияние данных - это интеграция, сопровождаемая сокращением или заменой. Интеграция данных может рассматриваться как установленная комбинация, в которой сохраняется более крупный набор, тогда как Fusion - это метод сокращения набора с улучшенной уверенностью.

Области применения

Из множественных методов определения трафика

Данные из различных технологий зондирования могут быть объединены интеллектуальными способами для точного определения состояния трафика. Было показано, что подход, основанный на слиянии данных, в котором используется сторона дороги, собранную акустическими, изображениями и датчиками, объединяет преимущества различных отдельных методов. ^{[ 6 ]}

Решение слияние

Во многих случаях географически диспергированные датчики строго ограничены энергией и полосой. Следовательно, необработанные данные, касающиеся определенного явления, часто суммируются в нескольких битах от каждого датчика. При выводе на бинарном событии (т.е. ${\mathcal {H}}_{0}$ или ${\mathcal {H}}_{1}$ ), в крайнем случае только бинарные решения отправляются из датчиков в центр слияния решений (DFC) и объединены для получения улучшенной производительности классификации. ^{[ 7 ]}^{[ 8 ]}^{[ 9 ]}

Для повышения контекстной осведомленности

Благодаря множеству встроенных датчиков, включая датчик движения, датчик окружающей среды, датчик положения, современное мобильное устройство обычно дает мобильным приложениям доступ к ряду сенсорных данных, которые можно использовать для повышения контекстуальной осведомленности. Использование методов обработки сигналов и слияния данных, таких как генерация функций, технико -экономическое обоснование и анализ основных компонентов (PCA), такие сенсорные данные значительно улучшат положительный уровень классификации движения и контекстуального соответствующего состояния устройства. ^{[ 10 ]} Многие контекстные информационные методы предоставляются Snidaro, et al. ^{[ 11 ]}^{[ 12 ]}

Статистические методы

Байесовские авторегрессивные гауссовые процессы

Гауссовые процессы являются популярной моделью машинного обучения. Если предполагается, что автоматическая регрессивная связь между данными, и каждый источник данных считается гауссовым процессом, это представляет собой нелинейную проблему байесовской регрессии . ^{[ 13 ]}

Полупараметрическая оценка

Многие методы слияния данных предполагают общие условные распределения по нескольким источникам данных. ^{[ 14 ]} В последнее время были разработаны методы, чтобы обеспечить эффективную оценку в результате полупараметрической модели. ^{[ 15 ]}

Смотрите также

Ссылки

^ Кляйн, Лоуренс А. (2004). Датчик и слияние данных: инструмент для оценки информации и принятия решений . Spie Press. п. 51. ISBN 978-0-8194-5435-5 .
^ Холл, Дэвид Л.; Llinas, James (1997). «Введение в мультисенсорное слияние данных» . Труды IEEE . 85 (1): 6–23. doi : 10.1109/5.554205 . ISSN 0018-9219 .
^ Подпрыгнуть до: ^а ^{беременный} Блейз, Эрик П.; Боссы, подписка Ламберт, Дейл А. (2012). Управление слиянием информации высокого уровня и проектирование системы . Nowwood, Make: Artis House Publishers. ISBN 978-1-6080-7151-7 .
^ Лиггинс, Мартин Э.; Холл, Дэвид Л.; Llinas, James (2008). Мультисенсорное слияние данных, второе издание: теория и практика (мультисенсорное слияние данных) . CRC. ISBN 978-1-4200-5308-1 .
^ Blasch, E., Steinberg, A., Das, S., Llinas, J., Chong, C.-Y., Kessler, O., Waltz, E., White, F. »(2013). Пересмотр JDL Модель для эксплуатации информации . {{cite conference}}: Cs1 maint: несколько имен: список авторов ( ссылка )
^ Джоши В., Раджамани Н., Такаюки К., Пратапапанени, Субраманиам, Л.В. (2013). Обучение на основе слияния информации для энтузиации состояния скромного движения . Труды Двадцать третьей международной совместной конференции по искусственному интеллекту. {{cite conference}}: Cs1 maint: несколько имен: список авторов ( ссылка )
^ Ciuonzo, D.; Папа, Г.; Романо, Г.; Salvo Rossi, P.; Уиллетт, П. (2013-09-01). «Однобитовое децентрализованное обнаружение с тестом RAO для мультисенсорного слияния». IEEE -обработки букв . 20 (9): 861–864. Arxiv : 1306.6141 . Bibcode : 2013ISPL ... 20..861C . doi : 10.1109/lsp.2013.2271847 . ISSN 1070-9908 . S2CID 6315906 .
^ Ciuonzo, D.; Salvo Rossi, P. (2014-02-01). «Слияние решения с неизвестной вероятностью обнаружения датчиков». IEEE -обработки букв . 21 (2): 208–212. Arxiv : 1312.2227 . Bibcode : 2014ispl ... 21..208c . doi : 10.1109/lsp.2013.2295054 . ISSN 1070-9908 . S2CID 8761982 .
^ Ciuonzo, D.; De Maio, A.; Salvo Rossi, P. (2015-09-01). «Систематическая структура для тестирования составной гипотезы независимых испытаний в Бернулли». IEEE -обработки букв . 22 (9): 1249–1253. BIBCODE : 2015ISPL ... 22.1249C . doi : 10.1109/lsp.2015.2395811 . ISSN 1070-9908 . S2CID 15503268 .
^ Гири, Джон Дж.; van de ven, pepijn; Нельсон, Джон (2014-03-21). «Мультисенсорное слияние для повышения контекстуальной осведомленности о повседневной деятельности с вездесущими устройствами» . Датчики . 14 (3): 5687–5701. Bibcode : 2014senso..14.5687g . doi : 10.3390/s140305687 . PMC 4004015 . PMID 24662406 .
^ Снидаро, Лаурао; et, al. (2016). Информационное слияние с контекстным усилением: повышение реальной производительности со знанием области . Швейцария, AG: Springer. ISBN 978-3-319-28971-7 .
^ Хагигат, Мухаммед; Абдель-Мотталеб, Мохамед; Алхалаби, Вади (2016). «Анализ дискриминационной корреляции: слияние уровня признаков в реальном времени для мультимодального биометрического распознавания» . IEEE транзакции по информационной криминалистике и безопасности . 11 (9): 1984–1996. doi : 10.1109/tifs.2016.2569061 . S2CID 15624506 .
^ Ранфтл, Саша; Мелито, Джан Марко; Бадели, Вахид; Рейнбахер-Кёстингер, Алиса; Эллерманн, Катрин; Von der Linden, Wolfgang (2019-12-31). «Байесовская неопределенность количественная оценка с помощью многоцелевых данных и гауссовых процессов для импедансной кардиографии рассечения аорты» . Энтропия . 22 (1): 58. Bibcode : 2019entrp..22 ... 58r . doi : 10.3390/e22010058 . ISSN 1099-4300 . PMC 7516489 . PMID 33285833 .
^ Bareinboim, Elias; Pearl, Judea (2016-07-05). «Причинный вывод и проблема слияния данных» . Труды Национальной академии наук . 113 (27): 7345–7352. doi : 10.1073/pnas.1510507113 . ISSN 0027-8424 . PMC 4941504 . PMID 27382148 .
^ Ли, Сия; Luedtke, Alex (2023-11-15). «Эффективная оценка под слиянием данных» . Биометрика . 110 (4): 1041–1054. doi : 10.1093/biomet/asad007 . ISSN 0006-3444 . PMC 10653189 . PMID 37982010 .

Источники

Общие ссылки

Холл, Дэйв Л.; Llinas, James (1997). «Введение в мультисенсорное слияние данных». Труды IEEE . 85 (1): 6–23. doi : 10.1109/5.554205 .
Блаш, Эрик; Кадар, Иван; Салерно, Джон; Kokar, Mieczyslaw M.; Дас, Субрата; Пауэлл, Джеральд М.; Corkill, Daniel D.; Руспини, Энрике Х. (2006). «Проблемы и проблемы в оценке ситуации (слияние уровня 2)» (PDF) . Журнал достижений в области слияния информации . 1 (2). Архивировано из оригинала (PDF) 2015-05-27.

Библиография

Холл, Дэвид Л.; McMullen, Sonya AH (2004). Математические методы в мультисенсорном слиянии данных, второе издание . Норвуд, Массачусетс: Artech House, Inc. ISBN 978-1-5805-3335-5 .
Митчелл, HB (2007). Многосенсорное слияние данных-введение . Берлин: Springer-Verlag. ISBN 978-3-540-71463-7 .
Das, S. (2008). Слияние данных высокого уровня . Норвуд, Массачусетс: издатели Artech House. ISBN 978-1-59693-281-4 .

Внешние ссылки

[Klein-1] Кляйн, Лоуренс А. (2004). Датчик и слияние данных: инструмент для оценки информации и принятия решений . Spie Press. п. 51. ISBN 978-0-8194-5435-5 .

[2] Холл, Дэвид Л.; Llinas, James (1997). «Введение в мультисенсорное слияние данных» . Труды IEEE . 85 (1): 6–23. doi : 10.1109/5.554205 . ISSN 0018-9219 .

[Blasch2012-3] Подпрыгнуть до: ^а ^{беременный} Блейз, Эрик П.; Боссы, подписка Ламберт, Дейл А. (2012). Управление слиянием информации высокого уровня и проектирование системы . Nowwood, Make: Artis House Publishers. ISBN 978-1-6080-7151-7 .

[Hall2008-4] Лиггинс, Мартин Э.; Холл, Дэвид Л.; Llinas, James (2008). Мультисенсорное слияние данных, второе издание: теория и практика (мультисенсорное слияние данных) . CRC. ISBN 978-1-4200-5308-1 .

[5] Blasch, E., Steinberg, A., Das, S., Llinas, J., Chong, C.-Y., Kessler, O., Waltz, E., White, F. »(2013). Пересмотр JDL Модель для эксплуатации информации . {{cite conference}}: Cs1 maint: несколько имен: список авторов ( ссылка )

[6] Джоши В., Раджамани Н., Такаюки К., Пратапапанени, Субраманиам, Л.В. (2013). Обучение на основе слияния информации для энтузиации состояния скромного движения . Труды Двадцать третьей международной совместной конференции по искусственному интеллекту. {{cite conference}}: Cs1 maint: несколько имен: список авторов ( ссылка )

[7] Ciuonzo, D.; Папа, Г.; Романо, Г.; Salvo Rossi, P.; Уиллетт, П. (2013-09-01). «Однобитовое децентрализованное обнаружение с тестом RAO для мультисенсорного слияния». IEEE -обработки букв . 20 (9): 861–864. Arxiv : 1306.6141 . Bibcode : 2013ISPL ... 20..861C . doi : 10.1109/lsp.2013.2271847 . ISSN 1070-9908 . S2CID 6315906 .

[8] Ciuonzo, D.; Salvo Rossi, P. (2014-02-01). «Слияние решения с неизвестной вероятностью обнаружения датчиков». IEEE -обработки букв . 21 (2): 208–212. Arxiv : 1312.2227 . Bibcode : 2014ispl ... 21..208c . doi : 10.1109/lsp.2013.2295054 . ISSN 1070-9908 . S2CID 8761982 .

[9] Ciuonzo, D.; De Maio, A.; Salvo Rossi, P. (2015-09-01). «Систематическая структура для тестирования составной гипотезы независимых испытаний в Бернулли». IEEE -обработки букв . 22 (9): 1249–1253. BIBCODE : 2015ISPL ... 22.1249C . doi : 10.1109/lsp.2015.2395811 . ISSN 1070-9908 . S2CID 15503268 .

[10] Гири, Джон Дж.; van de ven, pepijn; Нельсон, Джон (2014-03-21). «Мультисенсорное слияние для повышения контекстуальной осведомленности о повседневной деятельности с вездесущими устройствами» . Датчики . 14 (3): 5687–5701. Bibcode : 2014senso..14.5687g . doi : 10.3390/s140305687 . PMC 4004015 . PMID 24662406 .

[11] Снидаро, Лаурао; et, al. (2016). Информационное слияние с контекстным усилением: повышение реальной производительности со знанием области . Швейцария, AG: Springer. ISBN 978-3-319-28971-7 .

[dca-12] Хагигат, Мухаммед; Абдель-Мотталеб, Мохамед; Алхалаби, Вади (2016). «Анализ дискриминационной корреляции: слияние уровня признаков в реальном времени для мультимодального биометрического распознавания» . IEEE транзакции по информационной криминалистике и безопасности . 11 (9): 1984–1996. doi : 10.1109/tifs.2016.2569061 . S2CID 15624506 .

[13] Ранфтл, Саша; Мелито, Джан Марко; Бадели, Вахид; Рейнбахер-Кёстингер, Алиса; Эллерманн, Катрин; Von der Linden, Wolfgang (2019-12-31). «Байесовская неопределенность количественная оценка с помощью многоцелевых данных и гауссовых процессов для импедансной кардиографии рассечения аорты» . Энтропия . 22 (1): 58. Bibcode : 2019entrp..22 ... 58r . doi : 10.3390/e22010058 . ISSN 1099-4300 . PMC 7516489 . PMID 33285833 .

[Bareinboim_Pearl_2016_pp._7345–7352-14] Bareinboim, Elias; Pearl, Judea (2016-07-05). «Причинный вывод и проблема слияния данных» . Труды Национальной академии наук . 113 (27): 7345–7352. doi : 10.1073/pnas.1510507113 . ISSN 0027-8424 . PMC 4941504 . PMID 27382148 .

[Li_Luedtke_2023_pp._1041–1054-15] Ли, Сия; Luedtke, Alex (2023-11-15). «Эффективная оценка под слиянием данных» . Биометрика . 110 (4): 1041–1054. doi : 10.1093/biomet/asad007 . ISSN 0006-3444 . PMC 10653189 . PMID 37982010 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]