Jump to content

Гранулярные вычисления

Гранулярные вычисления — это новая вычислительная парадигма обработки информации , которая касается обработки сложных информационных объектов, называемых «информационными гранулами », которые возникают в процессе абстракции данных и получения знаний из информации или данных. Вообще говоря, информационные гранулы представляют собой совокупности сущностей, которые обычно возникают на числовом уровне и располагаются вместе из-за их сходства , функциональной или физической смежности, неотличимости, связности и т.п.

В настоящее время гранулярные вычисления — это скорее теоретическая перспектива , чем последовательный набор методов или принципов. С теоретической точки зрения он поощряет подход к данным, который распознает и использует знания, присутствующие в данных на различных уровнях разрешения или масштабах. В этом смысле оно охватывает все методы, которые обеспечивают гибкость и адаптируемость разрешения, с которым извлекаются и представляются знания или информация.

Виды грануляции

[ редактировать ]
Спутниковый вид циклона.
Вид со спутника на Манхэттен.

Как упоминалось выше, гранулярные вычисления — это не алгоритм или процесс; не существует конкретного метода, называемого «детализированными вычислениями». Это скорее подход к рассмотрению данных, который учитывает, насколько разные и интересные закономерности в данных могут проявляться на разных уровнях детализации, подобно тому, как различные особенности становятся заметными на спутниковых изображениях большего или меньшего разрешения. Например, на спутниковом изображении с низким разрешением можно заметить интересные узоры облаков, представляющие циклоны или другие крупномасштабные погодные явления, тогда как на изображении с более высоким разрешением можно пропустить эти крупномасштабные атмосферные явления, но вместо этого заметить явления меньшего масштаба. , например, интересный узор на улицах Манхэттена . То же самое в целом верно для всех данных: при разном разрешении или степени детализации проявляются разные характеристики и взаимосвязи. Цель гранулярных вычислений — попытаться воспользоваться этим фактом при разработке более эффективных систем машинного обучения и рассуждения.

Существует несколько типов детализации, которые часто встречаются в интеллектуальном анализе данных и машинном обучении , и мы рассмотрим их ниже:

Грануляция значений (дискретизация/квантование)

[ редактировать ]

Одним из типов грануляции является квантование переменных. Очень часто в приложениях интеллектуального анализа данных или машинного обучения необходимо уменьшить разрешение переменных, чтобы извлечь значимые закономерности. Примером этого может быть такая переменная, как «наружная температура» ( temp ), которая в данном приложении может быть записана с точностью до нескольких десятичных знаков (в зависимости от сенсорного устройства). Однако в целях извлечения взаимосвязей между «внешней температурой» и, скажем, «количеством посещений оздоровительного клуба» ( club ), обычно будет выгодно квантовать «наружную температуру» в меньшее количество интервалов.

Мотивации

[ редактировать ]

Существует несколько взаимосвязанных причин для такого гранулирования переменных:

  • Основываясь на предварительных знаниях в данной области , нельзя ожидать, что незначительные колебания температуры (например, разница между 80–80,7 °F (26,7–27,1 °C)) могут повлиять на поведение, определяющее количество обращений в оздоровительные клубы. По этой причине любая «регулярность», которую наши алгоритмы обучения могут обнаружить на этом уровне разрешения, должна быть ложной , как артефакт переобучения. Огрубляя температурную переменную до интервалов, разница между которыми, как мы ожидаем (на основе предварительных знаний предметной области), может повлиять на количество заявок в оздоровительных клубах, мы исключаем возможность обнаружения этих ложных закономерностей. Таким образом, в данном случае снижение разрешения является методом контроля переобучения .
  • Уменьшая количество интервалов температурной переменной (т. е. увеличивая ее размер зерна ), мы увеличиваем объем выборочных данных, индексируемых каждым обозначением интервала. Таким образом, огрубляя переменную, мы увеличиваем размер выборки и достигаем лучшей статистической оценки. В этом смысле увеличение детализации обеспечивает противоядие от так называемого проклятия размерности , которое связано с экспоненциальным уменьшением статистической мощности с увеличением числа измерений или переменной мощности.
  • Независимо от предварительных знаний предметной области, часто бывает так, что значимые закономерности (т. е. которые могут быть обнаружены с помощью данной методологии обучения, языка представления и т. д.) могут существовать на одном уровне разрешения и не существовать на другом.
Преимущества детализации значений: последствия здесь существуют при разрешении которых нет в более высоком разрешении в частности, в то же время,

Например, простой обучающийся или система распознавания образов может стремиться извлечь закономерности, удовлетворяющие порогу условной вероятности , например В частном случае, когда эта система распознавания по существу обнаруживает логическое значение формы или, другими словами, «если затем «. Способность системы распознавать такие последствия (или, вообще, условные вероятности, превышающие порог) частично зависит от разрешения, с которым система анализирует переменные.

В качестве примера последнего пункта рассмотрим пространство признаков, показанное справа. Каждую переменную можно рассматривать с двумя разными разрешениями. Переменная можно рассматривать с высоким (четвертичным) разрешением, при этом он принимает четыре значения или с более низким (двоичным) разрешением, где оно принимает два значения Аналогично, переменная может рассматриваться с высоким (четвертичным) разрешением или с более низким (двоичным) разрешением, где оно принимает значения или соответственно. При высоком разрешении нет заметных последствий вида поскольку каждый связан более чем с одним и таким образом для всех Однако при низком (двоичном) разрешении переменных становятся заметными два двусторонних последствия: и , поскольку каждый происходит тогда и только тогда, когда и происходит тогда и только тогда, когда Таким образом, система распознавания образов, сканирующая последствия такого рода, обнаружит их при разрешении двоичной переменной, но не сможет найти их при более высоком разрешении четвертичной переменной.

Проблемы и методы

[ редактировать ]

Невозможно полностью протестировать все возможные разрешения дискретизации по всем переменным, чтобы увидеть, какая комбинация разрешений дает интересные или значимые результаты. Вместо этого пространство признаков должно быть предварительно обработано (часто с помощью какого-либо энтропийного анализа), чтобы можно было дать некоторые рекомендации относительно того, как должен проходить процесс дискретизации. Более того, обычно невозможно добиться хороших результатов, наивно анализируя и дискретизируя каждую переменную независимо, поскольку это может стереть те самые взаимодействия, которые мы надеялись обнаружить.

Пример статей, посвященных проблеме дискретизации переменных в целом и дискретизации многих переменных в частности, выглядит следующим образом: Chiu, Wong & Cheung (1991) , Bay (2001) , Liu et al. (2002) , Ван и Лю (1998) , Зигед, Рабаседа и Ракотомалала (1998) , Кэтлетт (1991) , Догерти, Кохави и Сахами (1995) , Монти и Купер (1999) , Файяд и Ирани (1993) Чиу , Чунг и Вонг (1990) , Нгуен и Нгуен (1998) , Гржимала-Буссе и Стефановски (2001) , Тинг (1994) , Лудл и Видмер (2000) , Пфарингер (1995) , Ан и Черконе (1999) , Чиу и Чунг (1989) , Хмелевски и Гржимала-Буссе (1996) , Ли и Шин (1994) , Лю и Веллман (2002) , Лю и Веллман (2004) .

Переменная грануляция (кластеризация/агрегация/преобразование)

[ редактировать ]

Переменная грануляция — это термин, который может описывать различные методы, большинство из которых направлены на снижение размерности, избыточности и требований к хранению. Здесь мы кратко опишем некоторые идеи и приведем ссылки на литературу.

Преобразование переменных

[ редактировать ]

Ряд классических методов, таких как анализ главных компонентов , многомерное масштабирование , факторный анализ и моделирование структурными уравнениями , а также их родственники, подпадают под категорию «преобразования переменных». Также в эту категорию входят более современные области исследований, такие как уменьшение размерности , поиск проекций и анализ независимых компонентов . Общая цель этих методов в целом — найти представление данных в терминах новых переменных, которые представляют собой линейное или нелинейное преобразование исходных переменных и в которых возникают важные статистические отношения. Результирующие наборы переменных почти всегда меньше исходного набора переменных, и, следовательно, можно условно сказать, что эти методы налагают грануляцию на пространство признаков. Все эти методы уменьшения размерности рассматриваются в стандартных текстах, таких как Duda, Hart & Stork (2001) , Witten & Frank (2005) и Hastie, Tibshirani & Friedman (2001) .

Агрегация переменных

[ редактировать ]

Другой класс методов грануляции переменных больше основан на методологиях кластеризации данных , чем на теории линейных систем, лежащей в основе вышеупомянутых методов. Довольно рано было отмечено, что можно рассматривать «кластеризацию» связанных переменных точно так же, как рассматривают кластеризацию связанных данных. При кластеризации данных человек идентифицирует группу похожих объектов (используя « меру сходства », подходящую для предметной области — Мартино, Джулиани и Рицци (2018) ), а затем в некотором смысле заменяет эти объекты каким-либо прототипом. Прототипом может быть простое среднее данных в идентифицированном кластере или какой-либо другой репрезентативный показатель. Но ключевая идея заключается в том, что в последующих операциях мы сможем использовать один прототип кластера данных (вместе, возможно, со статистической моделью, описывающей, как образцы получаются из прототипа), чтобы заменить гораздо больший набор образцов. Эти прототипы обычно позволяют собрать большую часть интересующей информации об объектах.

Дерево переменной агломерации Ватанабэ-Краскова. Переменные агломерируются (или «объединяются») снизу вверх, при этом каждый узел слияния представляет (созданную) переменную, имеющую энтропию, равную совместной энтропии агломерирующих переменных. Таким образом, объединение двух m -арных переменных наличие индивидуальной энтропии дает один m 2 -арная переменная с энтропией Когда сильно зависимы (т. е. избыточны) и имеют большой объем взаимной информации. затем потому что и это будет считаться экономной унификацией или агрегацией.

Точно так же разумно задаться вопросом, можно ли объединить большой набор переменных в меньший набор переменных- прототипов , которые отражают наиболее существенные взаимосвязи между переменными. методы кластеризации переменных, основанные на линейной корреляции Хотя были предложены ( Duda, Hart & Stork 2001 ; Rencher 2002 ), более мощные методы кластеризации переменных основаны на взаимной информации между переменными. Ватанабе показал ( Ватанабе 1960 ; Ватанабе 1969 ), что для любого набора переменных можно построить политомическое (т. е. n-арное) дерево, представляющее серию скоплений переменных, в которых конечная «общая» корреляция между полным набором переменных равна сумма «частичных» корреляций, демонстрируемых каждым агломерирующим подмножеством (см. рисунок). Ватанабэ предполагает, что наблюдатель может попытаться разделить систему таким образом, чтобы минимизировать взаимозависимость между частями, «... как если бы он искал естественное разделение или скрытую трещину».

Один из практических подходов к построению такого дерева заключается в последовательном выборе для агломерации двух переменных (либо атомарных переменных, либо ранее агломерированных переменных), которые имеют наибольшую попарную взаимную информацию ( Красков и др., 2003 ). Продуктом каждой агломерации является новая (созданная) переменная, которая отражает локальное совместное распределение двух агломерирующих переменных и, таким образом, обладает энтропией, равной их совместной энтропии .(С процедурной точки зрения этот шаг агломерации включает замену двух столбцов в таблице атрибут-значение, представляющих две агломерирующие переменные, одним столбцом, который имеет уникальное значение для каждой уникальной комбинации значений в заменяемых столбцах ( Красков и др. 2003 ). При такой операции никакая информация не теряется, однако, если кто-то исследует данные на предмет взаимосвязей между переменными, обычно нежелательно объединять избыточные переменные таким способом, поскольку в таком контексте это может произойти; именно избыточность или зависимость между переменными, представляющая интерес; и как только избыточные переменные объединяются, их связь друг с другом больше не может быть изучена.

Система грануляции (агрегации)

[ редактировать ]

В системах баз данных агрегации (см., например, агрегацию OLAP и системы бизнес-аналитики ) приводят к преобразованию исходных таблиц данных (часто называемых информационными системами) в таблицы с различной семантикой строк и столбцов, где строки соответствуют группам (гранулам) исходных данных. кортежи и столбцы выражают агрегированную информацию об исходных значениях внутри каждой из групп. Такие агрегации обычно основаны на SQL и его расширениях. Полученные гранулы обычно соответствуют группам исходных кортежей с одинаковыми значениями (или диапазонами) в некоторых заранее выбранных исходных столбцах.

Существуют также другие подходы, в которых группы определяются на основе, например, физической смежности строк. Например, компания Infobright реализовала механизм базы данных, в котором данные были разбиты на приблизительные строки , каждая из которых состоит из 64 КБ физически последовательных (или почти последовательных) строк. Грубые строки автоматически помечались компактной информацией об их значениях в столбцах данных, часто с использованием связей между несколькими столбцами и несколькими таблицами. В результате появился более высокий уровень гранулированной информации, где объекты соответствовали приблизительным строкам, а атрибуты — различным аспектам грубой информации. Операции с базами данных могут эффективно поддерживаться в рамках такой новой структуры, при этом доступ к исходным фрагментам данных будет по-прежнему доступен ( Slezak et al. 2013 ).

Детализация концепций (компонентный анализ)

[ редактировать ]

Истоки идеологии гранулярных вычислений можно найти в литературе по грубым и нечетким множествам . Один из ключевых выводов исследования грубых множеств (хотя он ни в коем случае не уникален) заключается в том, что, как правило, выбор разных наборов признаков или переменных приводит к разным концепций грануляциям . Здесь, как и в элементарной грубой теории множеств, под «концепцией» мы подразумеваем набор сущностей, которые неотличимы или неразличимы для наблюдателя (т. е. простое понятие), или набор сущностей, составленный из таких простых понятий (т. е. сложное понятие). Другими словами, проецируя набор данных ( систему значений-атрибутов ) на разные наборы переменных, мы распознаем в данных альтернативные наборы «понятий» класса эквивалентности, и эти различные наборы понятий в целом будут способствовать к выделению различных связей и закономерностей.

Грануляция классов эквивалентности

[ редактировать ]

Проиллюстрируем примером. Рассмотрим систему атрибут-значение ниже:

Образец информационной системы
Объект
1 2 0 1 1
1 2 0 1 1
2 0 0 1 0
0 0 1 2 1
2 1 0 2 1
0 0 1 2 2
2 0 0 1 0
0 1 2 2 1
2 1 0 2 2
2 0 0 1 0

Когда полный набор атрибутов рассматриваем, мы видим, что имеем следующие семь классов эквивалентности или примитивных (простых) понятий:

Таким образом, два объекта в первом классе эквивалентности, невозможно отличить друг от друга на основе доступных атрибутов и трех объектов второго класса эквивалентности, невозможно отличить друг от друга по имеющимся атрибутам. Остальные пять объектов отличимы от всех остальных объектов. Теперь представим себе проекцию системы значений атрибута на атрибут. один, который будет представлять, например, вид наблюдателя, который способен обнаружить только этот единственный атрибут. Тогда мы получаем следующую гораздо более грубую структуру классов эквивалентности.

В некотором смысле это та же самая структура, что и раньше, но с меньшим разрешением (большим размером зерна). Так же, как и в случае с грануляцией значений (дискретизацией/квантованием) , возможно, что на одном уровне детализации могут возникнуть отношения (зависимости), которых нет на другом. В качестве примера мы можем рассмотреть влияние детализации понятий на меру, известную как зависимость атрибута (более простой родственник взаимной информации ).

Чтобы установить это понятие зависимости (см. также грубые множества ), пусть представляют собой конкретную концепцию детализации, где каждый — это класс эквивалентности из структуры понятий, индуцированной набором Q. атрибутов Например, если набор атрибутов Q состоит из атрибута отдельно, как указано выше, тогда структура понятия будет состоять из

Зависимость набора атрибутов Q от другого набора атрибутов P , дается

То есть для каждого класса эквивалентности в мы складываем размер его «нижнего приближения» (см. грубые множества ) по атрибутам в P , т.е. Проще говоря, это приближение представляет собой количество объектов, которые по набору атрибутов P могут быть положительно идентифицированы как принадлежащие целевому набору. Добавлено во все классы эквивалентности в числитель выше представляет общее количество объектов, которые на основе набора атрибутов P могут быть положительно категоризированы в соответствии с классификацией, вызванной атрибутами Q . Таким образом, коэффициент зависимости выражает долю (во всей вселенной) таких классифицируемых объектов, в некотором смысле фиксируя «синхронизацию» двух концептуальных структур. и Зависимость «можно интерпретировать как долю таких объектов в информационной системе, для которой достаточно знать значения атрибутов в P, чтобы определить значения атрибутов в Q » (Зиарко и Шан, 1995).

Теперь, разобравшись с определениями, мы можем сделать простое наблюдение: выбор степени детализации понятия (т. е. выбор атрибутов) будет влиять на обнаруженные зависимости между атрибутами. Рассмотрим еще раз таблицу значений атрибутов, приведенную выше:

Образец информационной системы
Объект
1 2 0 1 1
1 2 0 1 1
2 0 0 1 0
0 0 1 2 1
2 1 0 2 1
0 0 1 2 2
2 0 0 1 0
0 1 2 2 1
2 1 0 2 2
2 0 0 1 0

Учитывайте зависимость набора атрибутов по набору атрибутов То есть мы хотим знать, какую долю объектов можно правильно классифицировать по классам. основанный на знании Классы эквивалентности и из показаны ниже.

Объекты, которые можно однозначно классифицировать по концептуальной структуре. на основе они в наборе а так как их шесть, то зависимость Q от P , Это можно считать интересной зависимостью само по себе, но, возможно, в конкретном приложении для интеллектуального анализа данных желательны только более сильные зависимости.

Затем мы могли бы рассмотреть зависимость меньшего набора атрибутов по набору атрибутов Переход от к вызывает огрубление классовой структуры как будет видно в ближайшее время. Мы хотим еще раз узнать, какую долю объектов можно правильно отнести к (теперь более крупным) классам. основанный на знании Классы эквивалентности нового и из показаны ниже.

Четко, имеет более грубую детализацию, чем раньше. Объекты, которые теперь можно окончательно классифицировать в соответствии со структурой понятий. на основе составляют полную вселенную , и, следовательно, зависимость Q от P , То есть знание членства в соответствии с набором категорий достаточно для определения принадлежности к категории в с полной уверенностью; В этом случае мы могли бы сказать, что Таким образом, огрубив структуру понятий, мы смогли найти более сильную (детерминированную) зависимость. Однако заметим также, что классы, индуцированные в из-за снижения разрешения, необходимого для получения этой детерминированной зависимости, теперь сами являются большими и малочисленными; в результате найденная нами зависимость, хотя и сильная, может быть менее ценной для нас, чем более слабая зависимость, обнаруженная ранее при просмотре с более высоким разрешением

В общем, невозможно протестировать все наборы атрибутов, чтобы увидеть, какие индуцированные концептуальные структуры дают наиболее сильные зависимости, и поэтому этот поиск должен осуществляться с определенной степенью разумности. Документы, в которых обсуждается этот вопрос, а также другие статьи, касающиеся разумного использования грануляции, принадлежат Ю. Яо и Лотфи Заде, перечисленным в #References ниже.

Грануляция компонентов

[ редактировать ]

Другой взгляд на грануляцию понятий можно получить из работы над параметрическими моделями категорий. Например, при обучении смешанной модели набор данных объясняется как смесь различных гауссовских (или других) распределений. Таким образом, большой объем данных «заменяется» небольшим количеством распределений. Выбор количества этих распределений и их размера снова можно рассматривать как проблему детализации понятий . В общем, лучшее соответствие данным достигается за счет большего количества распределений или параметров, но для извлечения значимых закономерностей необходимо ограничить количество распределений, тем самым намеренно огрубляя разрешение концепции. Поиск «правильного» решения концепции — сложная задача, для решения которой было предложено множество методов (например, AIC , BIC , MDL и т. д.), и их часто рассматривают под рубрикой « регуляризации модели ».

Различные интерпретации гранулярных вычислений

[ редактировать ]

Гранулярные вычисления можно рассматривать как структуру теорий, методологий, методов и инструментов, которые используют информационные гранулы в процессе решения проблем. В этом смысле гранулярные вычисления используются как общий термин для обозначения тем, которые изучались в различных областях изолированно. Изучив все эти существующие исследования в свете единой структуры гранулярных вычислений и выделив их общие черты, возможно, можно будет разработать общую теорию решения проблем.

В более философском смысле гранулярные вычисления могут описывать способ мышления, основанный на способности человека воспринимать реальный мир на различных уровнях детализации (т. е. абстракции), чтобы абстрагировать и учитывать только те вещи, которые служат конкретному интересу и для переключения между различными уровнями детализации. Сосредоточившись на разных уровнях детализации, можно получить разные уровни знаний, а также лучше понять внутреннюю структуру знаний. Таким образом, гранулярные вычисления необходимы для решения человеческих задач и, следовательно, оказывают очень существенное влияние на проектирование и внедрение интеллектуальных систем.

См. также

[ редактировать ]
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 4c0a3b5d23bc14f216710895da1541c5__1718672340
URL1:https://arc.ask3.ru/arc/aa/4c/c5/4c0a3b5d23bc14f216710895da1541c5.html
Заголовок, (Title) документа по адресу, URL1:
Granular computing - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)