Аналогичное моделирование

Не путать с аналоговой моделью .

Чтобы узнать о других значениях, см. Аналогия (значения) .

Аналогическое моделирование ( AM ) — это формальная теория рассуждений по аналогии, основанная на примерах , предложенная Ройалом Скоузеном , профессором лингвистики и английского языка в Университете Бригама Янга в Прово, штат Юта . Он применим к языковому моделированию и другим задачам категоризации. Аналогическое моделирование связано с коннекционизмом и подходами ближайшего соседа , поскольку оно основано на данных, а не на абстракции; но он отличается своей способностью справляться с несовершенными наборами данных (например, вызванными смоделированными ограничениями кратковременной памяти) и основывать прогнозы на всех соответствующих сегментах набора данных, как ближних, так и дальних. При моделировании языка АМ успешно предсказал эмпирически достоверные формы, для которых не было известно теоретическое объяснение (см. обсуждение финской морфологии в Skousen et al. 2002).

Выполнение

Обзор

Модель на основе образцов состоит из механизма моделирования общего назначения и набора данных для конкретной задачи. В наборе данных каждый образец (случай, на основе которого следует рассуждать, или информативный прошлый опыт) отображается как вектор признаков: строка значений для набора параметров, определяющих проблему. Например, в задаче по написанию звука вектор признаков может состоять из букв слова. Каждый экземпляр в наборе данных сохраняется с результатом, например фонемой или телефоном, который необходимо сгенерировать. Когда модели представлена ​​новая ситуация (в виде вектора признаков без исхода), механизм алгоритмически сортирует набор данных, чтобы найти образцы, которые напоминают его, и выбирает тот, результат которого является предсказанием модели. Особенности алгоритма отличают одну систему моделирования на основе образцов от другой.

В АМ мы думаем о значениях функций как о характеристиках контекста, а о результате как о поведении, которое происходит в этом контексте. Соответственно, новая ситуация известна как заданный контекст. Учитывая известные особенности контекста, движок AM систематически генерирует все контексты, включающие его (все его супраконтексты ), и извлекает из набора данных экземпляры, принадлежащие каждому. Затем движок отбрасывает те супраконтексты, результаты которых противоречивы (эта мера согласованности будет обсуждаться ниже), оставляя аналогичный набор супраконтекстов, и вероятностно выбирает экземпляр из аналогичного набора с уклоном в сторону экземпляров в больших супраконтекстах. Этот многоуровневый поиск экспоненциально увеличивает вероятность предсказания поведения, поскольку оно надежно происходит в условиях, которые конкретно напоминают данный контекст.

Аналоговое моделирование в деталях

AM выполняет один и тот же процесс для каждого случая, который его просят оценить. Данный контекст, состоящий из n переменных, используется в качестве шаблона для генерации $2^{n}$ супраконтексты. Каждый супраконтекст представляет собой набор экземпляров, в которых одна или несколько переменных имеют те же значения, что и в данном контексте, а другие переменные игнорируются. По сути, каждое из них представляет собой представление данных, созданное путем фильтрации по некоторым критериям сходства с данным контекстом, а общий набор супраконтекстов исчерпывает все такие представления. Альтернативно, каждый супраконтекст представляет собой теорию задачи или предлагаемое правило, предсказательную силу которого необходимо оценить.

Важно отметить, что супраконтексты не являются равноправными друг другу; они упорядочены по удаленности от данного контекста, образуя иерархию. Если супраконтекст определяет все переменные, которые делает другой, и даже больше, он является подконтекстом этого другого и находится ближе к данному контексту. (Иерархия не является строго разветвленной; каждый супраконтекст сам может быть подконтекстом нескольких других и может иметь несколько подконтекстов.) Эта иерархия становится значимой на следующем этапе алгоритма.

Теперь движок выбирает аналогичный набор из супраконтекстов. Супраконтекст может содержать образцы, демонстрирующие только одно поведение; он детерминированно однороден и включен. Это взгляд на данные, показывающий регулярность, или соответствующая теория, которая еще никогда не была опровергнута. Супраконтекст может демонстрировать несколько вариантов поведения, но не содержит примеров, которые встречаются в каком-либо более конкретном супраконтексте (то есть в любом из его подконтекстов); в этом случае он недетерминированно однороден и включен. Здесь нет убедительных доказательств того, что имеет место систематическое поведение, но и нет контраргументов. Наконец, супраконтекст может быть гетерогенным, то есть он демонстрирует поведение, которое встречается в подконтексте (ближе к данному контексту), а также поведение, которое им не является. Там, где было принято неоднозначное поведение недетерминированно однородного супраконтекста, оно отвергается, поскольку промежуточный подконтекст демонстрирует, что можно найти лучшую теорию. Таким образом, гетерогенный супраконтекст исключается. Это гарантирует, что мы увидим увеличение содержательно согласованного поведения в аналогичном множестве по мере приближения к данному контексту.

При выборе набора аналогов каждому появлению экземпляра (поскольку данный экземпляр может появляться в нескольких аналогичных супраконтекстах) присваивается указатель на любое другое появление экземпляра в его супраконтекстах. Затем случайным образом выбирается один из этих указателей, и ему следует следовать, а результат дает тот экземпляр, на который он указывает. Это придает каждому супраконтексту важность, пропорциональную квадрату его размера, и делает выбор каждого экземпляра прямо пропорциональным сумме размеров всех аналогичных непротиворечивых супраконтекстов, в которых он появляется. Тогда, конечно, вероятность предсказания конкретного результата пропорциональна сумме вероятностей всех примеров, которые его подтверждают.

(Skousen 2002, в Skousen et al. 2002, стр. 11–25, и Skousen 2003, оба пропущены)

Формулы

Учитывая контекст с $n$ элементы:

общее количество пар: $n^{2}$

количество соглашений для результата i : $n_{i}^{2}$

количество разногласий по результату i : $n_{i}(n-n_{i})$

общее количество соглашений: $\sum {n_{i}^{2}}$

общее количество разногласий: $\sum {n_{i}(n-n_{i})}=n^{2}-\sum {n_{i}^{2}}$

Пример

Эту терминологию лучше всего понять на примере. В примере, использованном во второй главе Скоузена (1989), каждый контекст состоит из трех переменных с потенциальными значениями 0–3.

Переменная 1: 0,1,2,3

Переменная 2: 0,1,2,3

Переменная 3: 0,1,2,3

Два результата для набора данных — e и r , а примеры:

3 1 0 e
0 3 2 r
2 1 0 r
2 1 2 r
3 1 1 r

Мы определяем сеть указателей следующим образом:

Сплошные линии представляют собой указатели между образцами с совпадающими результатами; пунктирные линии представляют собой указатели между образцами с несовпадающими результатами.

Статистика для этого примера следующая:

$n=5$

$n_{r}=4$

$n_{e}=1$

общее количество пар: $n^{2}=25$

количество соглашений для результата r : $n_{r}^{2}=16$

количество соглашений для результата e : $n_{e}^{2}=1$

количество разногласий для результата r : $n_{r}(n-n_{r})=4$

количество разногласий по результату e : $n_{e}(n-n_{e})=4$

общее количество соглашений: $n_{r}^{2}+n_{e}^{2}=17$

общее количество разногласий: $n_{r}(n-n_{r})+n_{e}(n-n_{e})=n^{2}-(n_{r}^{2}+n_{e}^{2})=8$

неопределенность или доля несогласия: $8/25=.32$

Поведение можно предсказать только для данного контекста; в этом примере давайте спрогнозируем результат для контекста «3 1 2». Для этого мы сначала находим все контексты, содержащие данный контекст; эти контексты называются супраконтекстами. Мы находим супраконтексты, систематически исключая переменные в данном контексте; с m переменными обычно будет $2^{m}$ супраконтексты. В следующей таблице перечислены все под- и супраконтексты; х означает «не х», а — означает «что угодно».

Надконтекст	Подконтексты
3 1 2	3 1 2
3 1 -	3 1 2, 3 1 2
3 - 2	3 1 2, 3 1 2
- 1 2	3 1 2, 3 1 2
3 - -	3 1 2, 3 1 2, 3 1 2 , 3 1 2
- 1 -	3 1 2, 3 1 2, 3 1 2 , 3 1 2
- - 2	3 1 2, 3 1 2, 3 1 2, 3 1 2
- - -	3 1 2, 3 1 2, 3 1 2, 3 1 2 , 3 1 2, 3 1 2 , 3 1 2 , 3 1 2

Эти контексты показаны на диаграмме Венна ниже:

Следующим шагом является определение того, какие экземпляры каким контекстам принадлежат, чтобы определить, какие из контекстов являются однородными. В таблице ниже показаны каждый из подконтекстов, их поведение с точки зрения приведенных экземпляров и количество разногласий внутри поведения:

Подконтекст	Поведение	Разногласия
3 1 2	(пустой)	0
3 1 2	3 1 0 е, 3 1 1 р	2
3 1 2	(пустой)	0
3 1 2	2 1 2 р	0
3 1 2	(пустой)	0
3 1 2	2 1 0 р	0
3 1 2	0 3 2 р	0
3 1 2	(пустой)	0

Анализируя подконтексты в таблице выше, мы видим, что есть только 1 подконтекст с какими-либо разногласиями: «3 1 2 », который в наборе данных состоит из «3 1 0 e» и «3 1 1 r». В этом подконтексте есть два разногласия; 1, указывающий от каждого экземпляра к другому (см. сеть указателей, изображенную выше). Поэтому только супраконтексты, содержащие этот подконтекст, будут содержать какие-либо разногласия. Для выявления однородных супраконтекстов воспользуемся простым правилом:

Если число разногласий в супраконтексте больше, чем количество разногласий в содержащемся подконтексте, мы говорим, что он неоднороден; в противном случае оно однородно.

Есть 3 ситуации, которые создают однородный супраконтекст:

1. Супраконтекст пуст. Это относится к «3–2», который не содержит точек данных. Никакого увеличения числа разногласий быть не может, а супраконтекст тривиально однороден.
2. Супраконтекст детерминирован, что означает, что в нем происходит только один тип результата. Так обстоит дело с «- 1 2» и «- - 2», которые содержат только данные с результатом r .
3. Только один подконтекст содержит какие-либо данные. Чтобы супраконтекст был однородным, подконтекст не обязательно должен быть детерминированным. Например, в то время как супраконтексты «3 1 -» и «- 1 2» являются детерминированными и содержат только один непустой подконтекст, «3 - -» содержит только подконтекст «3 1 2 ». Этот подконтекст содержит «3 1 0 e» и «3 1 1 r», что делает его недетерминированным. Мы говорим, что этот тип супраконтекста является беспрепятственным и недетерминированным.

Единственными двумя гетерогенными супраконтекстами являются «-1-» и «---». вызывается сочетанием недетерминированного «3 1 2 » с другими подконтекстами, содержащими результат r В обоих случаях неоднородность .

На самом деле существует 4-й тип однородного супраконтекста: он содержит более одного непустого подконтекста и он недетерминирован, но частота исходов в каждом подконтексте совершенно одинакова. Однако аналоговое моделирование не учитывает эту ситуацию по двум причинам:

1. Чтобы определить, произошла ли эта 4 ситуация, требуется $\chi ^{2}$ тест. Это единственный тест на однородность, который требует арифметики, и игнорирование его позволяет нашим тестам на однородность стать статистически свободными, что делает АМ более подходящим для моделирования человеческого мышления.
2. Это чрезвычайно редкая ситуация, и поэтому можно ожидать, что игнорирование ее не окажет большого влияния на прогнозируемый результат.

Далее мы строим аналогичный набор, который состоит из всех указателей и результатов из однородных супраконтекстов. На рисунке ниже показана сеть указателей с выделенными однородными контекстами.

Указатели сведены в следующую таблицу:

Однородный надконтекст	События	Количество указатели
		и р
3 1 -	«3 1 0 е», «3 1 1 р»	2 2
- 1 2	"2 1 2 р"	0 1
3 - -	«3 1 0 е», «3 1 1 р»	2 2
- - 2	«2 1 2 р», «0 3 2 р»	0 4
	Итого:	4 9

4 указателя в аналогичном наборе связаны с результатом e , а остальные 9 — с r . В AM указатель выбирается случайным образом, и результат, на который он указывает, прогнозируется. При общем количестве указателей 13 вероятность результата e предсказания составляет 4/13 или 30,8%, а для результата r — 9/13 или 69,2%. Мы можем создать более подробный отчет, перечислив указатели для каждого из случаев в однородных супраконтекстах:

возникновение	Количество однородный супраконтексты	Количество указатели	Аналогичный эффект
3 1 0 и	2	4	30.8%
3 1 1 р	2	4	30.8%
2 1 2 р	2	3	23.1%
0 3 2 р	1	2	15.4%
2 1 0 р	0	0	0.0%

Затем мы можем увидеть аналогичный эффект каждого из экземпляров в наборе данных.

Исторический контекст

Аналогию считали полезной при описании языка, по крайней мере, со времен Соссюра . Ноам Хомский и другие недавно раскритиковали аналогию как слишком расплывчатую, чтобы быть действительно полезной (Bańko 1991), обращение к deus ex machina. Предложение Скоузена, кажется, отвечает на эту критику, предлагая явный механизм аналогии, который можно проверить на психологическую обоснованность.

Приложения

Аналогическое моделирование использовалось в экспериментах, начиная от фонологии и морфологии (лингвистики) и заканчивая орфографией и синтаксисом .

Проблемы

Хотя аналоговое моделирование направлено на создание модели, свободной от правил, которые лингвисты считают придуманными, в его нынешней форме оно по-прежнему требует от исследователей выбора, какие переменные принимать во внимание. Это необходимо из-за так называемого «экспоненциального взрыва» требований к вычислительной мощности компьютерного программного обеспечения, используемого для реализации аналогового моделирования. Недавние исследования показывают, что квантовые вычисления могут решить такие проблемы с производительностью (Skousen et al. 2002, см. стр. 45–47).

См. также

• Компьютерная лингвистика
• Коннекционизм
• Обучение на основе экземпляров
• алгоритм k-ближайшего соседа

Ссылки

• Роял Скоусен (1989). Аналогическое моделирование языка (в твердом переплете). Дордрехт: Kluwer Academic Publishers. xii+212стр . ISBN  0-7923-0517-5 .
• Мирослав Банько (июнь 1991 г.). «Обзор: аналоговое моделирование языка» (PDF) . Компьютерная лингвистика . 17 (2): 246–248. Архивировано из оригинала (PDF) 2 августа 2003 г.
• Роял Скоусен (1992). Аналогия и структура . Дордрект: Kluwer Academic Publishers. ISBN  0-7923-1935-4 .
• Роял Скоусен; Дерил Лонсдейл; Дилворт Б. Паркинсон, ред. (2002). Аналогическое моделирование: подход к языку, основанный на примерах (Human Cognitive Processing, том 10). Амстердам/Филадельфия: Издательство Джона Бенджамина. п. х+417стр. ISBN  1-58811-302-7 .
• Скоусен, Роял. (2003). Аналоговое моделирование: примеры, правила и квантовые вычисления . Представлено на конференции Лингвистического общества Беркли.

Внешние ссылки

• Домашняя страница исследовательской группы по аналоговому моделированию
• Список ЛИНГВИСТОВ Объявление об аналоговом моделировании , Скоусен и др. (2002)