Скрытые и наблюдаемые переменные

В статистике , скрытые переменные (от латинского : причастие настоящего времени от lateo , «ложь скрытая») — это переменные которые можно вывести только косвенно с помощью математической модели из других наблюдаемых переменных , которые можно напрямую наблюдать или измерять . ^[1] Такие модели скрытых переменных используются во многих дисциплинах, включая инженерию , медицину , экологию , физику , машинное обучение / искусственный интеллект , обработку естественного языка , биоинформатику , хемометрику , демографию , экономику , менеджмент , политологию , психологию и социальные науки .

Скрытые переменные могут соответствовать аспектам физической реальности. В принципе, их можно измерить, но это невозможно по практическим причинам. Среди самых ранних выражений этой идеи – сэра Фрэнсиса Бэкона классическая полемика « Новый органум» , которая сама по себе является вызовом более традиционной логике, выраженной в Аристотеля » «Органоне .

Но скрытый процесс, о котором мы говорим, далеко не очевиден для умов людей, находящихся в таком положении сейчас. Ибо мы имеем в виду не меры, симптомы или степени какого-либо процесса, который может проявляться в самих телах, а просто продолжающийся процесс, который большей частью ускользает от наблюдения чувств.
— Сэр Фрэнсис Бэкон , Новый орган ^[2]

В этой ситуации обычно используется термин « скрытые переменные» (отражающий тот факт, что переменные имеют смысл, но не наблюдаемы). Другие скрытые переменные соответствуют абстрактным понятиям, таким как категории, поведенческие или психические состояния или структуры данных. термины гипотетические переменные или гипотетические конструкции В таких ситуациях можно использовать .

Использование скрытых переменных может помочь уменьшить размерность данных. Многие наблюдаемые переменные могут быть агрегированы в модели для представления базовой концепции, что упрощает понимание данных. В этом смысле они выполняют функцию, аналогичную функции научных теорий. В то же время скрытые переменные связывают наблюдаемые « субсимволические » данные в реальном мире с символическими данными в моделируемом мире.

Примеры

Психология

Скрытые переменные, создаваемые методами факторного анализа, обычно представляют собой «общую» дисперсию или степень, в которой переменные «движутся» вместе. Переменные, не имеющие корреляции, не могут привести к созданию скрытой конструкции, основанной на модели общих факторов . ^[4]

« Большая пятерка черт личности » была выведена с помощью факторного анализа .
экстраверсия ^[5]
пространственная способность ^[5]
Мудрость «Два из наиболее преобладающих способов оценки мудрости включают в себя производительность, связанную с мудростью, и скрытые переменные показатели». ^[6]
G Спирмена , или коэффициент общего интеллекта в психометрии ^[7]

Экономика

Примеры скрытых переменных из области экономики включают качество жизни , деловую уверенность, моральный дух, счастье и консерватизм: все эти переменные не могут быть измерены напрямую. Но связывая эти скрытые переменные с другими наблюдаемыми переменными, значения скрытых переменных можно вывести из измерений наблюдаемых переменных. Качество жизни — это скрытая переменная, которую нельзя измерить напрямую, поэтому для определения качества жизни используются наблюдаемые переменные. Наблюдаемые переменные для измерения качества жизни включают богатство, занятость, окружающую среду, физическое и психическое здоровье, образование, отдых и свободное время, а также социальную принадлежность.

Лекарство

Методика латентно-вариантной диагностики используется во многих отраслях медицины . Класс проблем, которые естественным образом поддаются использованию подходов со скрытыми переменными, — это лонгитудинальные исследования , в которых временная шкала (например, возраст участника или время, прошедшее с момента начала исследования) не синхронизирована с изучаемым признаком. Для таких исследований ненаблюдаемая временная шкала, синхронизированная с изучаемым признаком, может быть смоделирована как преобразование наблюдаемой временной шкалы с использованием скрытых переменных. Примеры этого включают моделирование прогрессирования заболевания и моделирование роста (см. вставку).

Вывод скрытых переменных

Существует ряд различных классов моделей и методологий, которые используют скрытые переменные и позволяют делать выводы при наличии скрытых переменных. Модели включают в себя:

Методы анализа и вывода включают в себя:

Анализ главных компонентов
Инструментальный анализ главных компонент ^[8]
Частичная регрессия наименьших квадратов
Скрытый семантический анализ и вероятностный латентно-семантический анализ
ЭМ-алгоритмы
Алгоритм Метрополиса – Гастингса

Байесовские алгоритмы и методы

Байесовская статистика часто используется для вывода скрытых переменных.

Скрытое распределение Дирихле
Процесс китайского ресторана часто используется для обеспечения предварительного распределения объектов по скрытым категориям.
Индийский процесс «шведского стола» часто используется для обеспечения предварительного распределения назначений объектов скрытых бинарных функций.

См. также

Ссылки

^ Додж, Ю. (2003) Оксфордский словарь статистических терминов , OUP. ISBN 0-19-920613-9
^ Бэкон, Фрэнсис. «АФОРИЗМЫ - КНИГА II: ОБ ИНТЕРПРЕТАЦИИ ПРИРОДЫ ИЛИ ЦАРСТВА ЧЕЛОВЕКА». Новум Органум .
^ Ракет Л.Л., Соммер С., Маркуссен Б. (2014). «Нелинейная модель смешанных эффектов для одновременного сглаживания и регистрации функциональных данных». Буквы для распознавания образов . 38 : 1–7. дои : 10.1016/j.patrec.2013.10.018 .
^ Табачник, Б.Г.; Фиделл, Л.С. (2001). Использование многомерного анализа . Бостон: Аллин и Бэкон. ISBN 978-0-321-05677-1 . ^{[ нужна страница ]}
^ Jump up to: ^а ^б Борсбум, Д.; Мелленберг, Джорджия ; ван Херден, Дж. (2003). «Теоретический статус скрытых переменных» (PDF) . Психологический обзор . 110 (2): 203–219. CiteSeerX 10.1.1.134.9704 . дои : 10.1037/0033-295X.110.2.203 . ПМИД 12747522 . Архивировано из оригинала (PDF) 20 января 2013 г. Проверено 8 апреля 2008 г.
^ Грин, Джеффри А.; Браун, Скотт С. (2009). «Шкала развития мудрости: дальнейшие исследования достоверности». Международный журнал старения и человеческого развития . 68 (4): 289–320 (на стр. 291). дои : 10.2190/AG.68.4.b . ПМИД 19711618 .
^ Спирмен, К. (1904). « Общий интеллект, объективно определяемый и измеряемый». Американский журнал психологии . 15 (2): 201–292. дои : 10.2307/1412107 . JSTOR 1412107 .
^ Келли, Брайан Т. и Прюитт, Сет и Су, Инан, Инструментальный анализ главных компонентов (17 декабря 2020 г.). Доступно на SSRN: https://ssrn.com/abstract=2983919 или http://dx.doi.org/10.2139/ssrn.2983919 .

Дальнейшее чтение

Кмента, Ян (1986). «Скрытые переменные» . Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. стр. 581–587 . ISBN 978-0-02-365070-3 .

[1] Додж, Ю. (2003) Оксфордский словарь статистических терминов , OUP. ISBN 0-19-920613-9

[2] Бэкон, Фрэнсис. «АФОРИЗМЫ - КНИГА II: ОБ ИНТЕРПРЕТАЦИИ ПРИРОДЫ ИЛИ ЦАРСТВА ЧЕЛОВЕКА». Новум Органум .

[Raket_et_al_2014-3] Ракет Л.Л., Соммер С., Маркуссен Б. (2014). «Нелинейная модель смешанных эффектов для одновременного сглаживания и регистрации функциональных данных». Буквы для распознавания образов . 38 : 1–7. дои : 10.1016/j.patrec.2013.10.018 .

[4] Табачник, Б.Г.; Фиделл, Л.С. (2001). Использование многомерного анализа . Бостон: Аллин и Бэкон. ISBN 978-0-321-05677-1 . ^{[ нужна страница ]}

[status-5] Jump up to: ^а ^б Борсбум, Д.; Мелленберг, Джорджия ; ван Херден, Дж. (2003). «Теоретический статус скрытых переменных» (PDF) . Психологический обзор . 110 (2): 203–219. CiteSeerX 10.1.1.134.9704 . дои : 10.1037/0033-295X.110.2.203 . ПМИД 12747522 . Архивировано из оригинала (PDF) 20 января 2013 г. Проверено 8 апреля 2008 г.

[wisdom-6] Грин, Джеффри А.; Браун, Скотт С. (2009). «Шкала развития мудрости: дальнейшие исследования достоверности». Международный журнал старения и человеческого развития . 68 (4): 289–320 (на стр. 291). дои : 10.2190/AG.68.4.b . ПМИД 19711618 .

[7] Спирмен, К. (1904). « Общий интеллект, объективно определяемый и измеряемый». Американский журнал психологии . 15 (2): 201–292. дои : 10.2307/1412107 . JSTOR 1412107 .

[8] Келли, Брайан Т. и Прюитт, Сет и Су, Инан, Инструментальный анализ главных компонентов (17 декабря 2020 г.). Доступно на SSRN: https://ssrn.com/abstract=2983919 или http://dx.doi.org/10.2139/ssrn.2983919 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]