Линейные наименьшие квадраты
Часть серии на |
Регрессионный анализ |
---|
Модели |
Оценка |
Фон |
Линейные наименьшие квадраты ( LLS ) - это наименее квадратные приближения линейных функций к данным. Это набор составов для решения статистических проблем, связанных с линейной регрессией , включая варианты для обычных (невзвешенных), взвешенных и обобщенных (коррелированных) остатков . Численные методы для линейных наименьших квадратов включают инвертирование матрицы нормальных уравнений и методов ортогонального разложения .
Основная формулировка
[ редактировать ]Рассмотрим линейное уравнение
( 1 ) |
где и даны и является переменной для вычисления. Когда Как правило, так, что ( 1 ) нет решения. Например, нет значения это удовлетворяет Потому что первые два ряда требуют, чтобы Но тогда третий ряд не удовлетворен. Таким образом, для Цель решения ( 1 ) именно точно заменяется путем поиска значения Это минимизирует некоторую ошибку. Есть много способов определения ошибки, но одним из наиболее распространенных является определение ее как Это создает проблему минимизации, называемую проблемой наименьших квадратов
( 2 ) |
Решение проблемы наименьших квадратов ( 1 ) вычисляется путем решения нормального уравнения [ 1 ]
( 3 ) |
где обозначает транспонирование .
Продолжая пример, выше, с Мы находим и Решение нормального уравнения дает
Составы для линейной регрессии
[ редактировать ]Три основных линейных состава наименьших квадратов:
- Обычные наименьшие квадраты (OLS) являются наиболее распространенной оценкой. Оценки OLS обычно используются для анализа как экспериментальных , так и наблюдательных данных. Метод OLS минимизирует сумму квадратных остатков и приводит к выражению закрытой формы для предполагаемого значения неизвестного вектора параметров β : где вектор, чей элемент - это наблюдение за зависимой переменной , и это матрица, IJ , является I -й наблюдение за переменной независимой элемент . Оценка непредвзято и последовательно, если ошибки имеют конечную дисперсию и не коррелируют с регрессорами: [ 2 ] где это транспонирование ряда матрицы Это также эффективно при предположении, что ошибки имеют конечную дисперсию и являются гомоскедастическими , что означает, что e [ ε i 2 | x i ] не зависит от i . Условие, в котором ошибки некоррелированы с регрессорами, обычно будет удовлетворено в эксперименте, но в случае наблюдательных данных трудно исключить вероятность пропущенного ковариата Z , который связан как с наблюдаемыми ковариатами, так и с переменной ответа. Полем Существование такой ковариации, как правило, приводит к корреляции между регрессорами и переменной ответа, и, следовательно, к непоследовательной оценке β . Состояние гомоскедастичности может выйти из строя с экспериментальными или наблюдательными данными. Если целью является либо вывод, либо прогнозное моделирование, показатели OLS могут быть плохими, если мультиколлинеарность , если размер выборки не большой. присутствует
- Взвешенные наименьшие квадраты (WLS) используются, когда гетероскедастичность присутствует в условиях ошибок модели.
- Генерализованные наименьшие квадраты (GLS) - это расширение метода OLS, которое позволяет эффективно оценить β, когда либо гетероскедастичность , либо корреляции, либо оба присутствуют среди условий ошибки модели, до тех пор, пока форма гетероскедастичности и корреляции известна независимо от данных. Для обработки гетероскедастичности, когда термины ошибки не коррелированы друг с другом, GLS сводит к минимуму взвешенный аналог на сумму квадратных остатков от регрессии OLS, где вес для I тур Случай обратно пропорционален Var ( ε i ). Этот особый случай GLS называется «взвешенными наименьшими квадратами». Решение GLS с проблемой оценки является где ω - ковариационная матрица ошибок. GLS можно рассматривать как применение линейного преобразования к данным, так что предположения OLS были выполнены для преобразованных данных. Для применения GLS ковариационная структура ошибок должна быть известна до мультипликативной постоянной.
Альтернативные составы
[ редактировать ]Другие составы включают в себя:
- Итеративно поврежденные наименьшие квадраты (IRLS) используются, когда гетероскедастичность или корреляции или оба присутствуют среди условий ошибки модели, но где мало известно о ковариационной структуре ошибок независимо от данных. [ 3 ] В первой итерации осуществляется OLS или GLS с предварительной ковариационной структурой, а остатки получаются из FIT. Основываясь на остатках, обычно можно получить улучшенную оценку ковариационной структуры ошибок. Последующая итерация GLS затем выполняется с использованием этой оценки структуры ошибок для определения весов. Процесс может быть повторен до конвергенции, но во многих случаях только одной итерации достаточно для достижения эффективной оценки β . [ 4 ] [ 5 ]
- Регрессия инструментальных переменных (IV) может быть выполнена, когда регрессоры коррелируют с ошибками. В этом случае нам нужно существование некоторых вспомогательных инструментальных переменных z i так, что e [ z i ε i ] = 0. Если z - матрица инструментов, то оценщик может быть дана в закрытой форме, как Регрессия оптимальных инструментов - это расширение классической регрессии IV на ситуацию, когда E [ ε i | z i ] = 0 .
- Общее наименьшее квадраты (TLS) [ 6 ] является подходом к оценке наименьших квадратов линейной регрессионной модели, которая обрабатывает ковариаты и переменную ответа более геометрически симметричным образом, чем OL. Это один из подходов к решению проблемы «ошибки в переменных», а также иногда используется, даже если ковариаты считаются без ошибок.
- Линейный шаблон подходит (LTF) [ 7 ] Сочетает линейную регрессию с (обобщенными) наименьшими квадратами, чтобы определить наилучшую оценку. Линейная соответствие шаблона решает частую проблему, когда остатки не могут быть выражены аналитически или слишком трудоемкие, чтобы оцениваться неоднократно, как это часто бывает в итерационных алгоритмах минимизации. В соответствии с линейным шаблоном остатки оцениваются по случайным переменным и по линейному приближению базовой истинной модели, в то время как истинная модель должна быть предоставлена, по крайней мере, для (были это количество оценок) различные эталонные значения β . Истинное распределение затем аппроксимируется линейной регрессией, и лучшие оценки получают в закрытой форме как где обозначает матрицу шаблона со значениями известной или ранее определенной модели для любого из эталонных значений β , являются случайными переменными (например, измерение) и матрица и вектор рассчитываются по значениям β . LTF также может быть выражен для распределенного распределения логарифмического распределения случайных величин. Обобщение LTF является квадратичным шаблоном, который предполагает регрессию модели второго порядка, требует прогнозов, по крайней мере, для Отличительные значения β , и он находит лучшую оценку, используя метод Ньютона .
- Процент наименьших квадратов фокусируется на сокращении процентных ошибок, что полезно в области прогнозирования или анализа временных рядов. Это также полезно в ситуациях, когда зависимая переменная имеет широкий диапазон без постоянной дисперсии, так как здесь будут доминировать большие остатки в верхнем конце диапазона, если бы использовались OL. Когда процентная или относительная ошибка обычно распределяется, регрессия процента наименьших квадратов обеспечивает максимальные оценки правдоподобия. Процентная регрессия связана с мультипликативной моделью ошибок, тогда как OLS связан с моделями, содержащими аддитивную термин ошибки. [ 8 ]
- Ограниченные наименьшие квадраты указывают на линейную проблему наименьших квадратов с дополнительными ограничениями на решении.
Объективная функция
[ редактировать ]В OLS (то есть, предполагая невзвешенные наблюдения), оптимальное значение целевой функции обнаруживается путем замены оптимального выражения на вектор коэффициента: где , последнее равенство, с тех пор симметричный и идентифицирующий. Это может быть показано из этого [ 9 ] в соответствии с соответствующим назначением веса значение S ожидаемое что Полем Если вместо этого предполагаются веса единиц, ожидаемое S значение , где является дисперсией каждого наблюдения.
Если предполагается, что остатки принадлежат к нормальному распределению, целевая функция, являющаяся суммой взвешенных квадратных остатков, будет принадлежать хи-квадрату ( ) Распределение с M - N Степени свободы . Некоторые иллюстративные процентильные значения приведены в следующей таблице. [ 10 ]
10 | 9.34 | 18.3 | 23.2 |
25 | 24.3 | 37.7 | 44.3 |
100 | 99.3 | 124 | 136 |
Эти значения могут быть использованы для статистического критерия относительно достоинства соответствия . Когда используются веса единицы, числа должны быть разделены на дисперсию наблюдения.
Для WLS приведенная выше целевая функция заменяется для среднего значения остатков.
Дискуссия
[ редактировать ]В статистике и математике в тех случаях, когда идеализированное значение , линейные наименьшие квадраты являются подходом к подгонению математической или статистической модели для данных предоставляемое моделью для любой точки данных, выражается линейно с точки зрения неизвестных параметров модели. Полученная соответствующая модель может использоваться для суммирования данных, для прогнозирования ненаблюдаемых значений из той же системы и для понимания механизмов, которые могут лежать в основе системы.
Математически линейные наименьшие квадраты являются проблемой приблизительного решения переопределенной системы линейных уравнений a x = b , где B элементом пространства столбца матрицы A. не является Приблизительное решение реализуется как точное решение для x является = b ' , где B' проекцией B на пространство A. столбца Лучшее приближение - это то, что минимизирует сумму квадратных различий между значениями данных и соответствующими моделированными значениями. Подход называется линейными наименьшими квадратами, поскольку предполагаемая функция является линейной в оценке параметров. Линейные проблемы с наименьшими квадратами являются выпуклыми и имеют уникальное решение с закрытой формой , при условии, что количество точек данных, используемых для подгонки, равно или превышает количество неизвестных параметров, за исключением специальных дегенеративных ситуаций. Напротив, нелинейные проблемы с наименьшими квадратами обычно должны решать итеративной процедурой , а проблемы могут быть невыпультыми с множественными оптимами для целевой функции. Если предварительные распределения доступны, тогда даже недоопределенная система может быть решена с помощью Байесовская оценка MMSE .
В статистике линейные проблемы с наименьшими квадратами соответствуют особенно важному типу статистической модели, называемой линейной регрессией , которая возникает как конкретная форма регрессионного анализа . Одна основная форма такой модели - обычная модель наименьших квадратов . Настоящая статья концентрируется на математических аспектах линейных задач наименьших квадратов, с обсуждением формулировки и интерпретации моделей статистической регрессии и статистических выводов, связанных с тем, что они рассматриваются в только что упомянутых статьях. Посмотрите на очередь регрессионного анализа для очертания темы.
Характеристики
[ редактировать ]Если экспериментальные ошибки, , некоррелированы, имеют среднее значение нуля и постоянную дисперсию, , теорема Гаусс-Маркова заявляет, что оценка наименьших квадратов, , имеет минимальную дисперсию всех оценок, которые являются линейными комбинациями наблюдений. В этом смысле это лучшая или оптимальная оценка параметров. Обратите внимание, что это свойство не зависит от статистической функции распределения ошибок. Другими словами, функция распределения ошибок не должна быть нормальным распределением . Однако для некоторых вероятностей распределения нет никакой гарантии, что решение о наименьших квадратах даже возможно, учитывая наблюдения; Тем не менее, в таких случаях это лучшая оценка, которая является линейной и беспристрастной.
Например, легко показать, что среднее арифметическое среднее значение набора измерений величины является наименее квадратной оценкой значения этой величины. Если применяются условия теоремы Гаусс -Маркова, среднее арифметику является оптимальным, какое бы ни было распределение ошибок измерений.
Однако в том случае, если экспериментальные ошибки принадлежат к нормальному распределению, оценка наименьших квадратов также является оценкой максимального правдоподобия . [ 11 ]
Эти свойства лежат в основе использования метода наименьших квадратов для всех типов подгонки данных, даже если предположения не являются строго достоверными.
Ограничения
[ редактировать ]Предположение, лежащее в основе приведенного выше лечения, заключается в том, что независимая переменная, x , свободна от ошибки. На практике ошибки при измерениях независимой переменной обычно намного меньше, чем ошибки на зависимой переменной, и поэтому могут быть проигнорированы. Если это не так, общие наименьшие квадраты или в более общем смысле модели ошибок или тщательные наименьшие квадраты следует использовать . Это может быть сделано путем настройки схемы взвешивания, чтобы учитывать ошибки как на зависимых, так и независимых переменных, а затем следования стандартной процедуре. [ 12 ] [ 13 ]
В некоторых случаях (взвешенная) матрица нормальных уравнений x Т X плохо подготовлен . При подгонке полиномов матрица нормальных уравнений представляет собой матрицу Vandermonde . Матрицы Vandermonde становятся все более плохими, поскольку порядок матрицы увеличивается. [ Цитация необходима ] В этих случаях наименьшие квадраты, по оценкам, усиливают шум измерения и могут быть чрезвычайно неточными. [ Цитация необходима ] В таких случаях могут применяться различные методы регуляризации , наиболее распространенные из которых называются регрессией хребта . Если известна дополнительная информация о параметрах, например, диапазон возможных значений , тогда различные методы могут использоваться для повышения стабильности решения. Например, см. Ограниченные наименьшие квадраты .
Другим недостатком оценки наименьших квадратов является тот факт, что норма остатков, сведен к минимуму, тогда как в некоторых случаях человек действительно заинтересован в получении небольшой ошибки в параметре , например, небольшая ценность . [ Цитация необходима ] Однако, поскольку истинный параметр обязательно неизвестно, эта величина не может быть сведена к минимуму. Если предварительная вероятность на известно, тогда оценщик Байеса может использоваться для минимизации средней квадратной ошибки , Полем Метод наименьших квадратов часто применяется, когда ранее не известно. Когда оцениваются несколько параметров совместно, могут быть построены лучшие оценки, эффект, известный как феномен Штейна . Например, если ошибка измерения является гауссовой , известно несколько оценок, которые доминируют или превосходят метод наименьших квадратов; Наиболее известным из них является оценка Джеймса -Шейна . Это пример более общих оценок усадки , которые были применены к проблемам регрессии.
Приложения
[ редактировать ]
- Полиномиальная подгонка : модели являются полиномами в независимой переменной, x :
- Прямая линия: . [ 14 ]
- Квадратичный: .
- Кубические, квартильные и более высокие полиномы. Для регрессии с полиномами высокого порядка использование ортогональных полиномов . рекомендуется [ 15 ]
- Численное сглаживание и дифференциация - это применение полиномиальной подгонки.
- Multinomials в более чем одной независимой переменной, включая поверхностную установку
- Кривая подгонка с B-сплостями [ 12 ]
- Хемометрика , калибровочная кривая , стандартное добавление , график , анализ смесей
Используется в подгонке данных
[ редактировать ]Основное применение линейных наименьших квадратов находится в подгонке данных . Учитывая набор данных точек состоящие из экспериментально измеренных значений, взятых при М. значениях независимой переменной ( Может быть скалярные или векторные величины) и предоставлять модель функцию с желательно найти параметры Такова, что функция модели «лучше всего» соответствует данным. В линейных наименьших квадратах линейность предназначена для параметров так
Здесь функции может быть нелинейным по отношению к переменной x .
В идеале, функция модели точно соответствует данным, поэтому для всех Обычно это невозможно на практике, так как существует больше точек данных, чем определение параметров. Выбранный тогда подход состоит в том, чтобы найти минимальное возможное значение суммы квадратов остатков Итак, чтобы минимизировать функцию
После замены а затем для , эта проблема минимизации становится проблемой квадратичной минимизации выше с И наилучшим образом можно найти путем решения нормальных уравнений.
Пример
[ редактировать ]
Гипотетический исследователь проводит эксперимент и получает четыре Точки данных: и (показано красным на диаграмме справа). Из -за исследовательского анализа данных или предварительного знания предмета исследователь подозревает, что -отровки зависят от -Коля систематически. А -кали считаются точными, но -кали содержат некоторую неопределенность или «шум», из -за изучения явления, недостатков в измерениях и т. Д.
Установка линии
[ редактировать ]Одно из самых простых отношений между и это линия Полем Перехват и склон изначально неизвестны. Исследователь хотел бы найти ценности и Это заставляет линию пройти через четыре точки данных. Другими словами, исследователь хотел бы решить систему линейных уравнений С четырьмя уравнениями в двух неизвестных, эта система переопределена. Там нет точного решения. Чтобы рассмотреть приблизительные решения, вводит остатки , , , в уравнениях: А Th Lotinal это несоответствие между TH наблюдение и TH предсказание : Среди всех приблизительных решений исследователь хотел бы найти тот, который в некотором смысле является «лучшим».
В наименьших квадратах кто -то фокусируется на сумме из квадратных остатков: Лучшее решение определено как то, что минимизирует Что касается и Полем Минимум можно рассчитать путем установки частичных производных К нулю: Эти нормальные уравнения представляют собой систему из двух линейных уравнений в двух неизвестных. Решение есть и и лучшая линия, следовательно, Полем Остатки есть и (См. Схему справа). Минимальное значение суммы квадратных остатков составляет
Этот расчет может быть выражен в матричной нотации следующим образом. Первоначальная система уравнений , где Интуитивно, Более строго, если инвертируем, затем матрица представляет ортогональную проекцию на пространстве колонны Полем Следовательно, среди всех векторов формы , один ближе к является Полем Параметр очевидно, что это решение.
Установка параболы
[ редактировать ]
Предположим, что гипотетический исследователь хочет соответствовать параболе формы Полем Важно отметить, что эта модель все еще линейна в неизвестных параметрах (теперь просто ), поэтому линейные наименьшие квадраты все еще применяются. Система уравнений, включающих остатки
Сумма квадратных остатков Есть только одна частичная производная, чтобы установить на 0: Решение есть и модель подгонки .
При нотации матрицы уравнения без остатков снова , где сейчас По той же логике, что и выше, решение
На рисунке показано расширение для установки трех параболы параметров с использованием проектной матрицы с тремя столбцами (один для , , и ) и одна строка для каждой из точек красных данных.
Установка других кривых и поверхностей
[ редактировать ]В целом, можно было иметь регрессоры и линейная модель
Смотрите также
[ редактировать ]- Пересечение линии
- Линейная подгонка
- Нелинейные наименьшие квадраты
- Зарегистрировано наименьшие квадраты
- Простая линейная регрессия
- Частичная регрессия наименьших квадратов
- Линейная функция
Ссылки
[ редактировать ]- ^ Вейсштейн, Эрик В. "Нормальное уравнение" . MathWorld . Вольфрам . Получено 18 декабря 2023 года .
- ^ Lai, TL; Роббинс, Х.; Вей, CZ (1978). «Сильная согласованность наименьших квадратов оценивается в множественной регрессии» . ПНА . 75 (7): 3034–3036. Bibcode : 1978pnas ... 75.3034L . doi : 10.1073/pnas.75.7.3034 . JSTOR 68164 . PMC 392707 . PMID 16592540 .
- ^ Дель Пино, Гвидо (1989). «Объединяющая роль итеративных обобщенных наименьших квадратов в статистических алгоритмах» . Статистическая наука . 4 (4): 394–403. doi : 10.1214/ss/1177012408 . JSTOR 2245853 .
- ^ Кэрролл, Рэймонд Дж. (1982). «Адаптирование гетероскедастичности в линейных моделях» . Анналы статистики . 10 (4): 1224–1233. doi : 10.1214/aos/1176345987 . JSTOR 2240725 .
- ^ Коэн, Майкл; Далал, Сиддхартха Р.; Tukey, John W. (1993). «Надежная, плавно гетерогенная регрессия дисперсии». Журнал Королевского статистического общества, серия c . 42 (2): 339–353. JSTOR 2986237 .
- ^ Nievergelt, Yves (1994). «Общие наименьшие квадраты: современная регрессия в численном анализе». Siam Review . 36 (2): 258–264. doi : 10.1137/1036055 . JSTOR 2132463 .
- ^ Бритцгер, Даниэль (2022). «Линейный шаблон подходит». Евро. Физический J. C. 82 (8): 731. Arxiv : 2112.01548 . Bibcode : 20222epjc ... 82..731b . doi : 10.1140/epjc/s10052-022-10581-w . S2CID 244896511 .
- ^ Tofallis, C (2009). «Наименьшие квадраты процентной регрессии» . Журнал современных прикладных статистических методов . 7 : 526–534. doi : 10.2139/ssrn.1406472 . HDL : 2299/965 . SSRN 1406472 .
- ^ Гамильтон, WC (1964). Статистика в области физической науки . Нью -Йорк: Рональд Пресс.
- ^ Spiegel, Murray R. (1975). Счет Шаума теории и проблем вероятности и статистики . Нью-Йорк: МакГроу-Хилл. ISBN 978-0-585-26739-5 .
- ^ Маргенау, Генри; Мерфи, Джордж Мозли (1956). Математика физики и химии . Принстон: Ван Ностранд.
- ^ Jump up to: а беременный Ганс, Питер (1992). Подгонка данных в химических науках . Нью -Йорк: Уайли. ISBN 978-0-471-93412-7 .
- ^ Деминг, мы (1943). Статистическая корректировка данных . Нью -Йорк: Уайли.
- ^ Acton, FS (1959). Анализ прямых данных . Нью -Йорк: Уайли.
- ^ Гость, PG (1961). Численные методы подгонки кривой . Кембридж: издательство Кембриджского университета. [ страница необходима ]
Дальнейшее чтение
[ редактировать ]- Бевингтон, Филипп Р.; Робинсон, Кит Д. (2003). Сокращение данных и анализ ошибок для физических наук . МакГроу-Хилл. ISBN 978-0-07-247227-1 .