Пространство параметров

Пространство параметров — это пространство возможных значений параметров, определяющих конкретную математическую модель . Его также иногда называют весовым пространством , и часто оно является подмножеством конечномерного евклидова пространства .

В статистике пространства параметров особенно полезны для описания параметрических семейств вероятностных распределений . Они также формируют основу для оценки параметров . В случае оценок экстремума для параметрических моделей определенная целевая функция максимизируется или минимизируется в пространстве параметров. Теоремы существования и непротиворечивости таких оценок требуют некоторых предположений о топологии пространства параметров. Например, компактность пространства параметров вместе с непрерывностью целевой функции достаточна для существования экстремальной оценки.

В Deep Learning параметры глубокой сети называются весами. Из-за слоистой структуры глубоких сетей их весовое пространство имеет сложную структуру и геометрию. Например, в Multilayer Perceptrons та же функция сохраняется при перестановке узлов скрытого слоя, заключающейся в перестановке весовых матриц сети. Это свойство известно как эквивалентность перестановке глубоких весовых пространств .

Иногда параметры анализируются, чтобы увидеть, как они влияют на статистическую модель. В этом контексте их можно рассматривать как входные данные функции , и в этом случае техническим термином для пространства параметров является область определения функции . Диапазоны значений параметров могут образовывать оси графика , и конкретные результаты модели могут быть отображены на этих осях, чтобы проиллюстрировать, как разные области пространства параметров вызывают разные типы поведения в модели.

Примеры

• Простая модель ухудшения здоровья после развития рака легких могла бы включать два параметра: пол. и курящий/некурящий, и в этом случае пространство параметров представляет собой следующий набор из четырех возможностей: {(Мужчина, Курильщик), (Мужчина, Некурящий), (Женщина, Курильщик), (Женщина, Некурящий)} .

• Логистическая карта $x_{n+1}=rx_{n}(1-x_{n})$имеет один параметр r , который может принимать любое положительное значение. Таким образом, пространство параметров представляет собой положительные действительные числа .

Для некоторых значений r эта функция циклически повторяет несколько значений или фиксируется на одном значении. Эти долгосрочные значения можно отобразить в зависимости от r на бифуркационной диаграмме , чтобы показать различное поведение функции для разных значений r .

• В синусоидальной модели $y(t)=A\cdot \sin(\omega t+\phi ),$ параметрами являются амплитуда A > 0, угловая частота ω > 0 и фаза φ ∈ S. ¹ . Таким образом, пространство параметров $R^{+}\times R^{+}\times S^{1}.$

• В комплексной динамике пространство параметров представляет собой комплексную плоскость C = { z = x + y i : x, y ∈ R }, где i ² = −1.

Знаменитое множество Мандельброта представляет собой подмножество этого пространства параметров, состоящее из точек комплексной плоскости, которые дают ограниченный набор чисел, когда определенная итерированная функция многократно применяется из этой начальной точки. Остальные точки, которых нет в наборе, дают неограниченный набор чисел (они стремятся к бесконечности), когда эта функция многократно применяется из этой начальной точки.

История

Пространство параметров способствовало освобождению геометрии от ограничений трехмерного пространства . Например, пространство параметров трехмерной сферы имеет четыре измерения: три для центра сферы и одно для радиуса. По словам Дирка Штрюка , именно книга «Новая геометрия де Раум» (1849) Юлиуса Плюкера показала

...геометрия не обязательно должна основываться исключительно на точках как основных элементах. Линии, плоскости, круги, сферы — все это может использоваться в качестве элементов ( Raumelemente ), на которых может основываться геометрия. Эта плодотворная концепция пролила новый свет как на синтетическую, так и на алгебраическую геометрию и создала новые формы двойственности. Число измерений конкретной формы геометрии теперь может быть любым положительным числом, в зависимости от количества параметров, необходимых для определения «элемента».

Требование более высоких размеров иллюстрируется геометрией линий Плюкера . Стройк пишет

Геометрию линий [Плюкера] в трехмерном пространстве можно рассматривать как четырехмерную геометрию или, как подчеркнул Кляйн , как геометрию четырехмерной квадрики в пятимерном пространстве.

Таким образом, квадрика Клейна описывает параметры прямых в пространстве.

См. также

• Образец пространства
• Конфигурационное пространство
• Анализ данных
• Уменьшение размерности
• Гиперпараметр (машинное обучение)
• Выбор модели
• Параметрическое уравнение
• Параметрическая поверхность
• Фазовое пространство