Ансамблевое обучение

В статистике и машинном обучении , ансамблевые методы используют несколько алгоритмов обучения для получения более высокой производительности прогнозирования чем можно было бы получить с помощью любого из составляющих алгоритмов обучения по отдельности. В отличие от статистического ансамбля в статистической механике, который обычно бесконечен, ансамбль машинного обучения состоит только из конкретного конечного набора альтернативных моделей, но обычно допускает существование гораздо более гибкой структуры среди этих альтернатив.

Обзор

Алгоритмы контролируемого обучения выполняют задачу поиска в пространстве гипотез, чтобы найти подходящую гипотезу, которая позволит сделать хорошие прогнозы для конкретной проблемы. Даже если пространство гипотез содержит гипотезы, которые очень хорошо подходят для конкретной проблемы, найти хорошую может быть очень сложно. Ансамбли объединяют несколько гипотез, чтобы сформировать (надеюсь) лучшую гипотезу.

Ансамблевое обучение обучает два или более алгоритмов машинного обучения конкретной задаче классификации или регрессии. Алгоритмы в модели ансамблевого обучения обычно называются в литературе «базовыми моделями», «базовыми учащимися» или «слабыми учащимися». Базовые модели могут быть построены с использованием одного алгоритма моделирования или нескольких разных алгоритмов. Идея состоит в том, чтобы обучить разнообразную коллекцию моделей с низкой производительностью одной и той же задаче моделирования. В результате прогнозируемые или классифицированные результаты каждого слабого учащегося имеют плохую прогностическую способность (высокая систематическая ошибка, т.е. высокие ошибки модели), а среди совокупности всех слабых учащихся значения результатов и ошибок демонстрируют высокую дисперсию. По сути, модель ансамблевого обучения обучает множество (как минимум 2) моделей с высоким смещением (слабыми) и высокой дисперсией (разнообразными) для объединения в более сильную и более эффективную модель. По сути, это набор алгоритмических моделей, которые по отдельности не дают удовлетворительных прогнозных результатов, которые объединяются или усредняются по всем базовым моделям для создания единой высокопроизводительной, точной модели с низкой дисперсией, соответствующей поставленной задаче.

Ансамблевое обучение обычно относится к методам пакетирования (начального агрегирования), повышения или сложения/смешивания, чтобы вызвать высокую вариативность базовых моделей. Пакетирование создает разнообразие, генерируя случайные выборки из обучающих наблюдений и подгоняя одну и ту же модель к каждой выборке — также известное как «однородные параллельные ансамбли». Повышение следует за итеративным процессом путем последовательного обучения каждой следующей базовой модели на ошибках предыдущей базовой модели с повышенным весом, создавая аддитивную модель для уменьшения ошибок окончательной модели — также известное как «последовательное обучение ансамбля». Наложение или смешивание состоит из различных базовых моделей, каждая из которых обучается независимо (т. е. разнообразная/высокая изменчивость) для объединения в модель ансамбля, создавая «гетерогенный параллельный ансамбль». Общие применения ансамблевого обучения включают случайные леса (расширение Бэггина), усиленные древовидные модели, градиентно усиленные древовидные модели, а модели в приложениях суммирования обычно более специфичны для задач — например, сочетание методов кластеризации с другими параметрическими и/или не- параметрические методы. (Подробный обзор см. здесь:

Более широкий термин « множественные системы классификаторов» также охватывает гибридизацию гипотез, которые не вызваны одним и тем же базовым обучаемым.

Оценка прогноза ансамбля обычно требует больше вычислений, чем оценка прогноза одной модели. В каком-то смысле ансамблевое обучение можно рассматривать как способ компенсировать плохие алгоритмы обучения за счет выполнения большого количества дополнительных вычислений. С другой стороны, альтернативой является гораздо больше обучения на одной неансамблевой системе. Ансамблевая система может быть более эффективной в улучшении общей точности при том же увеличении вычислительных ресурсов, ресурсов хранения или связи за счет использования этого увеличения для двух или более методов, чем было бы улучшено за счет увеличения использования ресурсов для одного метода. Быстрые алгоритмы, такие как деревья решений, обычно используются в ансамблевых методах (например, случайные леса ), хотя и более медленные алгоритмы также могут выиграть от ансамблевых методов.

По аналогии, методы ансамбля также использовались в сценариях обучения без учителя , например, при консенсусной кластеризации или при обнаружении аномалий .

Теория ансамбля

Эмпирически ансамбли, как правило, дают лучшие результаты, когда существует значительное разнообразие моделей. Поэтому многие ансамблевые методы стремятся способствовать разнообразию моделей, которые они объединяют. Хотя это, возможно, и не интуитивно понятно, но более случайные алгоритмы (например, деревья случайных решений) могут использоваться для создания более сильного ансамбля, чем очень продуманные алгоритмы (например, деревья решений, уменьшающие энтропию). Однако было показано, что использование различных надежных алгоритмов обучения более эффективно, чем использование методов, которые пытаются упростить модели, чтобы способствовать разнообразию. Увеличить разнообразие на этапе обучения модели можно, используя корреляцию для задач регрессии. или использование информационных мер, таких как перекрестная энтропия, для задач классификации.

Ансамбль классификаторов обычно имеет меньшую ошибку классификации, чем базовые модели.

Теоретически можно оправдать концепцию разнообразия, поскольку нижнюю границу частоты ошибок ансамблевой системы можно разложить на точность, разнообразие и другой член.

Геометрическая основа

Ансамблевое обучение, включая задачи регрессии и классификации, можно объяснить с помощью геометрической модели. В рамках этой структуры выходные данные каждого отдельного классификатора или регрессора для всего набора данных можно рассматривать как точку в многомерном пространстве. Кроме того, целевой результат также представлен в виде точки в этом пространстве, называемой «идеальной точкой».

Евклидово расстояние используется в качестве метрики для измерения как производительности одного классификатора или регрессора (расстояние между его точкой и идеальной точкой), так и несходства между двумя классификаторами или регрессорами (расстояние между их соответствующими точками). Эта перспектива превращает ансамблевое обучение в детерминированную проблему.

Например, в рамках этой геометрической схемы можно доказать, что усреднение результатов (оценок) всех базовых классификаторов или регрессоров может привести к равным или лучшим результатам, чем среднее значение всех отдельных моделей. Также можно доказать, что если используется оптимальная схема взвешивания, то подход с взвешенным усреднением может превзойти любой из отдельных классификаторов или регрессоров, составляющих ансамбль, или, по крайней мере, не уступать лучшему исполнителю.

Размер ансамбля

Хотя количество классификаторов компонентов ансамбля оказывает большое влияние на точность прогноза, существует ограниченное количество исследований, посвященных этой проблеме. Априорное определение размера ансамбля, а также объема и скорости потоков больших данных делает это еще более важным для онлайн-классификаторов ансамблей. Для определения необходимого количества компонентов в основном использовались статистические тесты. Совсем недавно теоретическая основа предположила, что существует идеальное количество классификаторов компонентов для ансамбля, так что наличие большего или меньшего количества классификаторов приведет к ухудшению точности. Он называется «законом убывающей отдачи в ансамблевом строительстве». Их теоретическая основа показывает, что использование того же количества независимых классификаторов компонентов, что и метки классов, дает высочайшую точность.

Распространенные типы ансамблей

Оптимальный классификатор Байеса

Основная статья: классификатор Байеса

Оптимальный классификатор Байеса — это метод классификации. Это совокупность всех гипотез в пространстве гипотез. В среднем ни один другой ансамбль не может его превзойти. Классификатор Наивного Байеса — это его версия, которая предполагает, что данные условно независимы от класса, и делает вычисления более осуществимыми. Каждой гипотезе дается голосование, пропорциональное вероятности того, что набор обучающих данных будет выбран из системы, если эта гипотеза окажется верной. Чтобы облегчить обучение данных конечного размера, голос каждой гипотезы также умножается на априорную вероятность этой гипотезы. Оптимальный классификатор Байеса можно выразить следующим уравнением:

$y={\underset {c_{j}\in C}{\mathrm {argmax} }}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(T|h_{i})P(h_{i})}$

где $y$ это прогнозируемый класс, $C$ это набор всех возможных классов, $H$ пространство гипотез, $P$ относится к вероятности и $T$ это данные обучения. В совокупности оптимальный байесовский классификатор представляет собой гипотезу, которая не обязательно соответствует действительности. $H$. Однако гипотеза, представленная оптимальным классификатором Байеса, является оптимальной гипотезой в пространстве ансамблей (пространстве всех возможных ансамблей, состоящем только из гипотез в $H$).

Эту формулу можно переформулировать, используя теорему Байеса , которая гласит, что апостериорное значение пропорционально умножению вероятности на априорное:

$P(h_{i}|T)\propto P(T|h_{i})P(h_{i})$

следовательно,

$y={\underset {c_{j}\in C}{\mathrm {argmax} }}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(h_{i}|T)}$

Бутстрап-агрегирование (пакетирование)

Основная статья: Агрегация Bootstrap

Три набора данных, загруженные из исходного набора. Пример A встречается дважды в наборе 1, поскольку они выбраны с заменой.

Бутстрап-агрегация ( пакетирование ) включает в себя обучение ансамбля на загрузочных наборах данных. Загрузочный набор создается путем выбора из исходного набора обучающих данных с заменой. Таким образом, набор начальной загрузки может содержать заданный пример ноль, один или несколько раз. Члены ансамбля также могут иметь ограничения на функции (например, узлы дерева решений), чтобы стимулировать изучение разнообразных функций. Различия в местной информации в наборах начальной загрузки и соображениях по функциям способствуют разнообразию ансамбля и могут его укрепить. Чтобы уменьшить переобучение, элемент можно проверить с использованием исходного набора (примеры, которых нет в его наборе начальной загрузки).

Вывод делается путем голосования прогнозов членов ансамбля, называемого агрегированием . Ниже это проиллюстрировано ансамблем из четырех деревьев решений. Пример запроса классифицируется по каждому дереву. Поскольку трое из четырех прогнозируют положительный класс, общая классификация ансамбля положительная . Случайные леса, подобные показанному, являются распространенным применением мешков.

An example of the aggregation process for an ensemble of decision trees. Individual classifications are aggregated, and an overall classification is derived.

Повышение

Основная статья: Бустинг (метаалгоритм)

Повышение включает в себя обучение последовательных моделей путем выделения обучающих данных, неправильно классифицированных ранее изученными моделями. Первоначально все данные (D1) имеют одинаковый вес и используются для изучения базовой модели M1. Примерам, неправильно классифицированным по M1, присваивается больший вес, чем правильно классифицированным примерам. Эти усиленные данные (D2) используются для обучения второй базовой модели M2 и так далее. Вывод делается путем голосования.

В некоторых случаях повышение дает лучшую точность, чем пакетирование, но имеет тенденцию к большему переобучению. Наиболее распространенной реализацией повышения является Adaboost , но сообщается, что некоторые новые алгоритмы позволяют достичь лучших результатов.

Усреднение байесовской модели

Усреднение байесовской модели (BMA) делает прогнозы путем усреднения прогнозов моделей, взвешенных по их апостериорным вероятностям с учетом данных. Известно, что BMA обычно дает лучшие ответы, чем одна модель, полученная, например, с помощью пошаговой регрессии , особенно когда очень разные модели имеют почти одинаковую производительность в обучающем наборе, но в остальном могут работать совершенно по-разному.

Вопросом любого использования теоремы Байеса является априорность, т. е. вероятность (возможно, субъективная) того, что каждая модель лучше всего подходит для конкретной цели. Концептуально BMA можно использовать с любым предшествующим. Пакеты R ансамбльBMA и БМА используйте априорное значение, подразумеваемое байесовским информационным критерием (BIC), следуя Рафтери (1995). Пакет R BAS поддерживает использование априорных значений, подразумеваемых информационным критерием Акаике (AIC), и других критериев по сравнению с альтернативными моделями, а также априорных значений по отношению к коэффициентам.

Разница между BIC и AIC заключается в силе предпочтения бережливости. Штраф BIC за сложность модели составляет $\ln(n)k$ , в то время как AIC $2k$. Асимптотическая теория большой выборки устанавливает, что если существует лучшая модель, то с увеличением размера выборки BIC строго согласован, т. е. почти наверняка найдет ее, тогда как AIC не может ее найти, поскольку AIC может продолжать придавать чрезмерную апостериорную вероятность моделям, которые являются более сложными, чем они должны быть. С другой стороны, AIC и AICc асимптотически «эффективны» (т.е. имеют минимальную среднеквадратическую ошибку прогнозирования), а BIC — нет.

Хаусслер и др. (1994) показали, что когда BMA используется для классификации, его ожидаемая ошибка не более чем в два раза превышает ожидаемую ошибку оптимального байесовского классификатора. Бёрнем и Андерсон (1998, 2002) внесли большой вклад в ознакомление более широкой аудитории с основными идеями усреднения байесовской модели и популяризацию этой методологии. Доступность программного обеспечения, включая другие бесплатные пакеты с открытым исходным кодом для R, помимо упомянутых выше, помогла сделать эти методы доступными для более широкой аудитории.

Комбинация байесовских моделей

Комбинация байесовских моделей (BMC) представляет собой алгоритмическую коррекцию усреднения байесовской модели (BMA). Вместо выборки каждой модели в ансамбле по отдельности, он осуществляет выборку из пространства возможных ансамблей (при этом веса модели выбираются случайным образом из распределения Дирихле, имеющего однородные параметры). Эта модификация преодолевает тенденцию BMA отдавать весь вес одной модели. Хотя BMC несколько дороже в вычислительном отношении, чем BMA, он, как правило, дает значительно лучшие результаты. Было показано, что BMC в среднем лучше (со статистической значимостью), чем BMA и упаковка в мешки.

Использование закона Байеса для расчета весов модели требует расчета вероятности данных для каждой модели. Как правило, ни одна из моделей в ансамбле не является в точности тем распределением, из которого были сгенерированы обучающие данные, поэтому все они правильно получают для этого термина значение, близкое к нулю. Это работало бы хорошо, если бы ансамбль был достаточно большим, чтобы можно было опробовать все пространство модели, но это редко возможно. Следовательно, каждый шаблон в обучающих данных приведет к смещению веса ансамбля в сторону модели в ансамбле, которая ближе всего к распределению обучающих данных. По сути, это сводится к излишне сложному методу выбора модели.

Возможные веса ансамбля можно представить как лежащие на симплексе. В каждой вершине симплекса весь вес присваивается одной модели в ансамбле. BMA сходится к вершине, которая ближе всего к распределению обучающих данных. Напротив, BMC сходится к точке, где это распределение проецируется на симплекс. Другими словами, вместо выбора одной модели, наиболее близкой к генерирующему распределению, он ищет комбинацию моделей, наиболее близкую к генерирующему распределению.

Результаты BMA часто можно аппроксимировать с помощью перекрестной проверки для выбора лучшей модели из набора моделей. Аналогично, результаты BMC могут быть аппроксимированы с помощью перекрестной проверки для выбора лучшей комбинации ансамбля из случайной выборки возможных весов.

Ведро моделей

«Корзина моделей» — это ансамблевый метод, в котором алгоритм выбора модели используется для выбора лучшей модели для каждой проблемы. При тестировании только с одной проблемой группа моделей не может дать лучшие результаты, чем лучшая модель в наборе, но при оценке по множеству проблем она обычно дает в среднем гораздо лучшие результаты, чем любая модель в наборе.

Наиболее распространенным подходом, используемым для выбора модели, является выбор перекрестной проверки (иногда называемый «конкурсом конкурса»). Он описывается следующим псевдокодом:

For each model m in the bucket:
    Do c times: (where 'c' is some constant)
        Randomly divide the training dataset into two sets: A and B
        Train m with A
        Test m with B
Select the model that obtains the highest average score

Выбор перекрестной проверки можно резюмировать так: «попробуйте их все с помощью обучающего набора и выберите тот, который работает лучше всего».

Гейтинг — это обобщение выбора с перекрестной проверкой. Он предполагает обучение другой модели обучения, чтобы решить, какая из моделей в группе лучше всего подходит для решения проблемы. Часто персептрон в качестве стробирующей модели используется . Его можно использовать для выбора «лучшей» модели или для придания линейного веса прогнозам каждой модели в корзине.

Когда набор моделей используется с большим набором задач, может оказаться желательным избегать обучения некоторых моделей, обучение которых занимает много времени. Ориентировое обучение — это подход метаобучения, направленный на решение этой проблемы. Он предполагает обучение только быстрых (но неточных) алгоритмов в сегменте, а затем использование производительности этих алгоритмов, чтобы определить, какой медленный (но точный) алгоритм, скорее всего, будет работать лучше всего.

Измененная стоимость перекрестной энтропии: подход к поощрению разнообразия в классификационном ансамбле

Наиболее распространенный подход к обучению классификатора — использование функции стоимости перекрестной энтропии . Однако хотелось бы обучить ансамбль разнообразных моделей, чтобы их объединение давало наилучшие результаты. Предполагая, что мы используем простой ансамбль усреднения $K$ классификаторы. Тогда исправленная стоимость перекрестной энтропии равна

$e^{k}=H(p,q^{k})-{\frac {\lambda }{K}}\sum _{j\neq k}H(q^{j},q^{k})$

где $e^{k}$ представляет собой функцию стоимости $k^{th}$ классификатор, $q^{k}$ это вероятность $k^{th}$ классификатор, $p$ истинная вероятность, которую нам нужно оценить и $\lambda$ — это параметр от 0 до 1, определяющий разнообразие, которое мы хотели бы создать. Когда $\lambda =0$ мы хотим, чтобы каждый классификатор делал все возможное независимо от ансамбля и времени $\lambda =1$ нам бы хотелось, чтобы классификатор был как можно более разнообразным.

Укладка

Наложение (иногда называемое многоуровневым обобщением ) включает в себя обучение модели для объединения прогнозов нескольких других алгоритмов обучения. Сначала все остальные алгоритмы обучаются с использованием доступных данных, затем алгоритм объединителя (окончательный оценщик) обучается делать окончательный прогноз, используя все прогнозы других алгоритмов (базовые оценщики) в качестве дополнительных входных данных или используя перекрестно проверенные прогнозы. от базовых оценщиков, которые могут предотвратить переобучение. Если используется произвольный алгоритм объединителя, то стекирование теоретически может представлять собой любой из ансамблевых методов, описанных в этой статье, хотя на практике логистической регрессии в качестве объединителя часто используется модель .

Стекирование обычно дает лучшую производительность, чем любая отдельная обученная модель. Он успешно использовался как для задач обучения с учителем (регрессия, классификация и дистанционное обучение ) и обучение без учителя (оценка плотности). Он также использовался для оценки частоты ошибок при упаковке. Сообщается, что он превосходит усреднение по байесовской модели. Два лидера конкурса Netflix использовали смешивание, которое можно рассматривать как форму наложения.

Голосование

Голосование – еще одна форма ансамбля. См., например, алгоритм взвешенного большинства (машинное обучение) .

Реализации в пакетах статистики

• R : как минимум три пакета предлагают инструменты усреднения байесовской модели, включая Пакет BMS (аббревиатура от Bayesian Model Selection), тот Пакет BAS (аббревиатура от Bayesian Adaptive Sampling), и Пакет БМА .
• Python : scikit-learn , пакет для машинного обучения на Python, предлагает пакеты для ансамблевого обучения, включая пакеты для методов группирования, голосования и усреднения.
• MATLAB : ансамбли классификации реализованы в панели инструментов статистики и машинного обучения.

Приложения для ансамблевого обучения

В последние годы из-за растущей вычислительной мощности, которая позволяет проводить обучение большому ансамблю в разумные сроки, количество приложений ансамблевого обучения постоянно растет. Некоторые из применений ансамблевых классификаторов включают:

Дистанционное зондирование

Основная статья: Дистанционное зондирование

Картирование земельного покрова

Картирование земного покрова является одним из основных применений спутниковых датчиков наблюдения Земли , использующих данные дистанционного зондирования и геопространственные данные для идентификации материалов и объектов, расположенных на поверхности целевых территорий. Как правило, классы целевых материалов включают дороги, здания, реки, озера и растительность. Некоторые различные подходы к ансамблевому обучению, основанные на искусственных нейронных сетях , анализ главных компонентов ядра (KPCA), деревья решений с повышением , случайный лес и автоматическое проектирование нескольких систем классификаторов, предложены для эффективной идентификации объектов земного покрова .

Обнаружение изменений

Обнаружение изменений — это задача анализа изображений , заключающаяся в выявлении мест, где земной покров изменился с течением времени. Обнаружение изменений широко используется в таких областях, как рост городов , динамика лесов и растительности , землепользование и мониторинг стихийных бедствий . Самые ранние применения ансамблевых классификаторов для обнаружения изменений были разработаны с использованием большинства голосов . Усреднение байесовской модели , и максимальная апостериорная вероятность . Учитывая рост спутниковых данных с течением времени, в последнее десятилетие все чаще используются методы временных рядов для непрерывного обнаружения изменений на основе изображений. Одним из примеров является метод обнаружения точек изменения байесовского ансамбля под названием BEAST, программное обеспечение которого доступно в виде пакета Rbeast в R, Python и Matlab.

Компьютерная безопасность

Распределенный отказ в обслуживании

Распределенный отказ в обслуживании — одна из наиболее опасных кибератак , которая может произойти с интернет-провайдером . Объединив выходные данные отдельных классификаторов, ансамблевые классификаторы уменьшают общую ошибку обнаружения и различения таких атак от законных флеш-массивов .

Обнаружение вредоносных программ

Классификация кодов вредоносных программ , таких как компьютерные вирусы , компьютерные черви , трояны , программы-вымогатели и шпионские программы , с использованием методов машинного обучения , основана на проблеме категоризации документов . Системы ансамблевого обучения показали должную эффективность в этой области.

Обнаружение вторжений

Система обнаружения вторжений контролирует компьютерную сеть или компьютерные системы для выявления кодов злоумышленников, например, в процессе обнаружения аномалий . Ансамблевое обучение успешно помогает таким системам мониторинга уменьшить их общую ошибку.

Распознавание лиц

Основная статья: Распознавание лиц

Распознавание лиц , которое в последнее время стало одной из самых популярных исследовательских областей распознавания образов , позволяет идентифицировать или верифицировать человека по его цифровым изображениям .

Иерархические ансамбли, основанные на классификаторе Габора Фишера и анализа независимых компонентов методах предварительной обработки , являются одними из первых ансамблей, используемых в этой области.

Распознавание эмоций

Основная статья: Распознавание эмоций

Хотя распознавание речи в основном основано на глубоком обучении , поскольку большинство игроков отрасли в этой области, таких как Google , Microsoft и IBM, сообщают, что основная технология их распознавания речи основана на этом подходе, распознавание эмоций на основе речи также может иметь удовлетворительные результаты. с ансамблевым обучением.

Он также успешно используется для распознавания эмоций по лицу .

Обнаружение мошенничества

Основная статья: Обнаружение мошенничества

Обнаружение мошенничества связано с выявлением банковского мошенничества , такого как отмывание денег , мошенничество с кредитными картами и телекоммуникационное мошенничество , которые имеют обширные области исследований и приложений машинного обучения . Поскольку ансамблевое обучение повышает надежность моделирования нормального поведения, оно было предложено в качестве эффективного метода обнаружения таких мошеннических случаев и действий в банковских системах и системах кредитных карт.

Принятие финансовых решений

Точность прогнозирования банкротства бизнеса является очень важным вопросом при принятии финансовых решений. предлагаются различные ансамблевые классификаторы Поэтому для прогнозирования финансовых кризисов и финансовых затруднений . Кроме того, в проблеме манипулирования на основе торговли , когда трейдеры пытаются манипулировать ценами на акции путем покупки и продажи, ансамблевые классификаторы должны анализировать изменения в данных фондового рынка и обнаруживать подозрительные симптомы ценами на акции манипулирования .

Лекарство

Классификаторы ансамблей успешно применяются в нейробиологии , протеомике и медицинской диагностике, например, при обнаружении нейрокогнитивных расстройств (например, болезни Альцгеймера или миотонической дистрофии ) на основе наборов данных МРТ. и классификация цитологии шейки матки.

См. также

• Усреднение по ансамблю (машинное обучение)
• Байесовский структурный временной ряд (BSTS)

Дальнейшее чтение

• Чжоу Чжихуа (2012). Ансамблевые методы: основы и алгоритмы . Чепмен и Холл/CRC. ISBN  978-1-439-83003-1 .
• Роберт Шапир ; Йоав Друг (2012). Бустинг: основы и алгоритмы . С. ISBN  978-0-262-01718-3 .

Внешние ссылки

• Роби Поликар (ред.). «Ансамблевое обучение» . Схоларпедия .
• Набор инструментов Waffles (машинное обучение) содержит реализации пакетирования, повышения, усреднения байесовской модели, комбинации байесовских моделей, набора моделей и других ансамблевых методов.