Индуктивное смещение
Индуктивное смещение (также известное как смещение обучения ) алгоритма обучения — это набор предположений, которые учащийся использует для прогнозирования результатов заданных входных данных, с которыми он не сталкивался. [1] Индуктивное смещение — это все, что заставляет алгоритм изучать один шаблон вместо другого (например, ступенчатые функции в деревьях решений вместо непрерывной функции в модели линейной регрессии ). Обучение – это процесс постижения полезных знаний путем наблюдения и взаимодействия с миром. [2] Он включает в себя поиск пространства решений, которое, как ожидается, обеспечит лучшее объяснение данных или обеспечит более высокую награду. Но во многих случаях существует несколько решений, которые одинаково хороши. [3] Индуктивное смещение позволяет алгоритму обучения отдавать приоритет одному решению (или интерпретации) над другим, независимо от наблюдаемых данных. [4]
В машинном обучении цель заключается в создании алгоритмов, способных научиться прогнозировать определенный целевой результат. Для этого в алгоритме обучения представлены несколько обучающих примеров, демонстрирующих предполагаемое соотношение входных и выходных значений. Затем учащийся должен приблизительно получить правильный результат, даже для примеров, которые не были показаны во время обучения. Без каких-либо дополнительных предположений эту проблему невозможно решить, поскольку невидимые ситуации могут иметь произвольное выходное значение. Необходимые предположения о природе целевой функции включаются во фразу «индуктивное смещение» . [1] [5]
Классическим примером индуктивного смещения является бритва Оккама , предполагающая, что самая простая непротиворечивая гипотеза о целевой функции на самом деле является лучшей. В данном случае последовательность означает, что гипотеза учащегося дает правильные результаты для всех примеров, переданных алгоритму.
Подходы к более формальному определению индуктивного смещения основаны на математической логике . Здесь индуктивное смещение представляет собой логическую формулу, которая вместе с данными обучения логически влечет за собой гипотезу, выдвинутую обучаемым. Однако этот строгий формализм не работает во многих практических случаях, когда индуктивное смещение может быть дано лишь в виде грубого описания (например, в случае искусственных нейронных сетей ) или не дано вообще.
Типы [ править ]
Ниже приводится список распространенных индуктивных смещений в алгоритмах машинного обучения.
- Максимальная условная независимость : если гипотеза может быть сформулирована в рамках Байеса , постарайтесь максимизировать условную независимость. Это смещение, используемое в классификаторе Наивного Байеса .
- Минимальная перекрестной проверки ошибка : при попытке выбора среди гипотез выберите гипотезу с наименьшей ошибкой перекрестной проверки. Хотя перекрестная проверка может показаться свободной от предвзятости, теоремы «без бесплатного обеда» показывают, что перекрестная проверка должна быть предвзятой, например, при условии, что в упорядочении данных не закодирована никакая информация.
- Максимальное поле : при рисовании границы между двумя классами постарайтесь максимизировать ширину границы. Это смещение, используемое в машинах опорных векторов . Предполагается, что отдельные классы обычно разделены широкими границами.
- Минимальная длина описания : при формировании гипотезы постарайтесь минимизировать длину описания гипотезы.
- Минимум функций : если нет убедительных доказательств того, что функция полезна, ее следует удалить. Это предположение лежит в основе алгоритмов выбора функций .
- Ближайшие соседи : предположим, что большинство случаев в небольшой окрестности в пространстве признаков принадлежат к одному и тому же классу. Учитывая случай, для которого класс неизвестен, предположим, что он принадлежит к тому же классу, что и большинство в его непосредственном окружении. Это смещение, используемое в алгоритме k-ближайших соседей . Предполагается, что случаи, находящиеся рядом друг с другом, имеют тенденцию принадлежать к одному и тому же классу.
Сдвиг предвзятости [ править ]
Хотя большинство алгоритмов обучения имеют статическую предвзятость, некоторые алгоритмы предназначены для изменения своей предвзятости по мере сбора большего количества данных. [6] Это не позволяет избежать предвзятости, поскольку сам процесс смещения предвзятости должен иметь предвзятость.
См. также [ править ]
- Алгоритмическое смещение
- Когнитивное искажение
- Теорема «Нет бесплатного обеда»
- Никаких бесплатных обедов в поиске и оптимизации
Ссылки [ править ]
- ^ Перейти обратно: а б Митчелл, Т.М. (1980), Необходимость предвзятости в обобщениях обучения , CBM-TR 5-110, Нью-Брансуик, Нью-Джерси, США: Университет Рутгерса, CiteSeerX 10.1.1.19.5466
- ^ Батталья, Питер В.; Хэмрик; Бапст; Санчес-Гонсалес; Замбальди; Малиновский; Тачетти; Рапозо; Санторо; Фолкнер (2018). «Относительные индуктивные смещения, глубокое обучение и сети графов». arXiv : 1806.01261 [ cs.LG ].
- ^ Гудман, Нельсон (1955). «Новая загадка индукции». Факт, вымысел и прогноз . Издательство Гарвардского университета. стр. 59–83. ISBN 978-0-674-29071-6 .
{{cite book}}: CS1 maint: дата и год ( ссылка ) - ^ Митчелл, Том М. (1980). «Необходимость предвзятости в обобщениях обучения» (PDF) . Технический отчет Университета Рутгерса CBM-TR-117 : 184–191.
- ^ ДеЖарден, М.; Гордон, Д.Ф. (1995), «Оценка и выбор систематических ошибок в машинном обучении» , Machine Learning , 20 (1–2): 5–22, doi : 10.1007/BF00993472
- ^ Утгофф, П.Е. (1984), Сдвиг предвзятости в индуктивном концептуальном обучении , Нью-Брансуик, Нью-Джерси, США: докторская диссертация, факультет компьютерных наук, Университет Рутгерса, ISBN 9780934613002