Кластерная гипотеза

В машинном обучении и поиске информации кластерная гипотеза представляет собой предположение о природе данных, обрабатываемых в этих полях, которое принимает различные формы. При поиске информации в нем говорится, что документы, сгруппированные вместе, «ведут себя одинаково в отношении соответствия информационным потребностям». С точки зрения классификации говорится, что если точки находятся в одном кластере, они, скорее всего, принадлежат к одному и тому же классу. Может быть несколько кластеров, образующих один класс.

Поиск информации

Гипотеза кластера была впервые сформулирована ван Рейсбергеном: «тесно связанные документы имеют тенденцию быть релевантными одним и тем же запросам». Таким образом, теоретически поисковая система могла бы попытаться найти только соответствующий кластер для запроса, а затем позволить пользователям просматривать этот кластер. Хотя эксперименты показали, что гипотеза кластера как таковая верна, использование его для поиска не привело к удовлетворительным результатам.

Машинное обучение

Предположение о кластере предполагается во многих алгоритмах машинного обучения, таких как k алгоритм классификации -ближайших соседей и k алгоритм кластеризации -средних . Поскольку в определении появляется слово «вероятно», не существует четкой границы, позволяющей определить, верно ли предположение или нет. Напротив, степень соответствия данных этому предположению можно измерить количественно.

Характеристики

Предположение о кластере эквивалентно предположению о разделении с низкой плотностью, которое утверждает, что граница принятия решения должна лежать в области с низкой плотностью. Чтобы доказать это, предположим, что граница решения пересекает один из кластеров. Тогда этот кластер будет содержать точки из двух разных классов, следовательно, на этом кластере оно нарушено.