Информационно-поисковая система SMART

Информационно-поисковая система SMART (Система механического анализа и поиска текста) — это система поиска информации , разработанная в Корнельском университете в 1960-х годах. ^[1] Многие важные концепции поиска информации были разработаны в рамках исследований системы SMART, включая модель векторного пространства , обратную связь по релевантности и классификацию Роккио .

Джерард Солтон возглавлял группу, разработавшую SMART. Среди других участников был Майк Леск .

Система SMART также предоставляет набор корпусов, запросов и справочных рейтингов, взятых из различных предметов, в частности

ADI : публикации из обзоров информатики
Информатика
Крэнфилда : публикации из обзоров аэронавтики. Коллекция
Судебная экспертиза : библиотечное дело
Коллекция МЕДЛАРС : публикации из медицинских обзоров
Коллекция журнала Time : архивы универсального обзора Time в 1963 году

К наследию системы SMART принадлежит так называемая тройная нотация SMART — мнемоническая схема для обозначения вариантов взвешивания tf-idf в модели векторного пространства. Мнемоника для представления комбинации весов имеет вид ddd.qqq, где первые три буквы представляют вес термина вектора документа коллекции, а вторые три буквы представляют вес термина для вектора документа запроса. Например, ltc.lnn представляет собой ltc взвешивание, применяемое к инкассо-документу, и lnn взвешивание, применяемое к документу запроса.

В следующих таблицах установлены обозначения SMART: ^[2]

Символы и обозначения
${\textstyle D_{i}=\{w_{i_{1}},w_{i_{2}},\ldots ,w_{i_{t}}\}}$ представляет вектор документа, где ${\textstyle w_{i_{k}}}$ это вес термина ${\textstyle T_{k}}$ в ${\textstyle D_{i}}$ и $t$ количество уникальных терминов в ${\textstyle D_{i}}$ . Положительные характеристики характеризуют термины, присутствующие в документе, а нулевой вес используется для терминов, отсутствующих в документе.
${\textstyle f_{i_{k}}}$	Частота встречаемости термина ${\textstyle T_{k}}$ в документе ${\textstyle D_{i}}$	${\textstyle u_{i}}$	Количество уникальных терминов в документе ${\textstyle D_{i}}$
$N$	Количество инкассовых документов	$\operatorname {avg} (u)$	Среднее количество уникальных терминов в документе
${\textstyle n_{k}}$	Количество документов со сроком ${\textstyle T_{k}}$ подарок	$b_{t}$	Количество символов в документе $D_{i}$
$\max(f_{i_{k}})$	Частота появления самого распространенного термина в документе $D_{i}$	${\textstyle \operatorname {avg} (b)}$	Среднее количество символов в документе
$\operatorname {avg} (f_{i_{k}})$	Средняя частота появления термина в документе $D_{i}$	${\textstyle G}$	Глобальная статистика сбора
$s$	Наклон в контексте нормализации длины поворотного документа ^[3]

Тройная запись с умным взвешиванием терминов
Периодичность термина ${\textstyle {\text{tf}}(f_{i_{k}})}$				Частота документов ${\textstyle {\text{df}}(N,n_{k})}$				Нормализация длины документа ${\textstyle g(G,D_{i})}$
	`b`	${\textstyle 1}$	Двоичный вес	`x`	`n`	${\textstyle 1}$	Не учитывает частоту сбора	`x`	`n`	${\textstyle 1}$	Нет нормализации длины документа
`t`	`n`	${\textstyle f_{i_{k}}}$	Частота необработанных терминов	`f`		$\log _{2}\left({\frac {N}{n_{k}}}\right)$	Обратная частота сбора		`c`	${\sqrt {\sum _{k=1}^{t}w_{i_{k}}^{2}}}$	Нормализация косинуса
	`a`	${\textstyle 0.5+0.5{\frac {f_{i_{k}}}{\max(f_{i_{k}})}}}$	Расширенная нормализованная частота терминов		`t`	$\log _{2}\left({\frac {N+1}{n_{k}}}\right)$	Обратная частота сбора		`u`	$1-s+s{\frac {u_{i}}{\operatorname {avg} (u)}}$	Поворотная уникальная нормализация ^[3]
	`l`	$1+\log _{2}f_{i_{k}}$	Логарифм	`p`		$\log _{2}\left({\frac {N-n_{k}}{n_{k}}}\right)$	Вероятностная обратная частота сбора		`b`	$1-s+s{\frac {b_{i}}{\operatorname {avg} (b)}}$	Поворотная нормализация длины символов ^[3]
	`L`	${\frac {1+\log _{2}(f_{i_{k}})}{1+\log _{2}(\operatorname {avg} (f_{i_{k}}))}}$	Нормализация на основе среднесрочной частоты ^[3]
	`d`	$1+\log _{2}(1+\log _{2}(f_{i_{k}}))$	Двойной логарифм

Серые буквы в первом, пятом и девятом столбцах — это схема, использованная Солтоном и Бакли в их статье 1988 года. ^[4] Жирными буквами во втором, шестом и десятом столбцах обозначены схемы, использованные в экспериментах, о которых будет сообщено далее.

Ссылки [ править ]

^ Солтон, Дж., Леск, М.Э. (июнь 1965 г.). «Автоматические системы поиска документов SMART — иллюстрация» . Коммуникации АКМ . 8 (6): 391–398. дои : 10.1145/364955.364990 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Палчоудхури, Саупарна (2016). «О происхождении tf-idf» . sauparna.sdf.org . Проверено 29 июля 2019 г.
^ Jump up to: Перейти обратно: ^а ^б ^с ^д Сингхал А., Бакли К. и Митра М. (1996). Нормализация длины поворотного документа . Форум СИГИР, 51 , 176-184.
^ Солтон, Г., и Бакли, К. (1988). Подходы к взвешиванию терминов в автоматическом поиске текста . Инф. Процесс. Управлен., 24 , 513-523.

Внешние ссылки [ править ]

Эта программной инженерии, статья, посвященная является незавершенной . Вы можете помочь Википедии, расширив ее .

[1] Солтон, Дж., Леск, М.Э. (июнь 1965 г.). «Автоматические системы поиска документов SMART — иллюстрация» . Коммуникации АКМ . 8 (6): 391–398. дои : 10.1145/364955.364990 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )

[2] Палчоудхури, Саупарна (2016). «О происхождении tf-idf» . sauparna.sdf.org . Проверено 29 июля 2019 г.

[:0-3] Jump up to: Перейти обратно: ^а ^б ^с ^д Сингхал А., Бакли К. и Митра М. (1996). Нормализация длины поворотного документа . Форум СИГИР, 51 , 176-184.

[4] Солтон, Г., и Бакли, К. (1988). Подходы к взвешиванию терминов в автоматическом поиске текста . Инф. Процесс. Управлен., 24 , 513-523.

[1]

[2]

[3]

[4]