Ответ на вопрос
 | Эту статью необходимо обновить . ( март 2024 г. ) |
Ответы на вопросы ( QA ) — это дисциплина информатики в области поиска информации и обработки естественного языка (NLP), которая занимается созданием систем, которые автоматически отвечают на вопросы , задаваемые людьми на естественном языке . [1]
Обзор [ править ]
Реализация вопроса-ответа, обычно компьютерная программа, может формировать свои ответы, запрашивая структурированную базу данных знаний или информации, обычно базу знаний . Чаще всего вопросно-ответные системы могут получать ответы из неструктурированной коллекции документов на естественном языке.
Некоторые примеры коллекций документов на естественном языке, используемых для вопросно-ответных систем, включают:
- местный [ нужны разъяснения ] сборник справочных текстов
- внутренняя организация [ двусмысленный ] документы и веб-страницы
- составленные новостей сводки
- набор Википедии страниц [2]
- подмножество Всемирной паутины страниц
Типы ответов на вопросы [ править ]
Исследования вопросов-ответов направлены на разработку способов ответа на широкий спектр типов вопросов, включая факты, списки, определения , вопросы «как», «почему», гипотетические, семантически ограниченные и межъязыковые вопросы.
- Ответы на вопросы, связанные со статьей, с целью оценки понимания прочитанного являются одной из более простых форм ответа на вопросы, поскольку данная статья относительно коротка по сравнению с областями других типов задач с ответами на вопросы. Пример такого вопроса: «За что Альберт Эйнштейн получил Нобелевскую премию?» после того, как статья на эту тему будет передана в систему.
- Ответ на вопросы по закрытой книге — это когда система запомнила некоторые факты во время обучения и может отвечать на вопросы без явного указания контекста. Это похоже на то, как люди сдают закрытые экзамены.
- Ответы на вопросы закрытого типа касаются вопросов конкретной области (например, медицины или технического обслуживания автомобилей) и могут использовать знания, специфичные для конкретной области, часто формализованные в онтологиях . В качестве альтернативы, «закрытая область» может относиться к ситуации, когда принимаются только ограниченные типы вопросов, например вопросы, требующие описательной , а не процедурной информации. Вопросно-ответные системы в контексте [ нечеткий ] Приложения машинного чтения также были созданы в медицинской сфере, например, в области медицины. [ нечеткий ] Болезнь Альцгеймера. [3]
- Ответы на вопросы в открытой области касаются вопросов практически обо всем и могут полагаться только на общие онтологии и мировые знания. Системы, предназначенные для ответа на вопросы в открытой области, обычно имеют гораздо больше данных, из которых можно извлечь ответ. Пример открытого вопроса: «За что Альберт Эйнштейн получил Нобелевскую премию?» пока ни одной статьи на эту тему в систему не дано.
Другой способ категоризации вопросно-ответных систем – это используемый технический подход. Существует ряд различных типов систем обеспечения качества, в том числе
- системы, основанные на правилах ,
- статистические системы и
- гибридные системы .
Системы, основанные на правилах, используют набор правил для определения правильного ответа на вопрос. Статистические системы используют статистические методы для поиска наиболее вероятного ответа на вопрос. Гибридные системы используют комбинацию основанных на правилах и статистических методов.
История [ править ]
Двумя ранними системами ответов на вопросы были БЕЙСБОЛ. [4] и ЛУННАЯ. [5] БЕЙСБОЛ отвечал на вопросы о Высшей лиге бейсбола в течение одного года. [ двусмысленный ] . LUNAR ответил на вопросы о геологическом анализе горных пород, возвращенных миссией Аполлона на Луну. Обе системы ответов на вопросы были очень эффективны в выбранных ими областях. ЛУНАР была продемонстрирована на съезде по науке о Луне в 1971 году, и она смогла ответить на 90% вопросов в своей области, которые были заданы людьми, не имеющими опыта работы с системой. В последующие годы были разработаны дополнительные системы ответов на вопросы с ограниченной областью. Общей чертой всех этих систем является то, что они имели основную базу данных или систему знаний, написанную вручную экспертами выбранной области. Языковые способности BASEBALL и LUNAR использовали методы, аналогичные ELIZA и DOCTOR , первым программам -чат-ботам .
SHRDLU была успешной программой ответов на вопросы, разработанной Терри Виноградом в конце 1960-х - начале 1970-х годов. Он имитировал работу робота в игрушечном мире («мир блоков») и предлагал возможность задавать роботу вопросы о состоянии мира. Сильной стороной этой системы был выбор очень конкретной области и очень простого мира с правилами физики, которые можно было легко закодировать в компьютерной программе.
В 1970-е годы были разработаны базы знаний , ориентированные на более узкие области знаний. Системы ответов на вопросы, разработанные для взаимодействия с этими экспертными системами, обеспечили более повторяемые результаты. [ нужны разъяснения ] и обоснованные ответы на вопросы в области знаний. Эти экспертные системы очень напоминали современные системы вопросов и ответов, за исключением внутренней архитектуры. Экспертные системы в значительной степени полагаются на созданные экспертами и организованные базы знаний , тогда как многие современные системы ответов на вопросы полагаются на статистическую обработку большого, неструктурированного корпуса текстов на естественном языке.
В 1970-х и 1980-х годах развивались комплексные теории компьютерной лингвистики , что привело к разработке амбициозных проектов в области понимания текста и ответов на вопросы. Одним из примеров был Unix Consultant (UC), разработанный Робертом Виленски из Калифорнийского университета в Беркли в конце 1980-х годов. Система отвечала на вопросы, относящиеся к операционной системе Unix . У него была обширная, созданная вручную база знаний в своей области, и его целью было сформулировать ответ для различных типов пользователей. Другим проектом была LILOG, система понимания текста , работающая в области туристической информации в немецком городе. Системы, разработанные в проектах UC и LILOG, никогда не выходили за рамки простых демонстраций, но способствовали развитию теорий компьютерной лингвистики и рассуждения.
Были разработаны специализированные системы ответов на вопросы на естественном языке, такие как EAGLi, для ученых в области здравоохранения и биологии. [6]
Приложения [ править ]
Системы контроля качества используются в различных приложениях, в том числе
- Проверка факта , если факт подтвержден, путем постановки вопроса типа: является ли факт X истинным или ложным?
- обслуживание клиентов,
- техническая поддержка,
- исследования рынка,
- составление отчетов или проведение исследований.
Архитектура [ править ]
По состоянию на 2001 год [update]Вопросно-ответные системы обычно включали модуль классификатора вопросов , который определял тип вопроса и тип ответа. [7]
Различные типы вопросно-ответных систем используют разную архитектуру. Например, современные системы ответов на вопросы с открытым доменом могут использовать архитектуру ретривер-считыватель. Средство извлечения предназначено для поиска соответствующих документов, связанных с заданным вопросом, а средство чтения используется для вывода ответа из полученных документов. Такие системы, как ГПТ-3 , Т5, [8] и БАРТ [9] использовать сквозной [ жаргон ] архитектура, в которой трансформаторный [ жаргон ] архитектура хранит крупномасштабные текстовые данные в базовых параметрах. Такие модели могут отвечать на вопросы, не обращаясь к каким-либо внешним источникам знаний.
Методы ответа на вопрос [ править ]
Ответы на вопросы зависят от хорошего корпуса поиска ; без документов, содержащих ответ, система ответов на вопросы мало что может сделать. Большие коллекции обычно означают лучшую производительность ответов на вопросы, если только область вопросов не ортогональна коллекции. Избыточность данных в огромных коллекциях, таких как Интернет, означает, что кусочки информации, вероятно, будут сформулированы по-разному в разных контекстах и документах. [10] что приводит к двум преимуществам:
- Если нужная информация появляется во многих формах, системе ответов на вопросы необходимо использовать меньше сложных методов НЛП, чтобы понять текст.
- Правильные ответы можно отфильтровать от ложноположительных, поскольку система может полагаться на версии правильного ответа, встречающиеся в корпусе чаще, чем на неправильные.
Некоторые системы ответов на вопросы в значительной степени полагаются на автоматическое рассуждение . [11] [12]
Ответы на вопросы открытого домена [ править ]
 | Это раздел нуждается в дополнительных ссылок для проверки . ( январь 2016 г. ) |
При поиске информации система ответов на вопросы открытого домена пытается вернуть ответ в ответ на вопрос пользователя. Возвращаемый ответ представлен в виде коротких текстов, а не списка соответствующих документов. [13] Система находит ответы, используя комбинацию методов компьютерной лингвистики , поиска информации и представления знаний .
Система принимает в качестве входных данных вопрос на естественном языке , а не набор ключевых слов, например: «Когда национальный день Китая?» Затем он преобразует это входное предложение в запрос в его логической форме . Принятие вопросов на естественном языке делает систему более удобной для пользователя, но ее сложнее реализовать, поскольку существует множество типов вопросов, и системе придется определить правильный, чтобы дать разумный ответ. Назначение типа вопроса вопросу является важной задачей; весь процесс извлечения ответов основан на поиске правильного типа вопроса и, следовательно, правильного типа ответа.
ключевых слов Извлечение — это первый шаг в определении типа входного вопроса. [14] В некоторых случаях слова четко указывают тип вопроса, например «Кто», «Где», «Когда» или «Сколько» — эти слова могут подсказать системе, что ответы должны быть типа «Человек», « Местоположение», «Дата» или «Номер» соответственно. Методы тегирования POS (части речи) и синтаксического анализа также могут определять тип ответа. В приведенном выше примере подлежащее — «Национальный день Китая», сказуемое — «is», а наречие — «когда», поэтому тип ответа — «Дата». К сожалению, некоторые вопросительные слова, такие как «Какой», «Что» или «Как», не соответствуют однозначным типам ответов: каждое может обозначать более одного типа. В подобных ситуациях необходимо учитывать другие слова в вопросе. лексический словарь, такой как WordNet Для понимания контекста можно использовать .
Как только система определяет тип вопроса, она использует систему поиска информации для поиска набора документов, содержащих правильные ключевые слова. Теггер могут проверить , и блокировщик групп NP/Verb правильные ли сущности и отношения упомянуты в найденных документах. По таким вопросам, как «Кто» или «Где», средство распознавания именованных объектов находит соответствующие имена «Лицо» и «Местоположение» в полученных документах. Для ранжирования выбираются только соответствующие абзацы. [ нужны разъяснения ]
Модель векторного пространства может классифицировать ответы кандидатов. Проверять [ ВОЗ? ] правильный ли тип ответа определяется на этапе анализа типа вопроса. Техника вывода может подтвердить ответы кандидата. Затем каждому из этих кандидатов выставляется оценка в зависимости от количества содержащихся в нем вопросительных слов и того, насколько близки эти слова к кандидату — чем больше и чем ближе, тем лучше. Затем ответ посредством синтаксического анализа преобразуется в компактное и значимое представление. В предыдущем примере ожидаемый выходной ответ — «1 октября».
Ответ на математический вопрос [ править ]
система ответов на вопросы с открытым исходным кодом, учитывающая математику, под названием MathQA , основанная на Ask Platypus и Wikidata . В 2018 году была опубликована [15] MathQA принимает в качестве входных данных вопрос на естественном языке на английском или хинди и возвращает математическую формулу, полученную из Викиданных, в качестве краткого ответа, переведенного в вычислимую форму, которая позволяет пользователю вставлять значения для переменных. Система извлекает имена и значения переменных и общих констант из Викиданных, если они доступны. Утверждается, что система превосходит коммерческий механизм вычислительных математических знаний на тестовом наборе. [15] MathQA размещен на Wikimedia по адресу https://mathqa.wmflabs.org/ . В 2022 году он был расширен и теперь позволяет отвечать на 15 типов математических вопросов. [16]
Методы MathQA должны сочетать естественный язык и язык формул. Один из возможных подходов — выполнение контролируемой аннотации через Entity Linking . «Задание ARQMath» на CLEF 2020 [17] был запущен для решения проблемы связи вновь опубликованных вопросов с платформы Math Stack Exchange с существующими вопросами, на которые уже ответило сообщество. Предоставление гиперссылок на уже отвеченные семантически связанные вопросы помогает пользователям получить ответы раньше, но это сложная проблема, поскольку семантическая связанность не является тривиальной. [18] Лаборатория была мотивирована тем фактом, что 20% математических запросов в поисковых системах общего назначения выражаются в виде правильно сформулированных вопросов. [19] Задача содержала две отдельные подзадачи. Задача 1: «Поиск ответов» — сопоставление ответов старых сообщений с вновь заданными вопросами, а также Задача 2: «Поиск по формуле» — сопоставление формул старых сообщений с новыми вопросами. Начиная с области математики, которая включает в себя язык формул, цель состоит в том, чтобы позже распространить задачу на другие области (например, STEM-дисциплины, такие как химия, биология и т. д.), которые используют другие типы специальных обозначений (например, химические). формулы). [17] [18]
Также исследовалась обратная сторона ответа на математический вопрос — генерация математических вопросов. Механизм генерации и тестирования физических вопросов PhysWikiQuiz извлекает математические формулы из Викиданных вместе с семантической информацией об их составляющих идентификаторах (именах и значениях переменных). [20] Затем формулы перестраиваются для создания набора вариантов формулы. Впоследствии переменные заменяются случайными значениями для создания большого количества различных вопросов, подходящих для индивидуальных тестов учащихся. PhysWikiquiz размещается на Wikimedia по адресу https://physwikiquiz.wmflabs.org/ .
Прогресс [ править ]
Вопросно-ответные системы были расширены в последнее время. [ может устареть по состоянию на апрель 2023 г. ] лет, чтобы охватить дополнительные области знаний [21] Например, были разработаны системы для автоматического ответа на временные и геопространственные вопросы, вопросы определения и терминологии, биографические вопросы, многоязычные вопросы и вопросы о содержании аудио, изображений, [22] и видео. [23] Текущие темы исследований, посвященных вопросам и ответам, включают:
- интерактивность — разъяснение вопросов или ответов. [ нужны дальнейшие объяснения ] [24]
- повторное использование или кэширование ответа [25]
- семантический анализ [26]
- презентация ответа [ нужны дальнейшие объяснения ] [27]
- представление знаний и семантическое следствие [28]
- анализ социальных сетей [ нужны дальнейшие объяснения ] с вопросно-ответной системой
- анализ настроений [29]
- использование тематических ролей [30]
- Подпись к изображению для визуального ответа на вопрос [22]
- Воплощенный ответ на вопрос [31]
В 2011 году Watson , компьютерная система ответов на вопросы, разработанная IBM , участвовала в двух показательных матчах Jeopardy! против Брэда Раттера и Кена Дженнингса , выиграв со значительным отрывом. [32] Facebook Research разработала свою DrQA систему [33] доступен по лицензии с открытым исходным кодом . Эта система использует Википедию в качестве источника знаний. [2] Фреймворк с открытым исходным кодом Haystack от deepset сочетает в себе ответы на вопросы в открытой области с генеративными ответами на вопросы и поддерживает адаптацию предметной области. [ нужны разъяснения ] лежащего в основе [ нужны разъяснения ] языковые модели для отраслевых вариантов использования [ нечеткий ] . [34] [35]
Ссылки [ править ]
- ^ Филипп Чимиано; Кристина Унгер; Джон МакКрэй (1 марта 2014 г.). Интерпретация естественного языка на основе онтологий . Издательство Морган и Клейпул. ISBN 978-1-60845-990-2 .
- ^ Перейти обратно: а б Чен, Даньци; Фиш, Адам; Уэстон, Джейсон; Борд, Антуан (2017). «Чтение Википедии, чтобы ответить на вопросы открытого типа». arXiv : 1704.00051 [ cs.CL ].
- ^ Розер Моранте, Мартин Краллингер, Альфонсо Валенсия и Уолтер Делеманс. Машинное чтение биомедицинских текстов о болезни Альцгеймера . CLEF 2012 Оценочные лаборатории и семинары. 17 сентября 2012 г.
- ^ ЗЕЛЕНЫЙ МЛАДШИЙ, Берт Ф; и другие. (1961). «Бейсбол: автоматический вопрос-ответ» (PDF) . Западная совместная компьютерная конференция IRE-AIEE-ACM : 219–224.
- ^ Вудс, Уильям А; Каплан, Р. (1977). «Лунные камни на естественном английском языке: исследования ответов на вопросы на естественном языке». Обработка лингвистических структур 5 . 5 : 521–569.
- ^ «Платформа EAGLi – Ответы на вопросы в MEDLINE» . candy.hesge.ch . Проверено 2 декабря 2021 г.
- ^ Хиршман, Л. и Гайзаускас, Р. (2001) Ответы на вопросы на естественном языке. Вид отсюда . Инженерия естественного языка (2001), 7:4:275-300 Издательство Кембриджского университета.
- ^ Раффель, Колин; Шазир, Ноам; Робертс, Адам; Ли, Кэтрин; Наранг, Шаран; Матена, Майкл; Чжоу, Яньци; Ли, Вэй; Лю, Питер Дж. (2019). «Изучение границ трансферного обучения с помощью унифицированного преобразователя текста в текст». arXiv : 1910.10683 [ cs.LG ].
- ^ Льюис, Майк; Лю, Иньхан; Гоял, Наман; Газвининежад, Марджан; Мохамед, Абдельрахман; Леви, Омер; Стоянов, Весь; Зеттлмойер, Люк (2019). «BART: Предварительная тренировка по последовательному шумоподавлению для генерации, перевода и понимания естественного языка». arXiv : 1910.13461 [ cs.CL ].
- ^ Лин, Дж. (2002). Интернет как ресурс для ответов на вопросы: перспективы и проблемы . В материалах Третьей Международной конференции по языковым ресурсам и оценке (LREC 2002).
- ^ Молдован, Дэн и др. « Cogex: логическое доказательство для ответов на вопросы ». Материалы конференции Североамериканского отделения Ассоциации компьютерной лингвистики по технологиям человеческого языка 2003 г. - Том 1. Ассоциация компьютерной лингвистики, 2003.
- ^ Фурбах, Ульрих, Инго Глекнер и Бьорн Пельцер. « Применение автоматизированных рассуждений для ответа на вопросы на естественном языке ». AI Communications 23.2-3 (2010): 241–265.
- ^ Солнце, Гаитянский; Дхингра, Бхуван; Захир, Манзил; Мазайтис, Кэтрин; Салахутдинов Руслан; Коэн, Уильям (2018). «Ответ на вопросы в открытой области с использованием раннего объединения баз знаний и текста» . Материалы конференции 2018 года по эмпирическим методам обработки естественного языка . Брюссель, Бельгия. стр. 4231–4242. arXiv : 1809.00782 . дои : 10.18653/v1/D18-1455 . S2CID 52154304 .
{{cite book}}: CS1 maint: отсутствует местоположение издателя ( ссылка ) - ^ Харабаджиу, Санда; Хикль, Эндрю (2006). «Методы использования текстового следствия при ответе на открытые вопросы» . Материалы 21-й Международной конференции по компьютерной лингвистике и 44-го ежегодного собрания ACL-ACL '06 . стр. 905–912. дои : 10.3115/1220175.1220289 .
- ^ Перейти обратно: а б Мориц Шубоц; Филипп Шарпф; и другие. (12 сентября 2018 г.). «Представляем MathQA: математическую систему ответов на вопросы» . Обнаружение и доставка информации . 46 (4). Эмеральд Паблишинг Лимитед: 214–224. arXiv : 1907.01642 . дои : 10.1108/IDD-06-2018-0022 .
- ^ Шарпф, П. Шуботц, М. Гипп, Б. Анализ математических документов для ответов на вопросы с помощью неконтролируемой маркировки формул. Совместная конференция ACM/IEEE по цифровым библиотекам, 2022.
- ^ Перейти обратно: а б Занибби, Ричард; Оард, Дуглас В.; Агарвал, Анураг; Мансури, Бехруз (2020), «Обзор ARQMath 2020: Лаборатория CLEF по поиску ответов на вопросы по математике», Экспериментальный IR сочетает многоязычность, мультимодальность и взаимодействие , Конспекты лекций по информатике, том. 12260, Чам: Springer International Publishing, стр. 169–193, номер doi : 10.1007/978-3-030-58219-7_15 , ISBN. 978-3-030-58218-0 , S2CID 221351064 , получено 9 июня 2021 г.
- ^ Перейти обратно: а б Шарпф; и другие. (04.12.2020). ARQMath Lab: инкубатор для поиска семантических формул в zbMATH Открыть? . OCLC 1228449497 .
- ^ Мансури, Бехруз; Занибби, Ричард; Оард, Дуглас В. (июнь 2019 г.). «Характеристика поиска математических понятий» . Совместная конференция ACM/IEEE по цифровым библиотекам (JCDL) 2019 г. IEEE. стр. 57–66. дои : 10.1109/jcdl.2019.00019 . ISBN 978-1-7281-1547-4 . S2CID 198972305 .
- ^ Шарпф, Филипп; Шубоц, Мориц; Шпиц, Андреас; Грейнер-Петтер, Андре; Гипп, Бела (2022). «Совместное создание экзаменационных вопросов с помощью искусственного интеллекта с использованием Викиданных в образовании». arXiv : 2211.08361 . дои : 10.13140/RG.2.2.30988.18568 . S2CID 253270181 .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Пашка, Мариус (2005). «Рецензия на книгу « Новые направления в ответах на вопросы» Марк Т. Мэйбери (редактор) (MITRE Corporation) Менло-Парк, Калифорния: AAAI Press и Кембридж, Массачусетс: MIT Press, 2004, xi + 336 стр.; в бумажном переплете, ISBN 0-262-63304 -3, 40,00 долларов США, 25,95 фунтов стерлингов» . Компьютерная лингвистика . 31 (3): 413–417. дои : 10.1162/089120105774321055 . S2CID 12705839 .
- ^ Перейти обратно: а б Андерсон, Питер и др. « Внимание снизу вверх и сверху вниз к подписям к изображениям и визуальным ответам на вопросы ». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2018.
- ^ Чжу, Линьчао; Сюй, Чжунвэнь; Ян, И; Гауптманн, Александр Г. (2015). «Раскрытие временного контекста для видео вопросов и ответов». arXiv : 1511.04670 [ cs.CV ].
- ^ Квартерони, Сильвия и Суреш Манандхар. « Разработка интерактивной открытой системы ответов на вопросы ». Инженерия естественного языка 15.1 (2009): 73–95.
- ^ Лайт, Марк и др. « Повторное использование при ответе на вопрос: предварительное исследование ». Новые направления в ответах на вопросы. 2003.
- ^ Йи, Вэнь-тау, Сяодун Хэ и Кристофер Мик. « Семантический анализ для ответа на вопрос с одним отношением ». Материалы 52-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 2: Короткие статьи). 2014.
- ^ Перера, Р., Нанд, П. и Наим, А. 2017. Использование шаблонов поддеревьев типизированных зависимостей для генерации ответных предложений в системах ответов на вопросы.
- ^ де Сальво Браз, Родриго и др. « Модель вывода семантических следствий в естественном языке ». Семинар по проблемам машинного обучения. Шпрингер, Берлин, Гейдельберг, 2005 г.
- ^ «BitCrawl от Хобсона Лейна» . Архивировано из оригинала 27 октября 2012 года . Проверено 29 мая 2012 г.
{{cite web}}: CS1 maint: bot: исходный статус URL неизвестен ( ссылка ) - ^ Перера, Р. и Перера, У. 2012. К модели идентификации целей на основе тематических ролей для ответов на вопросы. Архивировано 4 марта 2016 г. в Wayback Machine.
- ^ Дас, Абхишек и др. « Воплощенный вопрос-ответ ». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2018.
- ^ Маркофф, Джон (16 февраля 2011 г.). «На «Опасности!» Победа Ватсона совсем не тривиальна» . Нью-Йорк Таймс .
- ^ «ДрКА» .
- ^ Танстолл, Льюис (5 июля 2022 г.). Обработка естественного языка с помощью преобразователей: создание языковых приложений с обнимающим лицом (2-е изд.). O'Reilly UK Ltd. с. Глава 7. ISBN 978-1098136796 .
- ^ «Документация Haystack» . глубокая посадка . Проверено 4 ноября 2022 г.
Дальнейшее чтение [ править ]
- Драгомир Р. Радев, Джон Прагер и Валери Самн. Ранжирование предполагаемых ответов на вопросы на естественном языке с использованием прогнозирующих аннотаций. Архивировано 26 августа 2011 г. в Wayback Machine . В материалах 6-й конференции по прикладной обработке естественного языка, Сиэтл, Вашингтон, май 2000 г.
- Джон Прагер, Эрик Браун, Анни Коден и Драгомир Радев. Ответы на вопросы с помощью прогнозирующих аннотаций. Архивировано 23 августа 2011 г. в Wayback Machine . В материалах 23-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска, Афины, Греция, июль 2000 г.
- Хатчинс, В. Джон ; Гарольд Л. Сомерс (1992). Введение в машинный перевод . Лондон: Академическая пресса. ISBN 978-0-12-362830-5 .
- Л. Фортноу, Стив Гомер (2002/2003). Краткая история вычислительной сложности . В Д. ван Далене, Дж. Доусоне и А. Канамори, редакторах журнала « История математической логики» . Северная Голландия, Амстердам.
- Танстолл, Льюис (5 июля 2022 г.). Обработка естественного языка с помощью преобразователей: создание языковых приложений с обнимающим лицом (2-е изд.). O'Reilly UK Ltd. с. Глава 7. ISBN 978-1098136796 .