Конформное предсказание

Конформное предсказание ( CP ) — это платформа машинного обучения для количественной оценки неопределенности, которая создает статистически достоверные области прогнозирования ( интервалы прогнозирования ) для любого базового точечного предиктора (статистического, машинного или глубокого обучения) только при условии возможности обмена данными. CP работает путем вычисления оценок несоответствия ранее помеченных данных и использования их для создания наборов прогнозов для новой (немаркированной) точки тестовых данных. Трансдуктивная версия CP была впервые предложена в 1998 году Гаммерманом , Вовком и Вапником . ^[1] и с тех пор было разработано несколько вариантов конформного предсказания с различной вычислительной сложностью, формальными гарантиями и практическими приложениями. ^[2]

Конформное предсказание требует заданного пользователем уровня значимости , для которого алгоритм должен выдавать свои предсказания. Этот уровень значимости ограничивает частоту ошибок, которые может совершать алгоритм. Например, уровень значимости 0,1 означает, что алгоритм может делать не более 10% ошибочных прогнозов. Чтобы удовлетворить этому требованию, выходные данные представляют собой набор прогнозов , а не точечный прогноз, создаваемый стандартными моделями контролируемого машинного обучения . Для задач классификации это означает, что прогнозы не представляют собой единый класс, например 'cat', но вместо этого набор типа {'cat', 'dog'}. В зависимости от того, насколько хороша базовая модель (насколько хорошо она различает кошек, собак и других животных) и заданного уровня значимости, эти наборы могут быть меньше или больше. Для задач регрессии выходными данными являются интервалы прогнозирования, где меньший уровень значимости (меньше допустимых ошибок) дает более широкие интервалы, которые менее конкретны, и наоборот — большее количество допустимых ошибок создает более узкие интервалы прогнозирования. ^[3]^[4]^[5]^[6]

История

Конформное предсказание впервые возникло в результате сотрудничества Гаммермана, Вовка и Вапника в 1998 году; ^[1] в этой первоначальной версии конформного предсказания использовалось то, что сейчас называется E-значениями , хотя наиболее известная сегодня версия конформного предсказания использует p-значения и была предложена годом позже Сондерсом и др. ^[7] Вовк, Гаммерман и их ученики и сотрудники, особенно Крейг Сондерс, Харрис Пападопулос и Костас Проедру, продолжали развивать идеи конформного предсказания; Основные разработки включают предложение индуктивного конформного предсказания (также известного как расщепленное конформное предсказание) в 2002 году. ^[8]Книгу на эту тему написали Вовк и Шафер в 2005 году. ^[3] и учебник был опубликован в 2008 году. ^[9]

Теория

Данные должны соответствовать некоторым стандартам, например, возможности обмена данными (немного более слабое предположение, чем стандартный IID, применяемый в стандартном машинном обучении). Для конформного прогнозирования область прогнозирования n % считается допустимой , если истина находится в выходных данных n % времени. ^[3] Эффективность – это размер выпускаемой продукции. Для классификации этот размер представляет собой количество классов; для регрессии это ширина интервала. ^[9]

В чистом виде конформное предсказание делается для онлайнового (трансдуктивного) раздела. То есть после того, как метка предсказана, ее истинная метка известна до следующего прогнозирования. Таким образом, базовая модель может быть переобучена с использованием этой новой точки данных, и следующий прогноз будет сделан на калибровочном наборе, содержащем n + 1 точку данных, тогда как предыдущая модель имела n точек данных. ^[9]

Алгоритмы классификации

Целью стандартных алгоритмов классификации является отнесение тестируемого объекта к одному из нескольких дискретных классов. Вместо этого конформные классификаторы вычисляют и выводят значение p для каждого доступного класса, выполняя ранжирование меры несоответствия (α-значения) тестируемого объекта по примерам из набора обучающих данных. Подобно стандартной проверке гипотез , значение p вместе с порогом (называемым уровнем значимости в поле CP) используется для определения того, должна ли метка находиться в наборе прогнозов. Например, для уровня значимости 0,1 p в набор прогнозов добавляются все классы со значением 0,1 или выше. Трансдуктивные алгоритмы вычисляют оценку несоответствия, используя все доступные данные обучения, тогда как индуктивные алгоритмы вычисляют ее на подмножестве обучающего набора.

Индуктивное конформное предсказание (ICP)

Индуктивное конформное предсказание было впервые известно как индуктивные машины уверенности. ^[8] но позже был повторно представлен как ICP. Он приобрел популярность на практике, поскольку базовую модель не нужно переобучать для каждого нового тестового примера. Это делает его интересным для любой модели, которую сложно обучать, например нейронных сетей. ^[10]

Индуктивное конформное предсказание Мондриана (MICP)

В MICP значения альфа зависят от класса (Мондриан), и базовая модель не соответствует исходной онлайн-настройке, представленной в 2005 году. ^[4]

Алгоритм обучения:

Обучение модели машинного обучения (MLM)
Запустите калибровочный набор через MLM, сохраните результаты выбранного этапа.
- В глубоком обучении softmax. часто используются значения
Используйте функцию несоответствия для вычисления α. значений
- Точка данных в калибровочном наборе приведет к значению α для ее истинного класса.

Алгоритм прогнозирования:

Для точки тестовых данных сгенерируйте новое α . значение
Найдите значение p для каждого класса точки данных.
Если значение p превышает уровень значимости, включите класс в выходные данные. ^[4]

Алгоритмы регрессии

Конформное предсказание изначально было сформулировано для задач классификации, но позже было модифицировано для регрессии. В отличие от классификации, которая выводит значения p без заданного уровня значимости, регрессия требует фиксированного уровня значимости во время прогнозирования, чтобы создать интервалы прогнозирования для нового тестового объекта. Для классической конформной регрессии не существует трансдуктивного алгоритма. Это связано с тем, что невозможно постулировать все возможные метки для нового тестового объекта, поскольку пространство меток непрерывно. Все доступные алгоритмы сформулированы в индуктивной схеме, которая вычисляет правило прогнозирования один раз и применяет его ко всем будущим прогнозам.

Индуктивное конформное предсказание (ICP)

Все индуктивные алгоритмы требуют разделения доступных обучающих примеров на два непересекающихся набора: один набор, используемый для обучения базовой модели ( правильный обучающий набор ), и один набор для калибровки прогноза ( калибровочный набор ). В ICP это разделение выполняется один раз, таким образом обучается одна модель ML. Если разделение выполняется случайным образом и данные подлежат обмену, то автоматически подтверждается достоверность модели ICP (т. е. частота ошибок соответствует требуемому уровню значимости).

Алгоритм обучения:

Разделите обучающие данные на правильный обучающий набор и калибровочный набор.
Обучите базовую модель машинного обучения, используя соответствующий обучающий набор.
Спрогнозируйте примеры из калибровочного набора, используя производную модель ML → ŷ -значения.
Необязательно: если используется нормализованная функция несоответствия.
1. Обучение модели нормализации ML
2. Прогнозирование оценок нормализации → 𝜺 -значения
Вычислите меры несоответствия ( α -значения) для всех примеров калибровки, используя ŷ- и 𝜺-значения.
Сортировка показателя несоответствия и создание оценок несоответствия
Сохраните базовую модель машинного обучения, модель нормализации машинного обучения (если есть) и оценки несоответствия.

Алгоритм прогнозирования:

Требуемый ввод: уровень значимости ( s )

Прогнозирование тестового объекта с помощью модели ML → ŷ _t
Необязательно: если используется нормализованная функция несоответствия.
1. Спрогнозируйте тестовый объект, используя модель нормализации → 𝜺 _t
Выберите оценку несоответствия из списка оценок, полученных калибровочным набором при обучении, соответствующую уровню значимости s → α _s.
Вычислите полуширину интервала прогнозирования ( d ) путем перестановки функции несоответствия и введите α _s (и необязательно 𝜺) → d
Выходной интервал прогнозирования ( ŷ − d , ŷ + d ) для данного уровня значимости s

Сплит-конформное предсказание (SCP)

SCP, часто называемый агрегированным конформным предиктором (ACP), можно рассматривать как ансамбль ICP . SCP обычно повышает эффективность прогнозов (то есть создает меньшие интервалы прогнозирования) по сравнению с одиночным ICP, но теряет автоматическую достоверность сгенерированных прогнозов.

Распространенным типом SCP является кросс-конформный предиктор (CCP), который несколько раз разбивает обучающие данные на соответствующие обучающие и калибровочные наборы по стратегии, аналогичной k -кратной перекрестной проверке . Независимо от метода разделения алгоритм выполняет n разделений и обучает ICP для каждого разделения. При прогнозировании нового тестового объекта он использует медианы ŷ и d из n ICP для создания окончательного интервала прогнозирования в виде ( ŷ _{медиана} − d _{медиана} , ŷ _{медиана} + d _{медиана} ).

Приложения

Типы моделей обучения

Несколько моделей машинного обучения можно использовать в сочетании с конформным прогнозированием. Исследования показали, что его можно применить, например, к сверточным нейронным сетям . ^[11] машины опорных векторов и другие.

Вариант использования

Конформное предсказание используется в различных областях и является активной областью исследований. Например, в биотехнологии его использовали для прогнозирования неопределенностей в отношении рака молочной железы . ^[12] риски инсульта , ^[13] хранение данных, ^[14] и очистка диска. ^[15] В области аппаратной безопасности он использовался для обнаружения развивающихся аппаратных троянов. ^[16] В области языковых технологий статьи по конформному предсказанию регулярно представляются на Симпозиуме по конформному и вероятностному предсказанию с приложениями (COPA). ^[17]

Конференции

Конформное предсказание — одна из основных тем, обсуждаемых каждый год на конференции COPA. И теория, и приложения конформных предсказаний представлены лидерами в этой области. Конференция проводится с 2012 года. ^[17] Он проходил в нескольких европейских странах, включая Грецию, Великобританию, Италию и Швецию.

Книги

Опубликованные книги по конформному прогнозированию включают «Алгоритмическое обучение в случайном мире», ^[18] Конформное предсказание для надежного машинного обучения: теория, адаптация и приложения, ^[19] Практическое руководство по прикладному конформному прогнозированию в Python: изучите и примените лучшие концепции неопределенности в своих отраслевых приложениях, ^[20] Конформное предсказание: нежное введение (основы и тенденции в машинном обучении), ^[21] и конформное предсказание: изобретательский подход. ^[22]

См. также

Ссылки

^ Jump up to: ^а ^б Гаммерман, Александр; Вовк, Владимир; Вапник, Владимир (1998). «Обучение посредством трансдукции» . Неопределенность в искусственном интеллекте . 14 : 148–155.
^ Ангелопулос, Анастасиос; Бейтс, Стивен (2021). «Нежное введение в конформное предсказание и количественную оценку неопределенности без распределения». arXiv : 2107.07511 [ cs.LG ].
^ Jump up to: ^а ^б ^с Вовк, Владимир (2022). Алгоритмическое обучение в случайном мире . А. Гаммерман, Гленн Шафер. Нью-Йорк: Спрингер. дои : 10.1007/978-3-031-06649-8 . ISBN 978-3-031-06648-1 . S2CID 118783209 .
^ Jump up to: ^а ^б ^с Токкачели, Паоло; Гаммерман, Александр (01.03.2019). «Комбинация индуктивных мондриевых конформных предикторов» . Машинное обучение . 108 (3): 489–510. дои : 10.1007/s10994-018-5754-9 . ISSN 1573-0565 .
^ Нориндер, Ульф; Карлссон, Ларс; Бойер, Скотт; Эклунд, Мартин (23 июня 2014 г.). «Внедрение конформного прогнозирования в прогнозное моделирование. Прозрачная и гибкая альтернатива определению области применимости» . Журнал химической информации и моделирования . 54 (6): 1596–1603. дои : 10.1021/ci5001168 . ISSN 1549-9596 . ПМИД 24797111 .
^ Альварссон, Джонатан; МакШейн, Стаффан Арвидссон; Нориндер, Ульф; Спьют, Ола (01 января 2021 г.). «Уверенное предсказание: использование конформного прогнозирования при открытии лекарств» . Журнал фармацевтических наук . 110 (1): 42–49. дои : 10.1016/j.xphs.2020.09.055 . ISSN 0022-3549 . ПМИД 33075380 . S2CID 224809705 .
^ Сондерс, Крейг; Гаммерман, Александр; Вовк, Владимир (1999). «Трансдукция с уверенностью и достоверностью» . Международная совместная конференция по искусственному интеллекту . 16 : 722–726.
^ Jump up to: ^а ^б Пападопулос, Харрис; Проедру, Костас; Вовк, Володя; Гаммерман, Алекс (2002). «Индуктивные машины уверенности для регрессии». В Эломаа – Тапио; Маннила, Хейкки; Тойвонен, Ханну (ред.). Машинное обучение: ECML 2002 . Конспекты лекций по информатике. Том. 2430. Берлин, Гейдельберг: Springer. стр. 345–356. дои : 10.1007/3-540-36755-1_29 . ISBN 978-3-540-36755-0 .
^ Jump up to: ^а ^б ^с Вовк, Владимир; Шафер, Гленн (3 августа 2008 г.). «Учебное пособие по конформному прогнозированию» (PDF) . Журнал исследований машинного обучения . 9 : 371–421.
^ Пападопулос, Харрис; Хараламбус, Харис (2010). «Индуктивный конформный предиктор регрессии нейронных сетей и его применение для прогнозирования общего содержания электронов» . В Диамантарасе Константинос; Дач, Влодек; Илиадис, Лазарос С. (ред.). Искусственные нейронные сети – ICANN 2010 . Конспекты лекций по информатике. Том. 6352. Берлин, Гейдельберг: Springer. стр. 32–41. дои : 10.1007/978-3-642-15819-3_4 . ISBN 978-3-642-15819-3 .
^ Пападопулос, Харрис; Вовк, Володя; Гаммерман, Алекс (октябрь 2007 г.). «Конформное предсказание с помощью нейронных сетей» . 19-я Международная конференция IEEE по инструментам с искусственным интеллектом (ICTAI 2007) . Том. 2. С. 388–395. дои : 10.1109/ICTAI.2007.47 . ISBN 978-0-7695-3015-4 . S2CID 10164217 .
^ Ламбру, А.; Пападопулос, Х.; Гаммерман, А. (ноябрь 2009 г.). «Эволюционное конформное предсказание диагностики рака молочной железы» . 2009 9-я Международная конференция по информационным технологиям и их применению в биомедицине . стр. 1–4. дои : 10.1109/ITAB.2009.5394447 . ISBN 978-1-4244-5379-5 . S2CID 15703490 .
^ Ламбру, Антонис; Пападопулос, Харрис; Кириаку, Эфтивулос; Паттичис, Константинос С.; Паттичис, Мариос С.; Гаммерман, Александр; Николаидес, Эндрю (2010), Пападопулос, Харрис; Андреу, Андреас С.; Брамер, Макс (ред.), «Оценка риска инсульта на основе анализа морфологического ультразвукового изображения с конформным прогнозированием», Приложения и инновации в области искусственного интеллекта , IFIP Advances in Information and Communication Technology, vol. 339, Берлин, Гейдельберг: Springer Berlin Heidelberg, стр. 146–153, doi : 10.1007/978-3-642-16239-8_21 , ISBN 978-3-642-16238-1 , S2CID 17515625
^ Вишвакарма, Рахул (2019). Новый взгляд на прогнозы машинного обучения в условиях неопределенности (SDC 2019) . СНИА СДЦ.
^ Вишвакарма, Рахул; Хедаятипур, Ава; Мессуди, Саундус; Хван, Джинха (2021). «Очистка корпоративных дисков на основе конформных предикторов Мондриана» . Труды исследований машинного обучения . 204 . arXiv : 2306.17169 .
^ Вишвакарма, Рахул; Резаи, Амин (октябрь 2023 г.). «Осведомленная о рисках и объяснимая система для обеспечения гарантированного покрытия при развитии обнаружения аппаратных троянов» . Международная конференция IEEE/ACM по автоматизированному проектированию (ICCAD) , 2023 г. стр. 01–09. arXiv : 2312.00009 . дои : 10.1109/ICCAD57390.2023.10323655 . ISBN 979-8-3503-2225-5 .
^ Jump up to: ^а ^б «10-й симпозиум по конформному и вероятностному прогнозированию с приложениями (COPA 2021)» . cml.rhul.ac.uk. Проверено 15 сентября 2021 г.
^ Вовк, Владимир; Гаммерман, Александр; Шафер, Гленн (2022). Алгоритмическое обучение в случайном мире . Том. 29. Спрингер. дои : 10.1007/978-3-031-06649-8 . ISBN 978-3-031-06648-1 .
^ Баласубраманян, Винит (2014). Хо, Шен-Шян; Вовк, Владимир (ред.). Конформное предсказание для надежного машинного обучения: теория, адаптации и приложения . Ньюнес. ISBN 978-0-12-398537-8 .
^ Манохин, Валерий (2023). Практическое руководство по прикладному конформному прогнозированию в Python: изучите и примените лучшие концепции неопределенности в своих отраслевых приложениях . Великобритания: Packt Publishing. ISBN 9781805120919 .
^ Ангелопулос, Анастасиос Н.; Бейтс, Стивен (2023). «Конформное предсказание: нежное введение» . Основы и тенденции в машинном обучении . 16 (4): 494–591. дои : 10.1561/2200000101 .
^ Вишвакарма, Рахул Део; Панди, Рахул; Хан, Шандянь (король); Моди, Шрей (12 марта 2024 г.). Конформное предсказание: изобретательский подход . Независимо опубликовано. ISBN 979-8884663619 .

Внешние ссылки

Видеолекция на YouTube

[first-paper-1] Jump up to: ^а ^б Гаммерман, Александр; Вовк, Владимир; Вапник, Владимир (1998). «Обучение посредством трансдукции» . Неопределенность в искусственном интеллекте . 14 : 148–155.

[angelopolous-bates-2] Ангелопулос, Анастасиос; Бейтс, Стивен (2021). «Нежное введение в конформное предсказание и количественную оценку неопределенности без распределения». arXiv : 2107.07511 [ cs.LG ].

[:0-3] Jump up to: ^а ^б ^с Вовк, Владимир (2022). Алгоритмическое обучение в случайном мире . А. Гаммерман, Гленн Шафер. Нью-Йорк: Спрингер. дои : 10.1007/978-3-031-06649-8 . ISBN 978-3-031-06648-1 . S2CID 118783209 .

[:2-4] Jump up to: ^а ^б ^с Токкачели, Паоло; Гаммерман, Александр (01.03.2019). «Комбинация индуктивных мондриевых конформных предикторов» . Машинное обучение . 108 (3): 489–510. дои : 10.1007/s10994-018-5754-9 . ISSN 1573-0565 .

[5] Нориндер, Ульф; Карлссон, Ларс; Бойер, Скотт; Эклунд, Мартин (23 июня 2014 г.). «Внедрение конформного прогнозирования в прогнозное моделирование. Прозрачная и гибкая альтернатива определению области применимости» . Журнал химической информации и моделирования . 54 (6): 1596–1603. дои : 10.1021/ci5001168 . ISSN 1549-9596 . ПМИД 24797111 .

[6] Альварссон, Джонатан; МакШейн, Стаффан Арвидссон; Нориндер, Ульф; Спьют, Ола (01 января 2021 г.). «Уверенное предсказание: использование конформного прогнозирования при открытии лекарств» . Журнал фармацевтических наук . 110 (1): 42–49. дои : 10.1016/j.xphs.2020.09.055 . ISSN 0022-3549 . ПМИД 33075380 . S2CID 224809705 .

[saunders-p-values-7] Сондерс, Крейг; Гаммерман, Александр; Вовк, Владимир (1999). «Трансдукция с уверенностью и достоверностью» . Международная совместная конференция по искусственному интеллекту . 16 : 722–726.

[papadopoulos-split-8] Jump up to: ^а ^б Пападопулос, Харрис; Проедру, Костас; Вовк, Володя; Гаммерман, Алекс (2002). «Индуктивные машины уверенности для регрессии». В Эломаа – Тапио; Маннила, Хейкки; Тойвонен, Ханну (ред.). Машинное обучение: ECML 2002 . Конспекты лекций по информатике. Том. 2430. Берлин, Гейдельберг: Springer. стр. 345–356. дои : 10.1007/3-540-36755-1_29 . ISBN 978-3-540-36755-0 .

[:1-9] Jump up to: ^а ^б ^с Вовк, Владимир; Шафер, Гленн (3 августа 2008 г.). «Учебное пособие по конформному прогнозированию» (PDF) . Журнал исследований машинного обучения . 9 : 371–421.

[10] Пападопулос, Харрис; Хараламбус, Харис (2010). «Индуктивный конформный предиктор регрессии нейронных сетей и его применение для прогнозирования общего содержания электронов» . В Диамантарасе Константинос; Дач, Влодек; Илиадис, Лазарос С. (ред.). Искусственные нейронные сети – ICANN 2010 . Конспекты лекций по информатике. Том. 6352. Берлин, Гейдельберг: Springer. стр. 32–41. дои : 10.1007/978-3-642-15819-3_4 . ISBN 978-3-642-15819-3 .

[11] Пападопулос, Харрис; Вовк, Володя; Гаммерман, Алекс (октябрь 2007 г.). «Конформное предсказание с помощью нейронных сетей» . 19-я Международная конференция IEEE по инструментам с искусственным интеллектом (ICTAI 2007) . Том. 2. С. 388–395. дои : 10.1109/ICTAI.2007.47 . ISBN 978-0-7695-3015-4 . S2CID 10164217 .

[12] Ламбру, А.; Пападопулос, Х.; Гаммерман, А. (ноябрь 2009 г.). «Эволюционное конформное предсказание диагностики рака молочной железы» . 2009 9-я Международная конференция по информационным технологиям и их применению в биомедицине . стр. 1–4. дои : 10.1109/ITAB.2009.5394447 . ISBN 978-1-4244-5379-5 . S2CID 15703490 .

[13] Ламбру, Антонис; Пападопулос, Харрис; Кириаку, Эфтивулос; Паттичис, Константинос С.; Паттичис, Мариос С.; Гаммерман, Александр; Николаидес, Эндрю (2010), Пападопулос, Харрис; Андреу, Андреас С.; Брамер, Макс (ред.), «Оценка риска инсульта на основе анализа морфологического ультразвукового изображения с конформным прогнозированием», Приложения и инновации в области искусственного интеллекта , IFIP Advances in Information and Communication Technology, vol. 339, Берлин, Гейдельберг: Springer Berlin Heidelberg, стр. 146–153, doi : 10.1007/978-3-642-16239-8_21 , ISBN 978-3-642-16238-1 , S2CID 17515625

[14] Вишвакарма, Рахул (2019). Новый взгляд на прогнозы машинного обучения в условиях неопределенности (SDC 2019) . СНИА СДЦ.

[15] Вишвакарма, Рахул; Хедаятипур, Ава; Мессуди, Саундус; Хван, Джинха (2021). «Очистка корпоративных дисков на основе конформных предикторов Мондриана» . Труды исследований машинного обучения . 204 . arXiv : 2306.17169 .

[16] Вишвакарма, Рахул; Резаи, Амин (октябрь 2023 г.). «Осведомленная о рисках и объяснимая система для обеспечения гарантированного покрытия при развитии обнаружения аппаратных троянов» . Международная конференция IEEE/ACM по автоматизированному проектированию (ICCAD) , 2023 г. стр. 01–09. arXiv : 2312.00009 . дои : 10.1109/ICCAD57390.2023.10323655 . ISBN 979-8-3503-2225-5 .

[:3-17] Jump up to: ^а ^б «10-й симпозиум по конформному и вероятностному прогнозированию с приложениями (COPA 2021)» . cml.rhul.ac.uk. Проверено 15 сентября 2021 г.

[18] Вовк, Владимир; Гаммерман, Александр; Шафер, Гленн (2022). Алгоритмическое обучение в случайном мире . Том. 29. Спрингер. дои : 10.1007/978-3-031-06649-8 . ISBN 978-3-031-06648-1 .

[19] Баласубраманян, Винит (2014). Хо, Шен-Шян; Вовк, Владимир (ред.). Конформное предсказание для надежного машинного обучения: теория, адаптации и приложения . Ньюнес. ISBN 978-0-12-398537-8 .

[20] Манохин, Валерий (2023). Практическое руководство по прикладному конформному прогнозированию в Python: изучите и примените лучшие концепции неопределенности в своих отраслевых приложениях . Великобритания: Packt Publishing. ISBN 9781805120919 .

[21] Ангелопулос, Анастасиос Н.; Бейтс, Стивен (2023). «Конформное предсказание: нежное введение» . Основы и тенденции в машинном обучении . 16 (4): 494–591. дои : 10.1561/2200000101 .

[22] Вишвакарма, Рахул Део; Панди, Рахул; Хан, Шандянь (король); Моди, Шрей (12 марта 2024 г.). Конформное предсказание: изобретательский подход . Независимо опубликовано. ISBN 979-8884663619 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]