Oracle Data Mining

Oracle Data Mining
Разработчик(и)	Корпорация Oracle
Стабильная версия	11gR2 / Сентябрь 2009 г.
Тип	интеллектуальный анализ данных и аналитика
Лицензия	собственный
Веб-сайт	Oracle Data Mining

Oracle Data Mining (ODM) — это опция Oracle Database Enterprise Edition. Он содержит несколько алгоритмов интеллектуального анализа и анализа данных для классификации , прогнозирования , регрессии , ассоциаций , выбора признаков , обнаружения аномалий , извлечения признаков и специализированной аналитики. Он предоставляет средства для создания, управления и оперативного развертывания моделей интеллектуального анализа данных внутри среды базы данных.

Обзор [ править ]

Корпорация Oracle реализовала множество алгоритмов интеллектуального анализа данных в своем Oracle Database продукте реляционной базы данных . Oracle Эти реализации напрямую интегрируются с ядром базы данных и изначально работают с данными, хранящимися в таблицах реляционной базы данных . Это устраняет необходимость извлечения или передачи данных на автономные серверы майнинга/аналитики . Платформа реляционной базы данных используется ^{[ кем? ]} для безопасного управления моделями и эффективного выполнения SQL- запросов к большим объемам данных. Система организована вокруг нескольких общих операций, обеспечивающих общий унифицированный интерфейс для функций интеллектуального анализа данных . Эти операции включают функции для создания , применения , тестирования и управления моделями интеллектуального анализа данных . Модели создаются и сохраняются как объекты базы данных , а управление ими осуществляется внутри базы данных — аналогично таблицам, представлениям, индексам и другим объектам базы данных.

В интеллектуальном анализе данных процесс использования модели для получения прогнозов или описаний будущего поведения называется «оценкой». В традиционных аналитических инструментах модель, встроенная в аналитический механизм, должна быть развернута в критически важной системе для оценки новых данных или данные перемещаются из реляционных таблиц в аналитические инструменты — большинство рабочих мест предлагают собственные интерфейсы оценки. ODM упрощает развертывание модели, предлагая функции Oracle SQL для оценки данных, хранящихся прямо в базе данных. Таким образом, пользователь/разработчик приложения может использовать всю мощь Oracle SQL — с точки зрения возможности конвейерной обработки результатов и манипулирования ими на нескольких уровнях, а также с точки зрения распараллеливания и секционирования доступа к данным для повышения производительности.

Модели можно создавать и управлять ими одним из нескольких способов. Oracle Data Miner предоставляет графический пользовательский интерфейс , который помогает пользователю пройти через процесс создания, тестирования и применения моделей (например, в соответствии с методологией CRISP-DM ). Разработчики приложений и инструментов могут внедрять возможности прогнозного и описательного анализа данных с помощью PL/SQL или Java API . Бизнес-аналитики могут быстро поэкспериментировать или продемонстрировать возможности прогнозной аналитики с помощью надстройки Oracle Spreadsheet for Predictive Analytics — специального интерфейса адаптера Microsoft Excel . ODM предлагает выбор хорошо известных подходов машинного обучения , таких как деревья решений , наивный Байес , машины опорных векторов , обобщенная линейная модель (GLM) для прогнозного анализа, правила ассоциации , K-средние и ортогональное разбиение. ^[1]^[2] Кластеризация и неотрицательная матричная факторизация для описательного интеллектуального анализа. проблемы . Также предоставляется метод, основанный на минимальной длине описания, для оценки относительной важности входных атрибутов интеллектуального анализа для данной Большинство функций Oracle Data Mining также позволяют анализировать текст , принимая атрибуты текста ( неструктурированные данные ) в качестве входных данных. Пользователям не нужно настраивать параметры интеллектуального анализа текста — параметр базы данных Database_options выполняет эту задачу незаметно.

История [ править ]

Oracle Data Mining был впервые представлен в 2002 году, и его выпуски названы в соответствии с соответствующим выпуском базы данных Oracle:

Oracle Data Mining 9iR2 (9.2.0.1.0 — май 2002 г.)
Oracle Data Mining 10gR1 (10.1.0.2.0 — февраль 2004 г.)
Oracle Data Mining 10gR2 (10.2.0.1.0 — июль 2005 г.)
Oracle Data Mining 11gR1 (11.1 — сентябрь 2007 г.)
Oracle Data Mining 11gR2 (11.2 — сентябрь 2009 г.)

Oracle Data Mining является логическим преемником набора инструментов для интеллектуального анализа данных Darwin, разработанного Thinking Machines Corporation в середине 1990-х годов и позже распространяемого Oracle после приобретения Thinking Machines в 1999 году. Однако сам продукт представляет собой полную переработку и переписывание с нуля : в то время как Darwin был классической аналитической средой на основе графического пользовательского интерфейса, ODM предлагает платформу разработки/развертывания интеллектуального анализа данных, интегрированную в базу данных Oracle, вместе с графическим интерфейсом Oracle Data Miner.

Новый графический интерфейс рабочего процесса Oracle Data Miner 11gR2 был представлен на конференции Oracle Open World 2009. Обновленный графический интерфейс Oracle Data Miner был выпущен в 2012 году. Он бесплатен и доступен как расширение для Oracle SQL Developer 3.1.

Функциональность [ править ]

Начиная с версии 11gR1 Oracle Data Mining содержит следующие функции интеллектуального анализа данных :

Преобразование данных и анализ модели:
- данных Выборка , группирование , дискретизация и другие преобразования данных.
- Исследование модели, оценка и анализ.
Выбор функции (важность атрибута).
- Минимальная длина описания (MDL).
Классификация .
- Наивный Байес (НБ).
- Обобщенная линейная модель (GLM) для логистической регрессии .
- Машина опорных векторов (SVM).
- Деревья решений (DT).
Обнаружение аномалий .
- Одноклассовая машина опорных векторов (SVM).
Регрессия
- Машина опорных векторов (SVM).
- Обобщенная линейная модель (GLM) для множественной регрессии
Кластеризация :
- Расширенные k-средства (EKM).
- Кластеризация с ортогональным разделением (O-кластер). ^[1]^[2]
Изучение правил ассоциации :
- Наборы элементов и правила ассоциации (AM).
Извлечение признаков .
- Неотрицательная матричная факторизация (NMF).
Текстовый и пространственный анализ :
- Комбинированные текстовые и нетекстовые столбцы входных данных.
- Пространственные/ ГИС- данные.

входных данных и подготовка данных Источники

Большинство функций Oracle Data Mining принимают в качестве входных данных одну реляционную таблицу или представление. Плоские данные можно комбинировать с транзакционными данными посредством использования вложенных столбцов, что позволяет анализировать данные, включающие связи «один ко многим» (например, звездообразная схема ). Полную функциональность SQL можно использовать при подготовке данных для интеллектуального анализа данных, включая даты и пространственные данные.

Oracle Data Mining различает числовые, категориальные и неструктурированные (текстовые) атрибуты. Продукт также предоставляет утилиты для этапов подготовки данных перед построением модели, таких как обработка выбросов , дискретизация , нормализация и группирование ( сортировка в общем, ).

Графический интерфейс пользователя: Oracle Data Miner [ править ]

Пользователи могут получить доступ к Oracle Data Mining через Oracle Data Miner, клиентское приложение с графическим пользовательским интерфейсом , которое обеспечивает доступ к функциям интеллектуального анализа данных и структурированным шаблонам (называемым Mining Activity), которые автоматически предписывают порядок операций, выполняют необходимые преобразования данных и устанавливают параметры модели. Пользовательский интерфейс также позволяет автоматически генерировать код Java и/или SQL , связанный с действиями по интеллектуальному анализу данных . Генератор кода Java является расширением Oracle JDeveloper . Также существует независимый интерфейс: надстройка электронных таблиц для прогнозной аналитики, которая обеспечивает доступ к пакету PL/SQL Oracle Data Mining Predictive Analytics из Microsoft Excel .

Начиная с версии 11.2 базы данных Oracle , Oracle Data Miner интегрируется с Oracle SQL Developer . ^[3]

Интерфейсы PL/SQL и Java [ править ]

Oracle Data Mining предоставляет собственный пакет PL/SQL (DBMS_DATA_MINING) для создания, уничтожения, описания, применения, тестирования, экспорта и импорта моделей. Код ниже иллюстрирует типичный вызов для построения модели классификации :

BEGIN
  DBMS_DATA_MINING.CREATE_MODEL (
    model_name          => 'credit_risk_model', 
    function            => DBMS_DATA_MINING.classification, 
    data_table_name     => 'credit_card_data', 
    case_id_column_name => 'customer_id', 
    target_column_name  => 'credit_risk',
    settings_table_name => 'credit_risk_model_settings');
END;

где «credit_risk_model» — это имя модели, созданное специально для классификации «credit_risk» будущих клиентов на основе обучающих данных, представленных в таблице «credit_card_data», каждый случай отличается уникальным «customer_id», а остальная часть параметры модели, указанные в таблице «credit_risk_model_settings».

Oracle Data Mining также поддерживает Java API , соответствующий стандарту Java Data Mining (JDM) для интеллектуального анализа данных (JSR-73), что обеспечивает интеграцию с веб-приложениями и приложениями Java EE и облегчает переносимость между платформами.

Функции оценки SQL [ править ]

Начиная с версии 10gR2, Oracle Data Mining содержит встроенные функции SQL для оценки моделей интеллектуального анализа данных. Эти однострочные функции поддерживают классификацию, регрессию, обнаружение аномалий, кластеризацию и извлечение признаков. Код ниже иллюстрирует типичное использование модели классификации :

SELECT customer_name
  FROM credit_card_data
 WHERE PREDICTION (credit_risk_model USING *) = 'LOW' AND customer_value = 'HIGH';

ПММЛ [ править ]

В выпуске 11gR2 (11.2.0.2) ODM поддерживает импорт созданного извне PMML для некоторых моделей интеллектуального анализа данных. PMML — это стандарт на основе XML для представления моделей интеллектуального анализа данных.

Надстройка прогнозной аналитики для Microsoft Excel [ править ]

Пакет PL/SQL DBMS_PREDICTIVE_ANALYTICS автоматизирует процесс интеллектуального анализа данных, включая предварительную обработку данных , построение и оценку модели, а также оценку новых данных. Операция PREDICT используется для прогнозирования классификации или регрессии целевых значений, тогда как EXPLAIN ранжирует атрибуты в порядке их влияния при объяснении выбора функций целевого столбца. Новая функция 11g ПРОФИЛЬ находит сегменты клиентов и их профили по целевому атрибуту. Эти операции могут использоваться как часть рабочего конвейера, обеспечивающего действенные результаты, или отображаться для интерпретации конечными пользователями.

Ссылки и дополнительная литература [ править ]

Т. Д. Давенпорт, Конкуренция в области аналитики , Harvard Business Review, январь 2006 г.
И. Бен-Гал, Обнаружение выбросов , В: Маймон О. и Рокач Л. (ред.) Справочник по интеллектуальному анализу данных и обнаружению знаний: полное руководство для практиков и исследователей», Kluwer Academic Publishers, 2005 г., ISBN 0-387-24435-2 .
М.М. Кампос, П.Дж. Стенгард и Б.Л. Миленова, Автоматизированный интеллектуальный анализ данных, ориентированный на данные. В материалах Четвертой Международной конференции по машинному обучению и приложениям, 2005 г. , 15–17 декабря 2005 г., стр. 8, ISBN 0-7695-2495-8
М.Ф. Хорник, Эрик Маркаде и Сунил Венкаяла. Интеллектуальный анализ данных Java: стратегия, стандарт и практика. Морган-Кауфманн, 2006 г., ISBN 0-12-370452-9 .
Б.Л. Миленова, Дж.С. Ярмус и М.М. Кампос. SVM в базе данных Oracle 10g: устранение препятствий на пути широкого внедрения машин опорных векторов. В материалах 31-й международной конференции по очень большим базам данных (Тронхейм, Норвегия, 30 августа - 2 сентября 2005 г.). пп1152–1163, ISBN 1-59593-154-6 .
Б.Л. Миленова и М.М. Кампос. O-кластер: масштабируемая кластеризация больших наборов данных большой размерности. В материалах Международной конференции IEEE по интеллектуальному анализу данных 2002 года: ICDM 2002 . стр290–297, ISBN 0-7695-1754-4 .
П. Тамайо, К. Бергер, М. М. Кампос, Дж. С. Ярмус, Б. Л. Миленова, А. Мозес, М. Тафт, М. Хорник, Р. Кришнан, С. Томас, М. Келли, Д. Мухин, Р. Хаберстро, С. Стивенс и Дж. Мычковски. Oracle Data Mining — интеллектуальный анализ данных в среде баз данных. В Части VII Руководства по интеллектуальному анализу данных и обнаружению знаний , Маймон, О.; Рокач Л. (ред.) 2005, стр. 315-1329, ISBN 0-387-24435-2 .
Брендан Тирни, Прогнозная аналитика с использованием Oracle Data Miner: для специалистов по данным, аналитиков Oracle, разработчиков Oracle и администраторов баз данных, Oracle Press, McGraw Hill, весна 2014 г.

См. также [ править ]

Oracle LogMiner — в отличие от обычного интеллектуального анализа данных, предназначен для извлечения информации из внутренних журналов базы данных Oracle.

Ссылки [ править ]

^ Jump up to: Перейти обратно: ^а ^б Патент США 7174344 , Кампос, Маркос М. и Миленова, Бориана Л., «Кластеризация с ортогональным разделением», выдан 6 февраля 2007 г., передан Oracle International Corporation.
^ Jump up to: Перейти обратно: ^а ^б Бориана Л. Миленова и Маркос М. Кампос (2002 г.); O-кластер: масштабируемая кластеризация больших многомерных наборов данных , ICDM '02, Труды Международной конференции IEEE 2002 года по интеллектуальному анализу данных, страницы 290–297, ISBN 0-7695-1754-4 .
^ «Майнер данных Oracle» . Технологическая сеть Oracle . Корпорация Оракл. 2014 . Проверено 17 июля 2014 г. Oracle Data Miner — это расширение Oracle SQL Developer, которое позволяет аналитикам данных напрямую работать с данными внутри базы данных, графически исследовать данные, создавать и оценивать несколько моделей интеллектуального анализа данных, применять модели Oracle Data Mining к новым данным и развертывать прогнозы Oracle Data Mining. и аналитика по всему предприятию. [...] Oracle Data Miner состоит из трех компонентов: Oracle Database 12c или Oracle Database 11g Release 2 SQL Developer (клиент), который объединяет рабочий процесс Oracle Data Miner. Репозиторий Data Miner с графическим интерфейсом пользователя, установленный в базе данных Oracle.

Внешние ссылки [ править ]

[CamposPatent-1] Jump up to: Перейти обратно: ^а ^б Патент США 7174344 , Кампос, Маркос М. и Миленова, Бориана Л., «Кластеризация с ортогональным разделением», выдан 6 февраля 2007 г., передан Oracle International Corporation.

[campos2002-2] Jump up to: Перейти обратно: ^а ^б Бориана Л. Миленова и Маркос М. Кампос (2002 г.); O-кластер: масштабируемая кластеризация больших многомерных наборов данных , ICDM '02, Труды Международной конференции IEEE 2002 года по интеллектуальному анализу данных, страницы 290–297, ISBN 0-7695-1754-4 .

[3] «Майнер данных Oracle» . Технологическая сеть Oracle . Корпорация Оракл. 2014 . Проверено 17 июля 2014 г. Oracle Data Miner — это расширение Oracle SQL Developer, которое позволяет аналитикам данных напрямую работать с данными внутри базы данных, графически исследовать данные, создавать и оценивать несколько моделей интеллектуального анализа данных, применять модели Oracle Data Mining к новым данным и развертывать прогнозы Oracle Data Mining. и аналитика по всему предприятию. [...] Oracle Data Miner состоит из трех компонентов: Oracle Database 12c или Oracle Database 11g Release 2 SQL Developer (клиент), который объединяет рабочий процесс Oracle Data Miner. Репозиторий Data Miner с графическим интерфейсом пользователя, установленный в базе данных Oracle.

[1]

[2]

[3]