Прогнозная аналитика

Прогнозная аналитика — это форма бизнес-аналитики, применяющая машинное обучение для создания прогнозной модели для определенных бизнес-приложений. По сути, он включает в себя множество статистических методов, от прогнозного моделирования до машинного обучения, которые анализируют текущие и исторические факты, чтобы делать прогнозы о будущих или неизвестных событиях. Он представляет собой основное подмножество приложений машинного обучения; в некоторых контекстах это синоним машинного обучения.

В бизнесе прогнозные модели используют закономерности , обнаруженные в исторических и транзакционных данных, для выявления рисков и возможностей. Модели фиксируют взаимосвязи между многими факторами, позволяя оценить риск или потенциал, связанный с определенным набором условий, и направляя процесс принятия решений для возможных транзакций.

Определяющим функциональным эффектом этих технических подходов является то, что прогнозная аналитика предоставляет прогнозную оценку (вероятность) для каждого человека (клиента, сотрудника, пациента, SKU продукта, транспортного средства, компонента, машины или другой организационной единицы), чтобы определить, информировать или влиять на организационные процессы, которые затрагивают большое количество людей, например, в сфере маркетинга, оценки кредитного риска, обнаружения мошенничества, производства, здравоохранения и государственных операций, включая правоохранительные органы.

Определение

Предиктивная аналитика — это набор технологий бизнес-аналитики (BI), который выявляет взаимосвязи и закономерности в больших объемах данных, которые можно использовать для прогнозирования поведения и событий. В отличие от других технологий бизнес-аналитики, прогнозная аналитика ориентирована на будущее и использует прошлые события для прогнозирования будущего. Статистические методы прогнозной аналитики включают моделирование данных , машинное обучение , искусственный интеллект , глубокого обучения алгоритмы и интеллектуальный анализ данных . Часто неизвестное событие, представляющее интерес, происходит в будущем, но прогнозная аналитика может применяться к любому типу неизвестного, будь то в прошлом, настоящем или будущем. Например, выявление подозреваемых после совершения преступления или мошенничество с кредитными картами по мере его совершения. Ядро прогнозной аналитики основано на выявлении взаимосвязей между объясняющими переменными и прогнозируемыми переменными из прошлых событий и их использовании для прогнозирования неизвестного результата. Однако важно отметить, что точность и удобство использования результатов будут во многом зависеть от уровня анализа данных и качества предположений.

Прогнозную аналитику часто определяют как прогнозирование на более детальном уровне детализации, т. е. создание прогнозных оценок (вероятностей) для каждого отдельного организационного элемента. Это отличает его от прогнозирования . Например, «Прогностическая аналитика — технология, которая учится на основе опыта (данных) для прогнозирования будущего поведения людей для принятия более эффективных решений». В будущих промышленных системах ценность прогнозной аналитики будет заключаться в прогнозировании и предотвращении потенциальных проблем для достижения практически нулевого уровня поломок и дальнейшей интеграции в предписывающую аналитику для оптимизации решений.

Аналитические методы

Подходы и методы, используемые для проведения прогнозной аналитики, можно в общих чертах сгруппировать в методы регрессии и методы машинного обучения.

Машинное обучение

Основная статья: Машинное обучение

Машинное обучение можно определить как способность машины учиться, а затем имитировать человеческое поведение, требующее интеллекта. Это достигается с помощью искусственного интеллекта, алгоритмов и моделей.

Авторегрессионное интегрированное скользящее среднее (ARIMA)

Основная статья: АРИМА

Модели ARIMA являются распространенным примером моделей временных рядов. В этих моделях используется авторегрессия, что означает, что модель может быть оснащена программным обеспечением для регрессии, которое будет использовать машинное обучение для выполнения большей части регрессионного анализа и сглаживания. Известно, что модели ARIMA не имеют общего тренда, а вместо этого имеют отклонения от среднего значения, имеющие постоянную амплитуду, что приводит к статистически схожим временным закономерностям. Благодаря этому переменные анализируются, а данные фильтруются, чтобы лучше понимать и прогнозировать будущие значения.

Одним из примеров метода ARIMA являются модели экспоненциального сглаживания. Экспоненциальное сглаживание учитывает разницу в важности между старыми и новыми наборами данных, поскольку более свежие данные более точны и ценны для прогнозирования будущих значений. Для этого используются показатели степени, чтобы придать новым наборам данных больший вес в расчетах, чем старым наборам.

Модели временных рядов

Основная статья: Временной ряд

Модели временных рядов — это подмножество машинного обучения, которое использует временные ряды для понимания и прогнозирования данных с использованием прошлых значений. Временной ряд — это последовательность значений переменной в течение равноотстоящих периодов, например лет или кварталов в бизнес-приложениях. Для этого данные необходимо сгладить или удалить случайную дисперсию данных, чтобы выявить тенденции в данных. Есть несколько способов сделать это.

Скользящее среднее

Основная статья: Скользящее среднее

Методы одного скользящего среднего используют все меньшие и меньшие пронумерованные наборы прошлых данных, чтобы уменьшить ошибку, связанную с получением одного среднего значения, что делает его более точным средним значением, чем если бы было взято среднее значение всего набора данных.

Методы центрированного скользящего среднего используют данные, полученные в методах одиночного скользящего среднего, путем взятия среднего значения набора данных с медианным номером. Однако, поскольку набор данных с медианным номером трудно рассчитать с наборами данных с четными номерами, этот метод лучше работает с наборами данных с нечетными номерами, чем с четными.

Прогнозное моделирование

Основная статья: Прогнозное моделирование

Прогнозирующее моделирование — это статистический метод, используемый для прогнозирования будущего поведения. Он использует прогностические модели для анализа взаимосвязи между конкретной единицей в данной выборке и одной или несколькими характеристиками единицы. Целью этих моделей является оценка возможности того, что единица в другой выборке будет демонстрировать ту же модель. Решения на основе прогнозных моделей можно рассматривать как разновидность технологии интеллектуального анализа данных. Модели могут анализировать как исторические, так и текущие данные и генерировать модель для прогнозирования потенциальных будущих результатов.

Независимо от используемой методологии, в целом процесс создания прогнозных моделей включает в себя одни и те же этапы. Во-первых, необходимо определить цели проекта и желаемые результаты и преобразовать их в цели и задачи прогнозного анализа. Затем проанализируйте исходные данные, чтобы определить наиболее подходящие данные и подход к построению модели (модели полезны ровно настолько, насколько применимы данные, использованные для их построения). Выбирайте и преобразуйте данные для создания моделей. Создавайте и тестируйте модели, чтобы оценить, являются ли они действительными и смогут ли они соответствовать целям и показателям проекта. Примените результаты модели к соответствующим бизнес-процессам (выявление закономерностей в данных не обязательно означает, что бизнес поймет, как извлечь из них выгоду или извлечь выгоду). После этого управляйте моделями и обслуживайте их для стандартизации и повышения производительности (спрос на управление моделями будет возрастать, чтобы соответствовать новым правилам соответствия).

Регрессионный анализ

Основная статья: Регрессионный анализ

Как правило, регрессионный анализ использует структурные данные вместе с прошлыми значениями независимых переменных и взаимосвязями между ними и зависимой переменной для формирования прогнозов.

Линейная регрессия

Основная статья: Линейная регрессия

В линейной регрессии график строится с предыдущими значениями зависимой переменной, нанесенными на ось Y, и анализируемой независимой переменной, нанесенной на ось X. Затем с помощью статистической программы строится линия регрессии, представляющая взаимосвязь между независимыми и зависимыми переменными, которую можно использовать для прогнозирования значений зависимой переменной на основе только независимой переменной. Вместе с линией регрессии программа также отображает уравнение пересечения наклона для линии, которое включает в себя добавление для ошибки регрессии, где чем выше значение ошибки, тем менее точной является модель регрессии. Чтобы уменьшить значение ошибки, в модель вводятся другие независимые переменные, и над этими независимыми переменными проводится аналогичный анализ. Кроме того, для рассмотрения взаимосвязей, включающих несколько независимых переменных, можно использовать множественную линейную регрессию (MLP), предлагая более комплексный подход к моделированию.

Приложения

Аналитический обзор и условные ожидания в аудите

Важным аспектом аудита является аналитический обзор. В ходе аналитической проверки определяется обоснованность отчетных остатков по счетам, на которых ведется расследование. Аудиторы выполняют этот процесс посредством прогнозного моделирования для формирования прогнозов, называемых условными ожиданиями проверяемых остатков, с использованием методов авторегрессии интегрированного скользящего среднего (ARIMA) и общих методов регрессионного анализа. в частности, с помощью методов статистической техники аналитического обзора (STAR).

Метод аналитического обзора ARIMA использует анализ временных рядов прошлых проверенных балансов для создания условных ожиданий. Эти условные ожидания затем сравниваются с фактическими остатками, указанными на проверенном счете, чтобы определить, насколько близки заявленные остатки к ожиданиям. Если сообщаемые остатки близки к ожиданиям, дальнейшая проверка счетов не проводится. Если сообщаемые остатки сильно отличаются от ожиданий, существует более высокая вероятность существенной ошибки в учете, и проводится дальнейший аудит.

Методы регрессионного анализа применяются аналогичным образом, за исключением того, что используемая модель регрессии предполагает наличие только одной независимой переменной. Существенность независимой переменной, влияющей на проверяемые остатки на счетах, определяется с использованием прошлых остатков по счетам вместе с текущими структурными данными. Существенность – это важность независимой переменной в ее отношении к зависимой переменной. В данном случае зависимой переменной является баланс счета. При этом наиболее важная независимая переменная используется для создания условного ожидания, и, как и в случае с методом ARIMA, условное ожидание затем сравнивается с сообщаемым балансом счета, и решение принимается на основе близости двух балансов.

Методы STAR используют регрессионный анализ и делятся на два метода. Первый – это подход ежемесячного баланса STAR, при котором условные ожидания и используемый регрессионный анализ привязаны к одному проверяемому месяцу. Другой метод — это подход годового баланса STAR, который применяется в более широком масштабе, основывая условные ожидания и регрессионный анализ на одном проверяемом году. Помимо разницы во времени проверки, оба метода работают одинаково: сравниваются ожидаемые и сообщаемые остатки, чтобы определить, какие счета подлежат дальнейшему исследованию.

Более того, включение аналитических процедур в стандарты аудита подчеркивает растущую необходимость для аудиторов модифицировать эти методологии в соответствии с конкретными наборами данных, что отражает постоянно меняющийся характер финансовой проверки.

Ценность бизнеса

По мере того, как мы вступаем в мир технологических достижений, где все больше и больше данных создается и хранится в цифровом формате, предприятия ищут способы воспользоваться этой возможностью и использовать эту информацию для получения прибыли. Прогнозную аналитику можно использовать, и она способна предоставить множество преимуществ широкому кругу предприятий, включая фирмы по управлению активами, страховые компании, коммуникационные компании и многие другие фирмы. Каждая компания, которая использует управление проектами для достижения своих целей, получает огромную выгоду от возможностей прогнозного интеллекта. В исследовании, проведенном IDC «Анализ будущего», Дэн Вассет и Генри Д. Моррис объясняют, как компания по управлению активами использовала прогнозную аналитику для разработки более эффективной маркетинговой кампании. Они перешли от подхода массового маркетинга к подходу, ориентированному на клиента, при котором вместо отправки одного и того же предложения каждому клиенту они персонализировали каждое предложение в зависимости от своего клиента. Предиктивная аналитика использовалась для прогнозирования вероятности того, что потенциальный клиент примет персонализированное предложение. Благодаря маркетинговой кампании и прогнозной аналитике уровень принятия фирмой резко вырос: в три раза больше людей приняли их персонализированные предложения.

Технологические достижения в области прогнозной аналитики увеличили свою ценность для фирм. Одним из технологических достижений являются более мощные компьютеры, и благодаря этому прогнозная аналитика стала способна гораздо быстрее создавать прогнозы для больших наборов данных. С увеличением вычислительной мощности также появляется больше данных и приложений, что означает более широкий набор входных данных для использования в прогнозной аналитике. Еще одно технологическое достижение включает в себя более удобный интерфейс, позволяющий снизить входной барьер и сократить объем обучения, необходимого сотрудникам для эффективного использования программного обеспечения и приложений. Благодаря этим достижениям многие другие корпорации внедряют прогнозную аналитику и видят преимущества в эффективности и результативности сотрудников, а также в прибыли. Процент неудачных проектов довольно высок: целых 70% всех проектов не обеспечивают того, что было обещано клиентам. Однако показано, что внедрение процесса управления снижает частоту отказов до 20% или ниже.

Прогнозирование денежных потоков

Одномерные и многомерные модели ARIMA компании можно использовать для прогнозирования будущих денежных потоков , при этом их уравнения и расчеты основаны на прошлых значениях определенных факторов, влияющих на денежные потоки. Используя анализ временных рядов, значения этих факторов можно проанализировать и экстраполировать для прогнозирования будущих денежных потоков компании. Для одномерных моделей прошлые значения денежных потоков являются единственным фактором, используемым при прогнозировании. Между тем, многомерные модели используют множество факторов, связанных с данными начисления, например, операционную прибыль до амортизации.

Другая модель, используемая для прогнозирования денежных потоков, была разработана в 1998 году и известна как модель Дечоу, Котари и Уоттса, или DKW (1998). DKW (1998) использует регрессионный анализ, чтобы определить взаимосвязь между несколькими переменными и денежными потоками. С помощью этого метода модель обнаружила, что изменения и начисления денежных потоков отрицательно связаны, в частности, с текущими доходами, и использование этой связи позволяет прогнозировать денежные потоки на следующий период. Модель DKW (1998) выводит эту связь через взаимосвязь начислений и денежных потоков с кредиторской и дебиторской задолженностью, а также с запасами.

Защита детей

Некоторые агентства по защите детей начали использовать прогнозную аналитику для выявления случаев высокого риска. Например, в округе Хиллсборо, штат Флорида , использование агентством по защите детей инструмента прогнозного моделирования позволило предотвратить детскую смертность, связанную с жестоким обращением, в целевой группе населения.

Прогнозирование результатов юридических решений

Прогнозирование исхода юридических решений может быть сделано с помощью программ искусственного интеллекта. Эти программы могут быть использованы в качестве вспомогательных инструментов для профессий в этой отрасли.

Прогнозирование портфеля, продукта или экономики

Часто в центре внимания анализа находится не потребитель, а продукт, портфель, фирма, отрасль или даже экономика. Например, розничный торговец может быть заинтересован в прогнозировании спроса на уровне магазина для целей управления запасами. Или Совет Федеральной резервной системы может быть заинтересован в прогнозировании уровня безработицы на следующий год. Проблемы такого типа можно решить с помощью прогнозной аналитики с использованием методов временных рядов (см. ниже). Их также можно решить с помощью подходов машинного обучения, которые преобразуют исходный временной ряд в векторное пространство признаков, где алгоритм обучения находит закономерности, обладающие предсказательной силой.

Андеррайтинг

Многим предприятиям приходится учитывать риски, связанные с их различными услугами, и определять затраты, необходимые для покрытия риска. Прогнозная аналитика может помочь гарантировать эти количества, прогнозируя вероятность болезни, дефолта , банкротства и т. д. Прогнозная аналитика может упростить процесс привлечения клиентов, прогнозируя будущее рисковое поведение клиента, используя данные уровня приложения. Прогнозная аналитика в форме кредитных рейтингов сократила время, необходимое для одобрения кредита, особенно на ипотечном рынке. Правильный прогнозный анализ может привести к принятию правильных решений по ценообразованию, что поможет снизить риск дефолта в будущем. Прогнозную аналитику можно использовать для снижения морального риска и предотвращения несчастных случаев.

полиция

Основная статья: Предиктивная полиция

Полицейские органы в настоящее время используют упреждающие стратегии для предотвращения преступности. Предиктивная аналитика, которая использует статистические инструменты для прогнозирования моделей преступности, предоставляет полицейским органам новые способы мобилизации ресурсов и снижения уровня преступности. Благодаря такому прогнозному анализу данных о преступности полиция может лучше распределять ограниченные ресурсы и рабочую силу, чтобы предотвратить новые преступления. Для защиты горячих точек преступности, плотность преступности в которых намного выше, чем в среднем по городу, можно использовать направленное патрулирование или решение проблем.

Спорт

Появилось несколько фирм, специализирующихся на прогнозной аналитике в области профессионального спорта как для команд, так и для отдельных лиц. Хотя прогнозирование человеческого поведения создает широкую дисперсию из-за многих факторов, которые могут измениться после того, как прогнозы сделаны, включая травмы, судейство, решения тренеров, погоду и многое другое, использование прогнозной аналитики для прогнозирования долгосрочных тенденций и производительности полезно. Большая часть этой области началась с Moneyball концепции Билли Бина на рубеже веков, и теперь большинство профессиональных спортивных команд имеют свои собственные аналитические отделы.

См. также

• Актуарная наука
• Искусственный интеллект в здравоохранении
• Аналитические процедуры (финансовый аудит)
• Большие данные
• Вычислительная социология
• Снижение уровня преступности с использованием статистической истории
• Управление принятием решений
• Эпиднадзор за болезнями
• Обучение аналитике
• Алгоритм шансов
• Распознавание образов
• Прогнозирующий вывод
• Предиктивная полиция
• Аналитика социальных сетей

Дальнейшее чтение

• Агрести, Алан (2002). Категориальный анализ данных . Хобокен: Джон Вили и сыновья . ISBN  0-471-36093-7 .
• Коггешолл, Стивен; Дэвис, Джон; Джонс, Роджер ; Шутцер, Дэниел (1995). «Интеллектуальные системы безопасности». У Фридмана, Рой С.; Флейн, Роберт А.; Ледерман, Джесс (ред.). Искусственный интеллект на рынках капитала . Чикаго: Ирвин. ISBN  1-55738-811-3 .
• Кокер, Фрэнк (2014). Пульс: понимание важнейших признаков вашего бизнеса . Белвью, Вашингтон: Издательство Ambient Light. ISBN  978-0-9893086-0-1 .
• Деврой, Л.; Дьерфи, Л.; Лугоши, Г. (1996). Вероятностная теория распознавания образов . Нью-Йорк: Springer-Verlag. ISBN  9781461207115 – через Google Книги .
• Эндерс, Уолтер (2004). Прикладная эконометрика временных рядов . Хобокен: Джон Вили и сыновья . ISBN  0-521-83919-Х .
• Финли, Стивен (2014). Предиктивная аналитика, интеллектуальный анализ данных и большие данные. Мифы, заблуждения и методы . Бейзингсток: Пэлгрейв Макмиллан . ISBN  978-1-137-37927-6 .
• Грин, Уильям (2012). Эконометрический анализ (7-е изд.). Лондон: Прентис Холл . ISBN  978-0-13-139538-1 .
• Гидер, Матье; Ховард, Н.; Аргамон, Ш. (2009). Богатый языковой анализ для борьбы с терроризмом . Берлин, Лондон, Нью-Йорк: Springer-Verlag. ISBN  978-3-642-01140-5 .
• Митчелл, Том (1997). Машинное обучение . Нью-Йорк: МакГроу-Хилл . ISBN  0-07-042807-7 .
• Сигел, Эрик (2016). Предиктивная аналитика: возможность предсказать, кто кликнет, купит, солжет или умрет . Джон Уайли и сыновья . ISBN  978-1119145677 .
• Тьюки, Джон (1977). Исследовательский анализ данных . Нью-Йорк: Аддисон-Уэсли. ISBN  0-201-07616-0 .