До появления компьютеров, интернета и цифровых технологий сбор, хранение и обработка информации были тяжким и слишком затратным по времени занятием. Теперь все по-другому: информация собирается постоянно и с большой скоростью, стоимость хранения намного меньше, чем была раньше, да и времени столько уже не требуется. Понятие Big Data появилось как отображение возможностей хранения и анализа/обработки данных. Получение внутренних зависимостей, не видимых ранее, возможно только с использованием большого объема данных.
Сегодня все вертится вокруг данных и их использования, изучаются привычки, манеры поведения, зависимости между различными одушевленными и неодушевленными предметами. Чем больше информации, тем:
- более точный результат их анализа возможен;
- меньше зависимость от неточных значений и ошибок.
Сами по себе данные не дают нам информации о причинах их появления, а лишь указывают на значения, что уже достаточно для их дальнейшего анализа. Например, данные об активности банковских операций могут натолкнуть на мысль о финансовом здоровье рынка и отдельных слоев общества.
А можно ли предсказать будущее с достаточной точностью и вероятностью как для индивида или производства, так и для общества или даже всего человечества? Да, можно, имея данные и соответствующие алгоритмы, используя предиктивную аналитику (predictive analytics).
Основная цель предиктивной аналитики — это понять поведение и предсказать действия людей в ответ на возникающие события. Такие алгоритмы достаточно динамичны, легко адаптируемы, при этом могут основываться на машинном обучении, используя накопленную статистику в построении модели на основе полученных данных с последующим сравнением их с реальностью.
При всех прелестях такой обработки всегда будут возникать вопросы конфиденциальности, корректности использования предиктивной аналитики в отношении людей. Например, любое неверное предсказание может испортить жизнь человеку раз и навсегда, приписав ему неверный диагноз в результате неправильного анализа медицинских показателей. Анализ психоэмоциональных данных может отнести здорового человека к группе потенциальных преступников, которым он не является, а в конечном счете и сделать его таковым. Соответственно, корректность входящих данных, правильный их подбор, количество и сбалансированность приводят к более точному прогнозу.
Используя предиктивный анализ с элементами машинного обучения, мы пытаемся создать модель поведения, адаптируемую и развивающуюся, которая повысит степень предсказания.
Для процесса производства важно не только предсказывать значимые события в рамках предприятия, но и уметь предвидеть мелкие нарушения и ошибки. Интеллектуальные алгоритмы позволяют замечать не только удаленные события, но и решать проблемы всех уровней в краткосрочной перспективе. Нельзя забывать, что нужно быть аккуратным в машинном обучении, ведь мы можем и неправильно обучиться, что приведет к неправильным действиям. При этом негативные результаты полезны, ибо на них тоже можно учиться.
Нельзя полностью полагаться на предиктивные алгоритмы, иногда большого количества данных недостаточно. Нужен человек, обладающий знаниями и аналитическими способностями — тот, кто может поставить задачи, проанализировать отклонения и сами модели, скорректировать интеллектуальные алгоритмы и т. д.
Этапы предиктивной аналитики
- Сбор данных позволяет направить потоки и разобрать данные из различных источников и различного типа. Это могут быть абсолютно разношёрстные данные, структурированные, получаемые из баз данных или разрозненные, находящиеся на различных ресурсах.
- Очистка необходима для подготовки данных, оценки их целостности и доступности: отслеживание дублирования, некорректных значений, автоматическое исправление пропущенных величин и т. д.
- Трансформирование (преобразование) обеспечивает агрегирование, объединение различных потоков данных, их параметризацию.
- Интеллектуальный анализ использует различные методы и модели для получения основных зависимостей, скрытых значений и показателей из очищенных и преобразованных данных. На данном этапе возможно использование специальных языков программирования (Python, R) и различных математических алгоритмов Маркова, кластерного анализа и т. д. Работе data-аналитика больше присущ бизнес-ориентированный подход, при этом существует вероятность срабатывания «человеческого фактора». Работа математической модели или научного алгоритма такой слабости лишена.
В итоге, использование данных, совместно с их анализом, статистикой и машинным обучением создает предиктивную модель для прогнозирования будущих событий и вероятностей. Например: как долго производственная линия будет работать до начала необходимого обслуживания или какова вероятность снижения качества продукта? При такой модели в большинстве случаев ставятся бизнес цели, а сам процесс определяет, как их достичь. Предиктивная модель может самообучаться с использованием различных входных данных и подходов, а в дальнейшем быть использована на актуальных значениях. - Визуализация представляет собой передачу полученных результатов в виде удобочитаемых графиков, таблиц, диаграмм.
Когда предиктивные алгоритмы работают и модель отлажена, наступает черёд прескриптивной аналитики, которая полностью минимизирует факт участия человека и определяет процесс принятия решения с учетом результатов предиктивной части.
Таким образом, благодаря возможностям машинного обучения, искусственного интеллекта и разного рода данных предиктивная аналитика становится точным инструментом прогнозирования и обнаружения скрытых зависимостей и особенностей.
Наш совет — начать с малого и внедрить небольшие предиктивные модели в вашем бизнесе с конкретной постановкой целей, получить результаты, а дальше масштабировать и совершенствовать, вовлекая все новые и новые бизнес-процессы. Наличие открытых площадок и облачных технологий позволяет с минимальными затратами начать этот процесс в вашей компании.
