Анализируй это, или Тренды рынка BI

Союз Big Data и Machine Learning

За последние несколько лет Большие Данные из источника головной боли для компаний трансформировались в генератор бизнес-возможностей, в том числе они активно используются технологиями машинного обучения в BI-инструментах.

Классические BI-решения нацелены на постфактумный анализ, а вот Большие данные позволяют строить предиктивную аналитику, они являются поставщиком разнообразнейшей информации, которая ложится в основу математических моделей, составляющих основу Machine Learning. Для примера возьмем продуктовый ритейл: у нас есть профиль клиента в программе лояльности, история его покупок, данные о том, в какое время дня он чаще/реже всего посещает магазин, голосует рублем за спецпредложения и какие именно. Используя этот массив информации, можно создать модель для проведения будущих маркетинговых кампаний.

Подобные компетенции мы использовали в ходе пилота у одного из лидеров парфюмерно-косметического рынка России. В нашем распоряжении была информация из ряда источников (CRM, BI, чековые данные и т.д.) о покупателях и их покупках, в том числе детальные данные о клиентопотоке, о том, какие именно товары предпочитали клиенты и в какое время происходили эти покупки. Мы построили вероятностную модель, прогнозирующую количество покупателей в определенный временной период в том или ином магазине, а также содержимое их корзин. На основе этого прогноза были разработаны несколько маркетинговых кампаний. Затем, после выполнения кампаний, вместе с заказчиком мы сравнили, насколько точно наша модель попала в цель.

Помимо ритейлеров, на технологии Machine Learning в ближайшем будущем пристальное внимание обратят производственные и нефтегазовые компании. Нефтегазовый сектор исторически интересуется решениями, позволяющими использовать Big Data. Технологические системы ежедневно генерируют лавину неструктурированных данных, которые невозможно привести к единому формату (только навскидку: данные сейсморазведки, показатели контроллеров систем управления на скважинах, записи рестартов напряжения из журналов учета аварий и др.). Эта «сырая» информация стекается в «озера данных» (Data Lake) — репозитории, для которых характерна плоская архитектура хранения. Отсюда ее и черпают инструменты Machine Learning. Благодаря применению методов математического моделирования технологического процесса можно спрогнозировать объемы добычи и оптимизировать режимы работы скважин, сформировать отвечающие текущим требованиям план-графики ремонта оборудования и т.д.

Банковский сектор не меньше заинтересован в решениях, основанных на Machine Learning. Они открывают огромные возможности, в том числе выявление мошеннических действий (как клиентов, так и сотрудников), улучшение качества кредитного скоринга, подготовка максимально привлекательного персонального предложения для клиентов банка, чат-боты и т.д.. Одним из первопроходцев на нашем рынке является Сбербанк: в настоящее время он создает новую банковскую платформу, включающую инструменты машинного обучения.

Спрос на максимально эффективное использование потенциала BigData и технологий Machine Learning породил предложение — появились эксперты по данным, или Data Scientists. Разрабатывая математические модели, применяя методы статистического анализа данных, выявляя закономерности в массивах информации, эти специалисты помогают компаниям «превращать данные в деньги».

Стоит сказать несколько слов и о технологической стороне вопроса. Для работы с Big Data обычно используется общеизвестный инструментарий Open Source — Apache Hadoop и экосистема связанных с ним платформ. Если говорить о машинном обучении, на первый план выходят 2 технологии: Apache Spark и Apache Mahout. Это базовый фреймворк, который лежит в основе множества прикладных решений, в том числе нашей компании. Кроме того, в сторону Machine Learning смотрят ведущие производители ПО. Так, IBM продолжает развивать свою когнитивную систему Watson, Oracle в октябре 2017 г. анонсировала облачный сервис Oracle AI Platform Cloud Service, во все уровни которого «встроен сквозной искусственный интеллект».

Real’ная аналитика

Постоянно растет потребность в Real-Time-аналитике, особенно со стороны ритейлеров, банковского сектора, интернет-компаний. Анализ данных в реальном времени в разы увеличивает ценность полученной информации, поскольку на ее основе можно принимать своевременные управленческие, оперативные и стратегические решения.

Так, банки стремятся максимально ускорить работу кредитного конвейера, чтобы решение о выдаче кредита принималось в минимальные сроки. Один рабочий день люди еще готовы подождать, но, если речь идет о неделе неопределенности, скорее всего, они обратятся к конкуренту.

Розничная торговля тоже понимает, что может «опоздать», но уже с маркетинговыми предложениями. Клиенту неинтересны акции на товары, которые он приобрел еще вчера. Сегодня необходимо генерировать персональные предложения в режиме реального времени — пока покупатели находятся в магазине. При этом можно учитывать, в какой торговой точке находится клиент, историю его покупок, каковы остатки на складе в данном магазине и т.д.

Технологии, приближенные к Real-Time-аналитике, мы в свое время реализовали в ряде проектов. Например у одного из наших заказчиков, мы разработали облегченную Intraday-область. В ней находится минимальный объем информации, необходимый для формирования оперативной отчетности, причем период хранения данных не превышает 3 месяцев. При этом данные актуализируются в Intraday-области с задержкой, не превышающей 15 минут. Таким образом, руководство компании может анализировать показатели бизнеса практически в реальном времени.

Курс на открытость

Российский сектор SMB в 2017 году продемонстрировал интерес к Open Source BI.

Ввиду ограниченности бюджетов малые и средние компании при решении задач бизнес-аналитики традиционно обходились неспециализированными инструментами, которые решали задачи формирования отчетов, но не могли предоставить весь необходимый функционал полноценных решений BI. Данным компаниям мы рекомендуем обратить внимание на BI системы с открытым кодом. Данные системы во-первых позволяют минимизировать CAPEX, а по своему инструментарию уже приближаются к классическим проприетарным решениям. Во-вторых, в отличие от неспециализированных инструментов они предлагают практически неограниченные возможности по интеграции системы с другими бизнес-приложениями — источниками данных. Все это повышает привлекательность открытого BI в глазах ИТ-сообщества. Среди решений Open Source и Community-версий проприетарного enterprise-софта BI наибольшую популярность завоевали Jasper, Pentaho, а также BIRT.

В то же время, в отличие от западного рынка, российские компании пока не могут похвастаться богатым проектным опытом в данной области. И здесь на сцену выходят системные интеграторы, обладающие практикой внедрения промышленных аналитических систем и способные грамотно выстроить процесс построения решения на базе открытого кода. Принимая во внимание эти факторы, мы ожидаем в 2018 г. дальнейшее совершенствование функциональности Open Source аналитических решений и увеличение числа реализуемых на них проектов.

Аналитик на все руки

О Self-Service BI западный рынок активно заговорил в 2011–2012 гг. Именно в этот период целый ряд производителей (IBM, SAP, Oracle, Qlik, Microsoft) выпустили решения Business Intelligence. Данный класс решений позволяет пользователям работать с ними в режиме полного самообслуживания без помощи со стороны ИТ-специалистов.

Классическая многозвеньевая цепочка, необходимая для эффективного функционирования BI, трансформируется.. Теперь мяч находится на стороне бизнес-пользователей, в том числе уже упомянутых Data Scientist. И такое преобразование является новой эволюционной ступенью в развитии Business Intelligence.

Ключевая «фишка» Self-Service BI заключается в том, что пользователи самостоятельно могут не только создавать AdHoc-запросы, но и подключать к BI-системе разнообразные дополнительные источники информации (файлы Excel) для реализации необходимых отчетов, проводить What-If-анализ и т.д.

В России на инструменты Self-BI корпоративный сектор обратил свое внимание совсем недавно. В настоящий момент, в отечественном enterprise-сегменте идут несколько подобных проектов, в том числе в банке, входящем в топ-10. После апробирования технологии и публичного освещения результатов их проектов вполне можно ожидать волну пилотов Self-Service BI.

Сапожник с сапогами

Внедренное в нашей компании решение применяется для анализа проектной деятельности. Им пользуются менеджеры проектов, менеджеры по работе с клиентами, руководители подразделений и, конечно, сотрудники проектного офиса, непосредственно контролирующие исполнение проектов.

Система наглядно представляет многочисленные показатели выполнения проектов, благодаря ей мы своевременно вносим коррективы, принимаем оперативные управленческие решения. Так что мы сами активно используем те технологии, которые предлагаем заказчикам.

Наше BI-решение использует хранилище данных, которое агрегирует информацию из нескольких источников. Это ERP-система, в которой хранятся данные по контрактам, система учета проектов и плановых трудозатрат, система учета фактических трудозатрат и планы проектов. Данные в хранилище обновляются 2 раза в день, ведется история изменения показателей для отслеживания их динамики.

Функционально BI для проектной отчетности состоит из двух модулей: дашборды с преднастроенными отчетами с drill-down по показателям и, как называют их пользователи, гибкие отчеты (self-service компонента), позволяющие разносторонне анализировать данные и выполнять различные сверки.

Self-service BI активно используется сотрудниками проектного офиса и менеджерами проектов. В системе уже настроено порядка 20 шаблонов отчетов. Мы активно используем и функцию обогащения корпоративной модели данных из внешних источников (Excel): сотрудники проектного офиса догружают специальные метрики по категориям проектов и, используя показатели хранилища, рассчитывают KPI для менеджеров непосредственно в BI без участия ИТ.

Помимо отчетности, BI-решение в автоматическом режиме контролирует сроки выполнения планов проектов и при появлении отклонений или просрочек автоматически выполняет e-mail-рассылку менеджерам, а при необходимости — эскалацию на их руководителей.

Несмотря на то что мы уже реализовали в BI множество требований по ведению проектов, система продолжает активно развиваться. В планах — добавление новых контролирующих метрик, разработка новостного проектного информера и специального табло для топ-менеджмента.