Анализ Big Data в ML-проектах

Традиционные системы хранения и анализа данных — монолитные корпоративные СУБД — не могут с этим справиться. Помещать в них все логи и разрабатывать множество схем данных долго и дорого. А если вложение не окупится? Как быть, если потенциальный прирост данных не был оценен правильно? Их неожиданно стало гораздо больше, или увеличение, напротив, оказалось не столь значительным. Как не переплатить? Другими словами, использование традиционных СУБД из-за высокой стоимости и продолжительности проекта может свести на нет экономическую эффективность цифровизации.

Это «поле для игры» в большие данные и машинное обучение. Внедрение подобных технологий способно повысить производительность труда в компаниях на 40%. В ближайшем будущем их использование будет определять международную конкурентоспособность и отдельных компаний, и целых стран.

Например, мы в проектах используем фреймворк Hadoop, файловую систему HDFS, СУБД Apache Hive. Этот инструментарий обеспечивает хранение, обработку и анализ сотен терабайт данных компаний — наших заказчиков из различных отраслей: металлургии, телекоммуникационного сектора, финансов и даже образования.

Важно, что затраты на создание подобных систем невелики. Во-первых, ПО для обработки Big Data может работать на типовых и, как следствие, недорогих серверах. Наша команда за последние пару лет строила кластеры с двумя, пятью и десятками рабочих узлов, на всех них стояло одинаковое ПО. В основе рабочего узла лежит типовой сервер, может быть, даже предыдущего поколения или совсем утративший актуальность. Но вместе они обеспечивают надежное хранение и анализ за требуемое время, что может быть недоступно самым современным и дорогим программно-аппаратным комплексам.

Во-вторых, все ключевые продукты имеют открытые исходные коды и возможность собственной сборки, свободной от дорогого лицензирования. Это исключает монополизирование технологий, что соответствует требованиям российского законодательства и позволяет использовать их в государственном секторе.

Конечно, ряд технологий больших данных и машинного обучения можно «просто» скачать, собрать и установить. Но мы не рискуем инфраструктурой заказчиков и работаем с решениями корпоративного уровня от наших партнеров — Cloudera, Huawei и российской Arenadata.

Некоторые наиболее интересные проекты мы опишем ниже.

В 2017–2018 гг. на основе платформы Cloudera мы разработали решения, прогнозирующие выкуп товаров из корзин пользователей и выявляющие значимые для покупателей характеристики продукции, для одного из российских ритейлеров бытовой техники и электроники. Создание подобных систем требует консолидации множества источников информации. По сути, это разнородные и достаточно большие данные (в том числе пользовательские сессии, отзывы и комментарии). Мы разработали ЕLT-системы (Extract, Load, Transform) для множества неструктурированных источников. Полученные таким образом данные стали основой для data lake.

В 2019 г. мы разработали для Группы НЛМК систему анализа данных и моделирования (САДиМ). Это платформа data lake. Она позволяет сохранять и предоставлять информацию о производственных и технологических процессах ML-моделям. Также она помогает разрабатывать другие цифровые сервисы, предоставляет инструментарий для вычислений и анализа.

В цехах предприятия десятки систем накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены тысячи датчиков. Они непрерывно собирают и передают данные. Подразделение Data Science НЛМК хотело получить инструмент для работы с данными, которые используются в ML-моделях.

Мы вместе с командой НЛМК создали data lake (озеро данных) в 300 ТБ на базе Arenadata Hadoop. Также использовали сервисы Apache Kafka, Apache NiFi, Apache Hive.

В data lake загружаются данные из более чем 70 источников (датчики, MES и АСУ ТП). Заказчик также загрузил в него исторические данные за несколько лет и разработал карты данных технологических и производственных процессов отдельных цехов.

Отметим, что тяжелая промышленность, в том числе металлургия, — основной потребитель решений, подобных САДиМ. Дело в том, что металлургия подразумевает многозвеньевую производственную цепочку. На каждом участке генерируется добавленная стоимость. Если вы оптимизируете по 3–5% в каждом звене, на выходе будет существенная выгода.

Во всех подобных проектах мы сталкиваемся с огромными объемами циркулирующей в производстве информации. Она не используется для оптимизации процессов именно из-за отсутствия инфраструктуры для хранения и обработки данных. Предыдущий опыт часто вводит заказчиков в заблуждение в отношении того, что корпоративная платформа хранения Big Data — это дорого и трудоемко. Но мы предлагаем уже готовые архитектурные решения. Зачастую они являются основой для работы ML-систем. Так, разработанные нами для промышленных предприятий ML-модели предсказывают брак и идентифицируют его причины, оптимизируют расходы производства, предсказывают выход из строя оборудования или его узлов.

ML-платформа от Cloudera

Сегодня компании хотят не просто внедрить платформу хранения данных. Им нужно решение под ключ — стек технологий для создания и внедрения ML-систем, витрин данных и анализа Big Data. Мы вместе с Cloudera предлагаем подобную ML-платформу, которая реализует концепцию озера данных, — Cloudera Data Platform (CDP). Ее архитектура (см. рисунок) включает инструменты машинного обучения и глубокого анализа данных. Также есть виртуализация на базе Kubernetes и Docker, реализованы непрерывные интеграция и доставка (CI/CD).

Изолированные контейнеры с выделенными ресурсами кластера создаются прямо в веб-браузере. Это позволяет сэкономить на DevOps и ускоряет разработку. Благодаря виртуализации платформу одновременно могут использовать несколько больших команд дата-саентистов. При этом они не помешают друг другу и будут иметь доступ ко всем необходимым данным.

«Из коробки» доступны знакомые всем дата-саентистам инструменты Spark, Scala, R, Python и Jupiter, SQL.

Как выглядит процесс анализа данных и создания цифрового продукта: используя средства трансформации и загрузки (ETL) из инфраструктуры Big Data (NiFi, Pig или Spark), дата-инженеры готовят витрину данных. Это датасет, который включает данные из различных источников в денормализованном виде. Он облегчает и ускоряет извлечение полезной информации и является основой для работы ML-алгоритмов.

Быстрый старт проекту обеспечивают «готовые рецепты», включенные в платформу. Фреймворк Spark MLlib, библиотеки Scikit-learn, NLTK, Keras и др. содержат алгоритмы, которые позволяют быстро построить вполне рабочую рекомендательную систему или выявить различного рода аномалии. В результате эффект от внедрения Big Data и ML можно получить уже на начальном этапе проекта.

А дальше все, что вам нужно, — добавлять рабочие узлы и искать творческих и упрямых инженеров и исследователей данных.