Главная>Новости>Новости «Инфосистемы Джет»>«Инфосистемы Джет» построила Data Lake для НЛМК

04.10.2019

Посетителей: 108

Просмотров: 96

Время просмотра: 2.3

В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML). Для решения задачи Центр программных решений ИТ-компании «Инфосистемы Джет» совместно с командой НЛМК создали Data Lake емкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.

 

В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов. В рамках проекта команда «Инфосистемы Джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайнтистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.

 

Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.

Уведомления об обновлении новостей – в вашей почте

«Супераппом НЛМК ежемесячно пользуются 30 000 сотрудников»

На кого ориентированы мобильные приложения НЛМК? Какие технологии лежат в основе этих решений? Почему НЛМК разрабатывает собственную платформу для создания мобильных приложений?

Будущее уже здесь: как поставить искусственный интеллект на службу маркетологу

Как машинное обучение помогает выполнить KPI маркетолога? Какие преимущества поведенческого анализа может использовать бизнес?

Почему в управлении клиентскими данными главное слово — «управление»

Из каких этапов состоит процесс управления клиентскими данными? Какие классы систем представлены в этой области? Как подготовиться к внедрению процесса?

Другие новости из этой рубрики

30
03

«Инфосистемы Джет» протестировала российский продукт SafeMobile в собственной лаборатории

В лаборатории компании «Инфосистемы Джет» на базе платформы киберучений Jet CyberCamp смоделированы риски, связанные с доступом к корпоративной информации и ее хранением на мобильных устройствах. В качестве варианта решения для защиты доступа к корпоративным данным специалисты ИТ-компании протестировали российский продукт UEM SafeMobile.

31
03

«Инфосистемы Джет» разработала стратегию развития ИБ для ИНК

«Инфосистемы Джет» провела аудит и определила направления развития информационной безопасности для Иркутской нефтяной компании (ИНК). В результате выполненных работ в компании разработана стратегия развития системы обеспечения ИБ на три года.

03
04

«Инфосистемы Джет» модернизировала центр управления сетями энергетической компании в вологодской области

Специалисты «Инфосистемы Джет» оснастили диспетчерскую центра управления сетями Вологодской областной энергетической компании аудиовизуальным комплексом с видеостеной для работы диспетчеров. Эти решения позволили повысить качество коммуникации сотрудников и ускорить реакцию инженеров на сбои в электроснабжении региона.

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня