Для каких задач компании используют Big Data?
Кто и как работает с большими данными?
Прогноз по развитию направления?
IDC по заказу компании Hitachi Vantara провела исследование, посвященное большим данным. Для 90% опрошенных анализ Big Data стал повседневной задачей. Около половины участников отметили, что без работы с большими данными невозможны создание бизнес-моделей и источников дохода, повышение эффективности бизнес-процессов.
Ниже мы рассмотрим результаты исследования.
Методология
Опрос проводился среди компаний различных отраслей, в том числе среди промышленных предприятий (29% от общего числа участников).
Среди опрошенных 36% составили представители ИТ-департаментов, 41% — эксперты по работе с данными, 23% — представители бизнес-подразделений, в том числе специалисты отдела рисков, финансового блока и маркетологи (рис. 1).
Источники Big Data. Решаемые задачи
Среди задач, решаемых с помощью технологий Big Data, лидирует анализ транзакционных данных из учетных систем — 61% опрошенных назвали его актуальным. При этом 46% указали, что планируют дополнять эти данные информацией, полученной из других источников, например анализировать соцсети (23%), видеопоток с камер или данные IoT-устройств (30%).
Более половины опрошенных (52%) планируют анализировать информацию о клиентах. Замыкает список задач аналитика логов из систем — ее отметил 21% респондентов (см. рис. 2).
За предыдущий год количество данных выросло, отметили 75% опрошенных. Это обусловлено появлением новых источников данных, содержащих неструктурированную информацию. Под ней 76% понимают различные формы документов стандартных форматов, 19% — данные из соцсетей, 5% — аудио- и видеофайлы.
Интеграция данных транзакционных систем и неструктурированного контента позволит получить более точную информацию о бизнес-процессах компании, ее клиентах, продуктах и услугах. Несмотря на это пока немногие игроки могут похвастаться реализацией таких проектов, ведь они требуют внушительных временных, финансовых и человеческих ресурсов. Тем не менее 30% опрошенных назвали эту задачу актуальной, 50% отметили, что ее решение необходимо для развития бизнеса, и только 6% считают ее малоинтересной.
Сегодня основной источник роста данных — сама компания, а не внешние системы и ресурсы. Это результат работы существующих ИС (ERP, CRM, SCM, HR, ECM и т.д.), взаимодействия сотрудников компании внутри и вовне (файлы, почтовая переписка, оцифрованные документы), а также сбора данных с различных датчиков и устройств.
Компании также собирают данные из соцсетей (48%), используют информацию сторонних организаций (33%) (см. рис. 3).
Как показал опрос, полученную информацию компании используют прежде всего для стратегического планирования (58%). На втором месте стоит подготовка отчетности (50%), на третьем — анализ поведения клиентов, управление финансовыми и операционными рисками (50%). Чуть меньше половины опрошенных (44%) указали, что используют данные для оптимизации бизнес-процессов, 43% — для прогнозирования технического обслуживания и ремонтов (см. рис. 4).
Рост данных будет только ускоряться за счет оцифровки бизнес-процессов, продуктов и услуг, взаимодействия с клиентами и поставщиками. Уже сейчас перед 31% опрошенных бизнес несколько раз в месяц ставит задачи, требующие подключения новых источников информации, в 27% случаев — минимум раз в месяц, и только перед 5% респондентов руководство не ставит задач, связанных с подключением новых источников (см. рис. 5).
Кадры решают все
Исследование показало, что решение о необходимости анализа больших данных в 70% случаев находится в зоне ответственности ИТ- (CIO) или технического директора (CTO). Только в 30% компаний есть выделенные должности Chief Data Officer или Chief Digital Officer.
Выбирая соответствующий продукт, эксперты прежде всего обращают внимание на безопасность (53%). 39% респондентов ценят способность решения работать с разрозненными системами и данными различного формата (см. рис. 6).
Вовлеченность большого числа сотрудников из бизнес-подразделений в работу с данными приводит к демократизации доступа к ним. Специалисты могут самостоятельно выбирать анализируемые источники и работать с результатами.
Это влияет на требования, предъявляемые к решениям по работе с большими данными. Так, доступная стоимость системы является ключевым фактором для 65% компаний, а простота использования важна для 60% (см. рис. 7).
Для решения аналитических задач сотрудникам необходима единая точка доступа к информации. Поэтому респонденты подчеркнули важность интеграции данных из различных корпоративных систем (61%) и быстрого поиска информации из разрозненных хранилищ (66%).
Не менее важны развертывание системы без привлечения внешних консультантов и возможность подключения новых источников данных.
Простоту внедрения отметили 50% опрошенных, при этом только 7% могут подключать новые источники без привлечения ИТ-специалистов, а вот 91% потребуется их помощь (см. рис. 8).
Решения с открытым кодом
Выбирая решения по анализу больших данных, ИТ-специалисты нередко предпочитают продукты с открытым кодом (57%). В том числе 38% респондентов опираются на технологии Hadoop.
Свободное ПО гибко подстраивается под задачи — это привлекает 54% опрошенных, а надежность и безопасность функционирования системы отмечают 53%. Отсутствие лицензионных платежей уже не является основным преимуществом — его отметили только 35%.
К важным факторам участники опроса отнесли популярность ПО с открытым кодом и растущее сообщество специалистов, поддерживающих эти решения (см. рис. 9).
Прогноз по развитию аналитики больших данных
Почти все специалисты, принявшие участие в опросе, сошлись во мнении, что рост данных продолжится (78%).
Основные причины для инвестирования в развитие аналитики больших данных — оптимизация процессов (61%), углубленный анализ бизнес-процессов (45%), улучшение качества обслуживания клиентов (46%), сокращение издержек производства и сбыта (44%).
В ближайшие несколько лет аналитика больших данных будет приоритетным направлением. Более половины опрошенных (55%) указали, что имеют выделенный бюджет на внедрение подобных решений. При этом компании, уже внедрившие их, планируют расширять проекты и наращивать бюджеты.
Пока за внедрения решений по работе с данными чаще всего отвечают ИТ-директора. Со временем эта функция перейдет в зону ответственности Chief Data Officer — по мере популяризации этой должности в компаниях.
Грамотная аналитика Big Data может стать конкурентным преимуществом. Но для этого ИТ-сотрудникам нужен инструментарий, позволяющий быстро интегрировать новые источники данных в информационный ландшафт и дополнять уже существующие транзакционные данные новыми.
Дмитрий Кулагин
Директор Центра управления данными компании «Инфосистемы Джет»
Экспертный комментарий
В целом я согласен с данными исследования, однако мы все чаще сталкиваемся с тем, что за направление Big Data на стороне заказчика отвечают директора по данным и цифровизации, действующие параллельно с ИТ-директорами.
Задачи, решаемые с использованием больших данных и платформ по их обработке, существенно отличаются в зависимости от отрасли. Так, в ритейле и финансовом секторе Big Data применяют для повышения лояльности клиентов (целевые маркетинговые кампании, индивидуальные предложения (Next Best Offer) и т.д.).
В промышленности свои требования диктует Индустрия 4.0: генерируются огромные объемы информации. На этих данных строятся модели по оптимизации процессов. В прошлом году мы реализовали более 10 таких проектов.
В ближайшие 2–3 года направление Big Data продолжит развиваться. Появятся новые форматы хранения, позволяющие еще эффективнее сжимать информацию. Мы решим вопросы по обработке больших данных в виртуальной среде. Надеюсь, будут внедрены методы управления Big Data и реализована концепция «данные как сервис». Она позволит компаниям свободно обмениваться аналитическими данными друг с другом по единым протоколам. Это приведет к дальнейшему росту объемов обрабатываемой информации.