38 попугаев, или Не все метрики одинаково полезны

Для начала отметим, что практикуемые в компании методы управления ИБ значительно зависят от сложившегося в ней корпоративного управления. Если принятие руководством управленческих решений основывается на качественном внутреннем анализе, то и спрос на Business Intelligence (BI) будет высок. И наоборот, если для оценки ситуации используется ограниченное число высокоуровневых бизнес-показателей, спрос на анализ внутренних процессов будет ограничен. Каждый вариант напрямую влияет на цели и задачи программы измерения состояния ИБ. Главные вопросы, на которые компании необходимо ответить, чтобы эффективно оценивать свою ИБ, – для кого создаются метрики и какую информацию они должны нести.

Что по этому поводу советуют эксперты? Для ответа на этот вопрос обратимся к отраслевым стандартам. Пионер стандартизации в области информационной безопасности – NIST – выделяет 4 типа метрик: достижения целей, реализации (выполнения) процесса, результативности (эффективности) выполнения процесса и влияния на бизнес.

Рис. 1. Уровни зрелости метрик ИБ (по материалам NIST)

Руководящий документ NIST SP 800-55 Rev.1 был разработан почти 10 лет назад и до сих пор не потерял своей актуальности. В нем хорошо отражена идея индикаторов: результативности (KPI), достижения цели (KGI) и риска (KRI).

Казалось бы, задача понятна, подходы хорошо известны, однако практика показывает, что попытки самостоятельного внедрения системы метрик зачастую заканчиваются неудачей. Это происходит потому, что с самого начала не было соблюдено несколько важных условий. Дело в том, что каждый тип метрик предназначен для определенного уровня зрелости (развития) оцениваемых процессов. Поэтому совершенно бессмысленно конструировать, например, метрики эффективности, если оцениваемые процессы едва удалось документировать.

Крупный российский оператор связи разработал и внедрил систему метрик информационной безопасности в поддержку недавно утвержденной стратегии в сфере обеспечения ИБ. Разработанные метрики охватывали не только уже существующие процессы обеспечения ИБ, но и те, которые еще предстояло внедрить. Для удобства подготовки отчетности для руководства, курирующего блок информационной безопасности, расчет метрик был автоматизирован. Почти сразу же возникла проблема, связанная с некорректностью расчета метрик, поскольку они описывали состояние пока еще не реализованных процессов обеспечения ИБ. Так как руководство интересовали обобщенные показатели состояния ИБ, общая картина получилась «смазанной» в худшую сторону, несмотря на то, что текущее состояние ИБ было достаточно высоким.

Начать с самого простого

Метрики достижения цели позволяют ответить на вопрос о том, были ли решены поставленные ИБ-задачи. Общие цели в области ИБ определены практически в каждой компании. Частные политики и процедуры конкретизируют и детализируют их в разрезе отдельных процессов. Планы мероприятий, в свою очередь, определяют конкретные задачи, подлежащие выполнению.

Метрики достижения цели используются в первую очередь для оценки наличия результатов, поэтому полезны для оперативного управления. Важно отметить, что этот тип метрик ничего не говорит о том, достигается ли желаемый результат на регулярной основе. Для этих целей используется метрика реализации процесса.

Следующий шаг

Метрики реализации являются следующей ступенькой системы измерения и служат для определения того, в какой мере внедрен конкретный процесс. Они используются в том случае, когда деятельность уже формализована в виде процесса, но он еще не внедрен полностью. К примеру, управление уязвимостями требует наличия процесса их выявления. В том случае, если он выполняется только для 70 систем из 100, можно говорить о 70% его реализации.

Этот тип метрики является относительным и требует наличия установленных пороговых значений, с которыми будет сравниваться измеренный результат. Определение пороговых значений – отдельная задача, порой еще более сложная, чем основная, поскольку 100%-ный результат любой ценой далеко не всегда является целесообразным. Отметим, что метрики реализации предназначены в основном для руководства ИБ-подразделения, поскольку позволяют отслеживать прогресс внедрения процессов обеспечения ИБ.

Входим во вкус

Метрики результативности выполнения процесса, стоящие еще на одну ступеньку выше в иерархии метрик, сфокусированы на конкретных показателях деятельности и отвечают на вопрос, насколько результативно работает тот или иной процесс или защитная мера, будучи внедренными. К примеру, одна из целей процесса повышения осведомленности пользователей в области ИБ состоит в минимизации числа инцидентов, связанных с использованием методов социальной инженерии. Если в результате обучения пользователей в 8 случаях из 10 они не поддаются на провокационные письма и звонки злоумышленников, можно сказать, что показатель результативности процесса (для этой цели) составляет 80%. Данный тип метрик также является относительным и требует определения пороговых значений, с которыми будет сравниваться результат.

Для того чтобы учесть фактор стоимости ресурсов, которые затрачиваются для достижения желаемого результата, используются метрики эффективности. Зачастую они являются производными от метрик результативности. Метрики эффективности могут высчитываться по формуле результативность/стоимость, где в качестве стоимости могут выступать любые используемые ресурсы: деньги, персонал, время, или их комбинация. Если потребителями метрик результативности являются руководители подразделения ИБ, то метрики эффективности могут быть интересны руководству компании, курирующему ИБ-направление.

Постичь дзен

Наконец, последний тип метрик – метрики влияния на бизнес. Он является самым сложным с точки зрения наполнения. Эти метрики отвечают на вопрос, в какой степени результаты конкретных мер обеспечения ИБ влияют на показатели бизнес-деятельности.

Бизнес, в конечном счете, всегда интересуют доходы, соотнесенные с рисками, поэтому первое, что приходит в голову в качестве критерия измерения, – это риск-ориентированные метрики, поскольку это общая цель для всех процессов обеспечения ИБ. Отношение показателя результативности (эффективности) конкретной меры ИБ к величине ожидаемых потерь (ALE) по защищаемому активу или процессу – неплохая бизнес-метрика, отражающая меру адекватности защитной меры существующему риску. Однако зачастую возникает проблема, связанная с недостаточно развитым процессом анализа рисков в компании. Поэтому этот подход не универсален.

Другой путь – выбрать несколько бизнес-целей, очевидным образом зависящих от успехов (или неудач) в области ИБ, и создать метрики на их основе. В результате масштабного исследования, проведенного Ponemon Institute в 2013 году, выяснилось, что более половины организаций вообще не применяют бизнес-ориентированных метрик ИБ, поскольку не в состоянии оценить фактическое влияние ИБ на бизнес.

Рис. 2. Основные причины отсутствия бизнес-ориентированных метрик ИБ в западных компаниях (по данным Ponemon Institute)

Для решения этой сложной задачи можно воспользоваться концепцией системы сбалансированных показателей (Balanced Scorecards, BSC). На рис. 3 приведен пример бизнес-ориентированных метрик ИБ, вписанных в систему ценностных перспектив BSC.

Рис. 3. Пример бизнес-ориентированных метрик ИБ

Разминка для ума

Рассмотрим использование системы метрик измерения эффективности ИБ на простом примере. Предположим, мы задались целью приобрести автомобиль. Попробуем сконструировать набор метрик, который поможет нам измерить успех этого мероприятия на всех его этапах.

Прежде чем стать обладателем автомобиля, нам необходимо выбрать желаемую комплектацию, сравнить цены в автосалонах, решить вопрос с финансированием покупки и, собственно, совершить приобретение. Метрика достижения цели будет определяться степенью выполнения всех перечисленных задач в процентном отношении. Дополнительно можно учесть вес/важность каждой задачи.

Метрик реализации может быть несколько – по одной на задачу (иногда больше). К примеру, если мы решим задействовать средства на покупку из нескольких источников, можно использовать метрику, которая будет характеризовать объем уже собранных средств в сравнении с целевой суммой. Аналогично можно оценить число автосалонов, которые мы посетили, в сравнении с планируемым.

Предположим, мы успешно справились со всеми задачами, но пока этим занимались, самые интересные комплектации во всех автосалонах раскупили, и нам пришлось купить автомобиль с более скромными характеристиками. Метрика результативности нашей покупки характеризует то, в какой степени наш автомобиль соответствует тому, что мы хотели получить, чего мы ожидали. Можно привести множество метрик результативности: оценку разгонной динамики в сравнении с эталоном (например, заявленным изготовителем), шумоизоляцию, экономичность и т.д.

Метрика эффективности покупки в данной ситуации будет определять, насколько привлекательную цену мы заплатили за эту комплектацию, не переплатили ли или не слишком ли залезли в долги.

Наконец, эквивалентом бизнес-метрик будут являться метрики влияния совершенной покупки на нашу жизнь. Насколько продуктивнее мы стали использовать свое время, передвигаясь на автомобиле? Как изменились наши расходы в связи с приобретением? Какие новые возможности у нас появились благодаря наличию автомобиля? Список можно продолжать.

В качестве заключения

Отметим, что ключ к получению действительно эффективных метрик – их регулярное тестирование как на этапе конструирования, так и при последующем использовании. Данные, на основании которых должна рассчитываться метрика, могут попросту отсутствовать, быть некорректными или неактуальными. В этой ситуации метрика будет приносить больше вреда, чем пользы. Необходимо всегда отталкиваться от имеющегося фактологического материала, учитывать цели и задачи создаваемых метрик, и по возможности автоматизировать весь процесс.