Комплексная программа повышения доступности ИТ-сервисов «ЛУКОЙЛ-Интер-Кард»

К середине 2000-х стало очевидно, что система устарела и морально, и физически. Почти полностью исчерпали себя резервы по масштабируемости, а ЦОД уже не позволял обеспечивать необходимый уровень доступности. Большая часть профилактических работ по техническому обслуживанию требовала проведения ручных операций и прекращения работы сервисов. Соответственно, возникали перерывы в обслуживании клиентов, что было неприемлемо для компании. Новое время с его сверхскоростями во всех сферах жизни диктовало бизнесу новые условия работы, одно из которых – передача данных в режиме реального времени.

В итоге руководство «ЛИКАРД» приняло решение о запуске масштабной комплексной программы модернизации ИТ и повышения доступности ИТ-сервисов на АЗС. По словам заместителя генерального директора по операционной деятельности компании «ЛИКАРД» Николая Яшина, «стояла задача от систем, собранных “на коленке”, перейти к промышленному решению и промышленным стандартам».

Реализация программы была доверена компании «Инфосистемы Джет», которая ранее успешно выполнила ряд инфраструктурных проектов для различных подразделений «ЛУКОЙЛа». «Для нас был важен выбор подрядчика, у которого есть компетенция по всем необходимым нам системам. В России таких компаний не так уж много. В лице “Инфосистемы Джет” мы увидели партнера, на которого можем положиться», – отметил Михаил Бриф, руководитель департамента технологического развития «ЛИКАРД».

Решение

В «ЛИКАРД» совместно со специалистами «Инфосистемы Джет» был проведен аудит ИТ-решений и разработана комплексная программа повышения доступности ИТ-сервисов, включающая ряд последовательных проектов: построение отказоустойчивой ИТ-инфраструктуры, миграцию серверного оборудования и процессинговых систем на новую площадку в аутсорсинговый ЦОД, создание системы мониторинга терминального и сетевого оборудования на АЗС.

Новая ИТ-инфраструктура для «ЛИКАРД» – революция без потерь

Вячеслав Медведев, системный архитектор, главный конструктор программы проектов компании «Инфосистемы Джет»: «ИТ-инфраструктура “ЛИКАРД” несла на себе весьма характерный отпечаток историчности и эволюционности развития. Было очевидно, что заказчику требовалась “взрывная” модернизация, революция. Но при этом заменить существующие решения на новые мы должны были без перерыва в обслуживании клиентов, т. е. не останавливая работу старых систем».

Целевая архитектура новой системы была разработана совместно со специалистами «ЛУКОЙЛ-Информ» и согласована в ОАО «ЛУКОЙЛ». Решая поставленную задачу, проектная команда «Инфосистемы Джет» развернула оборудование в коммерческом ЦОД, отвечающем требованиям бесперебойного электропитания, кондиционирования и пожарной безопасности. Для наиболее критичных систем на новой площадке были созданы виртуальная инфраструктура с единым центром управления, централизованная система резервного копирования, отказоустойчивая система хранения данных, внедрены автоматизированные решения по обеспечению доступности ИТ-систем. Также для нового ЦОД была спроектирована и внедрена сеть передачи данных.

В проекте использовались решения компаний IBM, Brocade и VMware.

Учесть все: миграция ИТ-систем в сжатые сроки

Важнейшей и одной из самых непростых задач стала физическая миграция из старого ЦОД «ЛИКАРД» оборудования, специализированного ПО, баз данных и двух процессинговых систем – offline- и критически важной online-системы.

Необходимо было перевезти более 50 серверов, причем для наиболее критичных систем – без остановки их работы. «Операция с помощью специалистов “Инфосистемы Джет” была тщательно спланирована: по минутам через контрольные точки отслеживался график следования к новому ЦОД автомашин с серверным оборудованием, жестко контролировались время и порядок запуска в эксплуатацию систем, – вспоминает Владимир Родневский, руководитель департамента ИТ-инфраструктуры компании “ЛИКАРД”. – Жаркая погода, установившаяся в то время в московском регионе, усложнила задачу: некоторые из проработавших многие годы серверов не выдержали переезда, поэтому часть данных пришлось восстанавливать из резервных копий с использованием зарезервированных для этого мощностей».

Также для переноса в новый ЦОД процессинговой online-системы на старой площадке было установлено ПО репликации виртуальных машин и организован выделенный канал связи между двумя дата-центрами, что позволило автоматизировать перемещение части сервисов. Миграция была выполнена с полным соблюдением запланированных требований по прерыванию работы систем – обслуживание клиентов «ЛИКАРД» не останавливалось ни на минуту.

Надежная поддержка нового ЦОД

Оборудование ЦОД было передано компании «Инфосистемы Джет» на аутсорсинг. По словам Владимира Родневского, «перевод части функций на внешнее обслуживание был обусловлен планируемым ростом компании и необходимостью в специалистах высокой квалификации по различным направлениям ИТ. Аутсорсинг позволил избежать существенного увеличения штата собственных сотрудников, связанных с техническим обслуживанием систем, а также снизить дополнительные административные расходы».

К централизованной системе мониторинга Сервисного центра компании «Инфосистемы Джет» были подключены все компоненты нового ИТ-комплекса, включая процессинговые системы. В настоящее время специалисты интегратора осуществляют их мониторинг и администрирование в режиме 24х7х365. Для наиболее критичных систем время доступности составляет 99,93%.

Владислав Ануфриев, директор по развитию аутсорсинга компании «Инфосистемы Джет», отмечает: «“ЛИКАРД” получил единого технологического партнера, который полностью отвечает за ИТ-инфраструктуру: от железа до СУБД включительно. Также мы анализируем состояние системы с точки зрения ее загруженности и консультируем заказчика в части управления мощностями. Специалисты “ЛИКАРД” полностью контролируют функционирование ИТ-инфраструктуры, а также выполнение нами параметров SLA. Мы ежемесячно предоставляем заказчику отчеты по инцидентам, проблемам и др. Кроме того, для объективной оценки нашей работы по инициативе “ЛИКАРД” могут проводиться независимые аудиты системы».

Обслуживание клиентов под контролем: мониторинг терминальной и сетевой инфраструктуры

Завершающим шагом стало построение единой системы контроля функционирования активного сетевого и терминального оборудования на АЗС. Всего в контур мониторинга включено более 3000 объектов.

Интегрированный комплекс на базе программных продуктов компании SolarWinds, состоит из двух крупных блоков. Первый – модуль оперативного мониторинга, который позволяет в режиме реального времени отслеживать параметры доступности и производительности оборудования, осуществлять сбор и приоритезацию событий, а также определять первопричины сбоя. Сотрудники «ЛУКОЙЛ-Интер-Кард» своевременно оповещаются о выявленных инцидентах по электронной почте и SMS. Как только обнаруживается недоступность какого-либо элемента (часть каналов связи и каналообразующего оборудования находится в ведении разных партнеров «ЛИКАРД»), в системе Service Desk автоматически создается инцидент, который переправляется соответствующей подрядной организации. Таким образом, служба эксплуатации может устранять сбои еще до того, как они станут реальной проблемой для пользователей.

Второй блок системы мониторинга – модуль аналитической отчетности – позволяет по собранным историческим данным рассчитывать ключевые показатели работоспособности процессинговой системы и строить оперативные отчеты по ним в различных разрезах. «Например, часто в регионах в качестве последней мили используется сотовая связь, – рассказывает Станислав Кузубов, заместитель директора Департамента систем управления компании “Инфосистемы Джет”. – Благодаря модулю аналитической отчетности можно рассчитать коэффициенты доступности этой последней мили от разных операторов и обоснованно выбрать того, который предоставляет лучший сервис».

Данный проект помог решить сразу несколько ключевых задач: обеспечить унификацию средств мониторинга и масштабируемость системы, расширить ее функциональность, автоматизировать ручные операции. Простои оборудования процессинговой сети сведены к минимуму, так как сократилось время, необходимое не только для обнаружения сбоя, но и для диагностики. У специалистов «ЛИКАРД» есть возможность самостоятельно настраивать и добавлять объекты мониторинга, анализировать уровень работоспособности сети. Кроме того, система дает возможность контролировать работу как собственного персонала, так и аутсорсеров.

Результат

В компании «ЛУКОЙЛ-Интер-Кард» в минимальные сроки была создана управляемая и гибкая ИТ-инфраструктура, которая обеспечивает своевременную реакцию на меняющиеся требования бизнеса. Внедренные технологии снижают плановые и внеплановые простои, грамотно организованные сервис и администрирование уменьшают затраты на эксплуатацию системы «ЛИКАРД».

«Благодаря реализации проекта у нас существенно возросла доступность ИТ-сервисов, значительно расширились возможности контроля систем, стало проще планировать дальнейшее развитие ИТ-ландшафта и внедрение новых прикладных систем, — подвел итоги Николай Яшин, заместитель генерального директора по операционной деятельности компании “ЛУКОЙЛ-Интер-Кард”. — Это позволило нам обеспечить высокую доступность сервисов и услуг для наших клиентов. И теперь они, используя наши топливные карты, карты лояльности и другие карточные продукты, будут получать не только определенные финансовые преимущества, но и испытывать положительные эмоции».

«Программа повышения доступности ИТ-сервисов позволила нам сохранить темпы роста и внедрить новые технологии в обслуживании карт лояльности, – отмечает Владимир Родневский. – Сейчас мы активно переводим клиентов со старой процессинговой системы на новую».

В ближайшие планы компании входят развитие аналитической системы диагностики аппаратных средств, расширение функциональности системы мониторинга – она должна будет охватить все ИТ-сервисы компании (как внутренние, так и внешние). Также должна быть сформирована база данных конфигурационных единиц CMDB (Configuration Management Database), и система мониторинга будет поставлять информацию, необходимую для учета оборудования и управления его жизненным циклом.