Владимир, предлагаем вспомнить самое начало проекта – как разрабатывалась его концепция, какая команда была на старте? Другими словами, с чего вы начинали этот путь?
Проект по созданию платежной системы активизировался в ответ на санкции весной 2014 года, когда международные платежные системы отключили несколько российских банков. В мае 2014 года Президент России подписал закон о создании НСПК, началось формирование команды. Я хорошо помню первый официальный рабочий день нашей компании – 8 сентября 2014 года. На тот момент нас было меньше 10 человек, включая Генерального директора. До 31 марта 2015-го, то есть за 7 месяцев нам нужно было создать ИТ-инфраструктуру в масштабах всей страны для обработки внутрироссийских операций по картам международных платежных систем – технологическую платформу под операционный процессинговый и клиринговый центр (ОПКЦ) НСПК, сам ОПКЦ, подключить банки.
Перед вами стояла задача в предельно сжатые сроки развернуть с нуля ИТ-инфраструктуру под бизнес-критичные решения. Как вы подходили к выбору партнера-исполнителя для проекта?
Мы оценивали потенциальных партнеров исходя из портфолио проектов. Одним из факторов выбора компании «Инфосистемы Джет» стал реализованный ею проект для одного из российских банков, отличавшийся территориальным размахом и динамичным темпом работ. ИТ-инфраструктура для банка, включая техническое обеспечение работы офисов по всей стране, была создана с нуля. Наличие подобного проекта подразумевало, что компания сможет тиражировать наработанный опыт у другого заказчика, тем более что в сетевой части в нашем случае были меньшие масштабы.
Первая, установочная встреча с партнером прошла уже в сентябре. И на протяжении последующих месяцев мы в тесном тандеме реализовывали проект. Отдельно отмечу вклад в проделанную колоссальную работу Ильи Воронина – главного архитектора проекта от «Инфосистемы Джет».
Как вы выбирали поставщика решений для ИТ-инфраструктуры, почему предпочтение было отдано именно ему?
На выбор повлияли несколько факторов. Во-первых, нам необходимо было реализовать уникальный проект, аналога которому нет среди готовых решений. Поэтому нам была нужна профессиональная команда, способная разработать индивидуальный проект с учетом всех особенностей и потребностей национальной системы платежных карт. Во-вторых – крайне сжатые сроки проекта. Если бы мы выбрали нескольких производителей, риск не уложиться в план возрос бы в несколько раз. Управлять несколькими командами всегда сложнее, чем одной, поэтому нам нужна была единая точка входа в части технических решений. И последнее обстоятельство связано с вектором импортозамещения.
Совокупность этих условий стала причиной выбора китайской компании Huawei. В линейке производителя присутствовал весь набор необходимого нам оборудования: серверы, дисковые массивы, коммутаторы, маршрутизаторы.
Какие характеристики будущей ИТ-инфраструктуры были для вас определяющими при ее проектировании?
Ключевым фактором, естественно, была непрерывность работы. Нам нужно было создать катастрофоустойчивую систему обработки транзакций, не имеющую единой точки отказа (доступность 99,999%, не более 5 минут простоя в год). Стандартная парадигма построения Mission Critical систем в корпоративном сегменте нам не подходила, поскольку не предусматривала столь жесткие условия. Эксперты компании «Инфосистемы Джет» проектировали ИТ-инфраструктуру НСПК по тем же принципам, на которые опираются Google, Facebook и другие мировые ИТ-гиганты. Мы закладывали надежные, простые и взаимозаменяемые решения, поэтому у нас отсутствует единая точка отказа. Отмечу также, что использование стандартных компонентов и технологий исключает для нас жесткую привязку к поставщику.
Обозначьте, пожалуйста, основные этапы проекта. Что было ключевой составляющей каждого из них – на чем вы фокусировались в первую очередь?
В сентябре-октябре мы совместно с «Инфосистемы Джет» выбирали технологического партнера и решения, разрабатывали архитектуру НСПК, моделировали возможные конфигурации ИТ-инфраструктуры, проводили тестирование выбранных технологий в R&D центре Huawei в Шеньжене и в Москве, после чего формировали окончательный пакет решений. Причем компания Huawei предложила нам серверы на процессорах Intel Xeon V3, которые на тот момент еще не были представлены на рынке. Специально под нас серверы нового поколения были изготовлены на заводе Huawei раньше запланированного срока. Этот беспрецедентный факт свершился благодаря трехстороннему контролю проекта на самом высоком уровне – со стороны руководства НСПК, «Инфосистемы Джет» и Huawei. В ноябре – за столь короткое время – состоялась поставка, в декабре-январе – монтаж ИТ- оборудования: около 200 единиц, по 100 на каждую площадку.
Параллельно – с конца сентября – шло строительство двух наших дата-центров – здесь нам помогли коллеги из Центрального банка. В обычных условиях строительство ЦОД занимает не менее 9 месяцев, мы создали дата-центры за 2 месяца. Первый ЦОД был запущен в середине декабря, второй – в январе. Была проделана огромная работа: строительство ЦОД шло в 3 смены 24 часа в сутки.
17 января к платежной системе были подключены первые 7 банков-участников: обработка внутрироссийских операций по картам MasterCard, выпущенным этими банками, начала осуществляться в НСПК.
То есть первых партнеров вы подключили спустя 5 месяцев после старта проекта.
Да, и коллеги из «Инфосистемы Джет» продолжили подключать участников НСПК по всей стране. До конца марта 2015 года мы построили в общей сложности 244 канала связи, охватили 16 городов и 77 банков-участников, причем поставкой оборудования на места и его инсталляцией занимались эксперты системного интегратора. К апрелю MasterCard перевела процессинг по всем российским операциям в НСПК, в мае это сделала Visa.
Следующим стратегическим шагом стало создание национальной платежной карты «Мир» – 15 декабря первые карты выпустили 7 банков-участников.
На данный момент НСПК обрабатывает трафик российского «карточного» бизнеса по международным платежным системам, речь идет о 13–15 млн транзакций в сутки.
Мы говорим о колоссальном объеме проделанной работы. Она, по определению, не могла пройти без сложностей. Какие трудности встретились вам на пути претворения проекта в жизнь? Как вы с ними справились?
Сложности были каждый день. Мы одновременно решали вопросы из разных плоскостей – организационной, технической, кадровой. Выстраивали бизнес-процессы, координировали работу участников проекта, разрабатывали техническое решение, набирали людей в команду и т.д. Только в технической части мы параллельно строили ЦОДы, создавали вычислительный комплекс и разрабатывали процессинговое ПО. Многое реализовывали первыми в России. Наш проект можно сравнить с забегом на сверхмарафонскую дистанцию с одним отличием: бегун меняет темп на разных участках, мы же не могли себе этого позволить – бежали одинаково быстро. Позапрошлого Нового года у нас точно не было. Мы добежали до финиша, запустились точно в срок и, самое главное, построили надежную систему.
Как повело себя оборудование на проекте? Ведь ряд использованных вами технологий до этого не был знаком российскому рынку.
Наши ожидания оно оправдало. Действительно серьезная проблема была только с настройкой сетевого оборудования. Сетевая инфраструктура при тестировании ряда сценариев отказа обрабатывала их некорректно. Поскольку нам нужно было обеспечить не более 5 минут простоя в год, выход из строя одного из каналов связи или какого-либо элемента инфраструктуры не должен был приводить к остановке обработки трафика. Эксперты «Инфосистемы Джет» установили, что в некоторых случаях механизмы дублирования срабатывали некорректно. О сбое сообщили Huawei, совместно с производителем специалисты партнера нашли его причину – дефект в микрокоде одного из чипов внутри коммутатора ядра сети. Huawei оперативно создали новую версию прошивки. Проблема была локализована и устранена всего за полтора месяца, в том числе благодаря поддержке проекта на самом высоком уровне со стороны производителя.
Озвучьте, пожалуйста, принципы формирования команды проекта: сколько человек в нее входило, как были разделены зоны ответственности?
С нашей стороны за координацию всего проекта отвечали 3 человека, со стороны «Инфосистемы Джет» его реализовывали несколько десятков специалистов. Я и Илья Воронин контролировали создание вычислительного комплекса, то есть занимались всеми вопросами, кроме тех, что лежали в плоскости подключения банков-участников. Процесс подключения, всю работу в регионах координировали всего 2 человека, один из них – мой заместитель. За инсталляцию так называемых абонентских комплектов на местах отвечали специалисты «Инфосистемы Джет». Поскольку системный интегратор уже реализовывал подобный проект (отвечал за ИТ-составляющую при открытии по всей стране офисов и точек продаж одного из крупных российских банков), мы были на 100% уверены в партнере. К тому же набор оборудования, которое нужно было инсталлировать у банков-участников, был однотипным и небольшим. Мы составили типовую инструкцию по подключению к НСПК, прописали в ней технические условия, которые должен был соблюсти банк: сколько места в стойке нужно под оборудование, требования к электропитанию и т.д. Таким образом, благодаря партнеру географическая распределенность проекта не стала для нас камнем преткновения.
Ваши планы на ближайшее будущее – как будет развиваться проект?
Что касается карты «Мир»: сейчас ее тестирует 21 банк-участник пилотного проекта, мы планируем завершить этот процесс до конца 2015 года. В 2016-м эти банки начнут раскрытие собственной эквайринговой сети и затем выпуск национальных платежных карт.
Также мы продолжим подключать к НСПК международные платежные системы. Кроме того, НСПК выходит на международные рынки – мы планируем организовать взаимодействие российской платежной системы с национальными платежными системами других стран в части проведения операций в банкоматах и POS-терминалах. Отмечу, что расширение участников не потребует от нас масштабировать ИТ-инфраструктуру – мы заложили запас мощности на ближайшие 5 лет.
Владимир, большое спасибо, что нашли время для беседы!
Илья Воронин
руководитель Центра проектирования вычислительных комплексов компании «Инфосистемы Джет».
Комментарий
«Мы реализовали уникальный проект, в котором было совершено практически невозможное – за несколько месяцев были осуществлены выбор поставщика, тестирование решений, проектирование, поставка, инсталляция и пусконаладка ИТ-инфраструктуры двух ЦОД, а также проделан значительный объём работ по подключению участников НСПК. И всё это – с использованием практически не известных на тот момент на российском рынке продуктов. Нельзя не отметить, что такой темп работ потенциально мог отрицательно повлиять на результат, однако спустя год после стремительного старта можно с уверенностью утверждать: построенная ИТ-инфраструктура имеет достаточный запас прочности и производительности и практически не требует внесения каких-либо серьёзных корректировок.
С точки зрения технических решений проект позволил заглянуть в завтрашний день ИТ в корпоративном секторе. Он наглядно продемонстрировал преимущество перехода при построении критичных бизнес-систем от использования монолитных приложений и специализированного оборудования к распределённым горизонтально-масштабируемым модульным системам на основе стандартных серверных платформ и открытого ПО. Такой подход позволил НСПК достигнуть необходимых показателей отказо- и катастрофоустойчивости (99,999%) без значительных затрат, характерных для систем с аналогичными требованиями к непрерывности, но построенных по классической схеме».