Подписаться
Читать в телеграм
«Новые сервисы мы внедряем только в контейнерах»: как устроена ИТ-инфраструктура «Сбербанка» в Казахстане
Дата публикации:
20.09.2021
Посетителей:
1036
Просмотров:
969
Время просмотра:
2.3
Почему «Сбербанк» в Казахстане не боится землетрясений?
Зачем разворачивать ML-модели в контейнерах в частном облаке?
Как банк справляется с кадровым голодом?
— Последние 2 года банк проводил активную модернизацию ИТ. Каковы ее итоги?
Нурсултан Таскаранов: За последние 2 года ИТ-ландшафт банка был кардинально преобразован. Мы модернизировали или заменили практически все его компоненты: инфраструктуру ЦОДов, серверный комплекс, СХД, сети передачи и хранения данных, виртуальную инфраструктуру, СРК, СУБД и инфраструктурные приложения, систему централизованного мониторинга. Сейчас наша ИТ-инфраструктура обладает одним из самых высоких уровней отказоустойчивости среди финансовых организаций. Доступность любого ее компонента можно оценить в 99,999%. Это означает, что в течение года простой в информационных системах по причине сбоя в ИТ-инфраструктуре суммарно составляет не более 5 минут.
— Как пандемия повлияла на развитие систем, отвечающих за работу сотрудников фронт-офиса?
Нурсултан Таскаранов: Основным вектором изменений стал переход в онлайн. Первые 2–3 недели после начала локдауна 2020 г. мы наблюдали беспрецедентную нагрузку на онлайн-сервисы. Чтобы справиться с ней, мы оперативно подстраховались дополнительными серверами. Переход в онлайн повлиял на доработку существующих и внедрение новых процессов, систем и интерфейсов. Например, мы внедрили новое приложение Sberbank KZ, удостоверяющий центр и доработали систему документооборота так, чтобы документы больше не приходилось подписывать вручную. При этом сама по себе пандемия никак не повлияла на нашу ИТ-инфраструктуру: с учетом модернизации мы были готовы к дополнительной нагрузке.
Сергей Караханов: Ключевое изменение — появление удаленного формата работы. Раньше такого не было, только доступ по USB-ключу, их выпустили порядка 300 на весь банк. Когда за 3 дня пришлось перевести на дистанционную работу 1500 человек, решение с ключами пришлось оставить в прошлом. Мы организовали процесс через Cisco AnyConnect с трехфакторной аутентификацией.
— Как вы обеспечиваете отказо- и катастрофоустойчивость ИТ-инфраструктуры?
Сергей Караханов: Отказоустойчивость обеспечивается за счет резервирования всех аппаратных и программных компонентов и распределенной архитектуры ИС. Системы работают в двух равных по мощности ЦОДах, каждый из них находится в активном режиме и готов мгновенно взять на себя всю нагрузку в случае сбоя. Кроме того, в 2021 г. мы внедрили катастрофоустойчивую ИТ-инфраструктуру на базе удаленного дата-центра в Караганде. Он способен обеспечить работу всех критичных систем в случае одновременного сбоя в ЦОДах Алматы. Но сам по себе ЦОД не является достаточным решением.
Отказо- и катастрофоустойчивость — это не только ИТ-задача, но и решение бизнес-вопросов. В первую очередь важно было выделить критичные бизнес-процессы и понять, как их защитить. Для этого мы разделили все процессы банка на 4 категории: mission critical, business critical, business operational и office productivity. Mission critical — это системы, от которых зависит существование банка: простой в 4 часа может привести даже к отзыву лицензии. А office productivity, напротив, можно чинить несколько недель, и никто не пострадает. Проблема в том, что каждая бизнес-функция считает свои процессы максимально критичными. Поэтому мы самостоятельно делили их по категориям, минимально привлекая к задаче бизнес. Далее все это легло на актуализацию критичности информационных систем.
— Зачем понадобился дополнительный ЦОД в другом городе?
Сергей Караханов: У Алматы при всей привлекательности есть особенность: город расположен в сейсмоопасной зоне. Однозначного прогноза по землетрясению никто дать не сможет. Но если есть определенный риск, его надо нивелировать — расположить дополнительный дата-центр хотя бы в 300–500 км от Алматы, чтобы катаклизм не повредил здание. Мы выбрали Караганду (город находится в 1000 км) и построили ЦОД в чистом поле. Кстати, наш проект уникален, поскольку задача катастрофоустойчивости не решена ни в одной финансовой организации Казахстана. Мы защитили «Сбербанк» не только от землетрясения (которого, я очень надеюсь, не случится в ближайший миллион лет), но и от любого другого негативного сценария: пожара, наводнения, селя, веерного отключения электропитания.
— Опирались ли вы на опыт коллег по цеху — российских или зарубежных — при реализации концепции катастрофоустойчивости? Участвовал ли в проекте российский «Сбербанк»?
Сергей Караханов: Эта задача была поставлена как раз нашим акционером, и, конечно, мы учитываем опыт как российских, так и зарубежных компаний. Более того, решать данную задачу нам помогают как компании ПАО «Сбербанк», так и ведущие системные интеграторы СНГ, один из которых — «Инфосистемы Джет».
— Как, на ваш взгляд, меняется подход к построению ИТ-инфраструктуры в казахстанских компаниях?
Нурсултан Таскаранов: Повсеместно используется технология виртуализации, причем не только вычислительных ресурсов, но и хранилищ, сетей, рабочих столов. Она позволяет гибко управлять ресурсами и эффективно их расходовать. При этом виртуализация подстегнула рост облачных решений в ИТ-ландшафтах казахстанских компаний. Они значительно упрощают и удешевляют владение ИТ-инфраструктурой, освобождают бизнес от необходимости самостоятельно планировать, поддерживать и развивать ее компоненты. Все обязательства — на стороне провайдера.
— Какие технологии вы считаете ключевыми для новой ИТ-инфраструктуры?
Нурсултан Таскаранов: Технологии диктуются архитектурой информационных систем и приложений. А последние определяются бизнес-задачами и скоростью современного мира: внедрением новых продуктов, пропускной способностью сетей, объемом передаваемых и обрабатываемых данных, высокой доступностью сервисов. В этих условиях самыми интересными технологиями я бы назвал контейнеризацию и cloud-native-приложения.
«Во-первых, это удобно»
— Вы используете частные облака в своей инфраструктуре?
Нурсултан Таскаранов: Да, в этом году мы внедрили частное облако в среде разработки, которое позволяет специалистам за несколько минут получать необходимые вычислительные ресурсы. В планах — использовать его и в промышленной среде. Для этого необходимо доработать и автоматизировать определенные ИТ-процессы, интегрировать облако с рядом смежных систем и внести изменения в архитектуру ИТ-инфраструктуры и ИС. Но, как говорится, нет задач невыполнимых!
Сергей Караханов: Облако предоставляет вычислительные ресурсы по модели IaaS. Для полноценного соответствия облачным вычислениям ему не хватает биллинга. Мы планируем доработать этот функционал и автоматизировать процесс управления мощностями: проектная команда будет самостоятельно рассчитывать потребность в вычислительных ресурсах, пополнять облачный личный кабинет средствами из проектного бюджета и оплачивать ровно столько мощностей, сколько использовала. Переведенные проектной командой средства будут использоваться для закупки и пополнения серверными мощностями ИТ-инфраструктуры.
— В чем преимущества вашего облака?
Сергей Караханов: Его главная особенность в том, что оно удобно. Если проектная команда планирует работать над какой-то системой, она должна написать заявку, чтобы админы вручную выделили мощности, а это требует времени. К тому же, чтобы получить серверы, команде нужен соответствующий бюджет, а процедура закупки занимает до полугода. Частное облако позволяет не закладывать дополнительные мощности на полгода-год вперед. Средства из кошелька проектной команды переводятся в условный кошелек для «заказа» серверов. А для их развертывания достаточно нажать одну кнопку. К тому же команда учится экономить ресурсы, когда видит, как деньги тратятся в режиме реального времени, и не заказывает мощности про запас. В итоге экономит весь банк.
— Вы планируете переносить часть ИТ-инфраструктуры в публичные облака?
Сергей Караханов: Пока мы не планируем использовать публичные облака для промышленной среды. Связано это в первую очередь с законодательными ограничениями по хранению и обработке персональных данных клиентов, плюс есть особые требования со стороны ИБ. В текущей инфраструктуре достаточно мощностей и налажен процесс управления ими. А для тестов использовать публичное облако нет смысла, поскольку у нас есть цикл использования серверного оборудования. Новое железо внедряется в промышленную среду, а спустя несколько лет переводится в тестовую, поэтому необходимости в дополнительных ресурсах нет. В целом на казахстанском рынке публичные облака не так популярны, как на российском, но тренд очевиден — мы движемся в этом направлении.
При этом есть идея — и она подогревается со стороны ПАО «Сбербанк» — о построении своего облака и продаже ресурсов на рынке Казахстана. Так что не удивлюсь, если в экосистеме нашего «Сбербанка» скоро будут и ИТ-сервисы для казахстанского рынка.
«Кейсов нет, но мы попробуем»
— Что подтолкнуло банк к переходу на контейнерные технологии?
Нурсултан Таскаранов: Они значительно повышают производительность и доступность сервисов. Вместе с самой контейнерной платформой у нас внедрены инструменты, позволяющие эффективно мониторить состояние сервисов, инвентаризировать их, защищать, управлять ими. Также мы можем точечно дорабатывать или добавлять сервисы без остановки всего приложения и влияния на его логику. Как результат, такой подход позволяет в разы уменьшить время доставки сервисов клиентам и сократить Time-to-Market.
Сергей Караханов: Технология контейнеризации применяется в банке уже 2 года. На ее базе построено обновленное приложение для обслуживания юридических лиц «СберБизнес». Но это было скорее исключение, а не стандарт банка. С середины 2020 г. мы начали тестировать контейнерную платформу на базе Red Hat OpenShift для внедрения продуктов Platform-V, в частности решение для корпоративной сервисной шины Apache Synapse. Параллельно обсуждали внедрение обновленного приложения Sberbank KZ и решили делать его по самым современным техническим стандартам — в микросервисной cloud-native-архитектуре. Инфраструктурным компонентом для Sberbank KZ стала контейнерная платформа OpenShift.
«Сбербанк» — одна из первых компаний на рынке, в которой приложения mission critical полностью построены на микросервисной архитектуре. Кроме Sberbank KZ, мы внедрили сервис SberID для централизованной авторизации пользователей (независимо от того, в какой сервис «Сбербанка» клиент выполняет вход), электронно-цифровую подпись Signor, API Gateway для подключения всех сервисов Sberbank KZ, сервис Ashyq.
— Почему вы выбрали решения с открытым кодом?
Сергей Караханов: Open Source — важный элемент современной ИТ-инфраструктуры. Как правило, эти решения разрабатываются быстро, комьюнити делает много удобных и интересных сервисов. Основные инструменты по обучению нейросетей, обработке данных, разработке, мониторингу и управлению ИТ-ландшафтом — все это Open Source. Плюс есть возможность самостоятельно дорабатывать приложения, не заключая договор с вендором, — все очень быстро.
Но есть и минусы: использование Open Source оставляет вас один на один с этими инструментами. Никто не гарантирует их бесперебойную работу, никто не будет восстанавливать их в случае сбоев, а сбои будут происходить при обновлениях и других изменениях. Поэтому, внедряя Open Source, надо принять определенные риски, а для их минимизации — иметь штат профессионалов, способных самостоятельно развивать систему.
— Многие компании занимаются контейнеризацией самостоятельно. Почему вы обратились к партнеру?
Сергей Караханов: Это не такая уж новая технология, но кейсов ее полноценной реализации в промышленной среде почти нет. Это связано с отсутствием в компаниях необходимых компетенций. Все пока находятся на стадии тестовых стендов или используют контейнерные платформы для небольших локальных сервисов. Мы решили обратиться к профессионалам, поскольку инфраструктуру нужно было спроектировать и внедрить буквально за месяц. Получили предложение от компании «Инфосистемы Джет» — партнеры решили нашу задачу качественно и в нужные сроки. Боле того, вместе с контейнерной платформой мы получили комплект проектной документации, описывающий ее состав и архитектуру, параметры настройки, содержащий схемы и инструкции. Наличие документации позволяет и понять, что мы получили по результатам внедрения, и быстро вникнуть в архитектуру новым сотрудникам, которых мы активно набираем для администрирования системы, и создает задел для развития платформы.
— Какие задачи платформа управления контейнерами закрывает сейчас?
Сергей Караханов: Во-первых, теперь мы внедряем большинство новых сервисов в контейнерах: классические банковские, для взаимодействия с партнерами и государственными органами, для обработки больших данных, внутренние пользовательские сайты, порталы и инструменты. Во-вторых, планируем постепенно переносить существующие сервисы с классических ИС в микросервисы. Если раньше основной сущностью по обработке и хранению информации была «Информационная система», то сейчас появляется все больше «ИТ-сервисов» и «Микросервисов».
Раньше основной сущностью по обработке и хранению информации у нас была «Информационная система», а сейчас появляется все больше «ИТ-сервисов» и «Микросервисов».
Сергей Караханов
«Развяжите руки разработчикам»
— Насколько нам известно, вы разворачиваете в контейнерах ML-модели. Расскажете подробнее?
Сергей Караханов: Одним из первых заказчиков нашего частного облака был департамент корпоративных данных. Коллеги отвечают за хранилище DWH, обработку информации и аналитику. Изначально мы думали, что облако будет набором машин: условно говоря, машина с Oracle, машина с базой MS SQL, репозитории и набор ПО. Но перед коллегами, занимающимися данными, стояла задача от ПАО «Сбербанк» — повысить индекс зрелости искусственного интеллекта. Для этого ML-модели должны работать в облаках. Сейчас мы организовали систему в тестовой среде: аналитики работают в контейнерах, под них разворачивается необходимое количество серверов. В промышленной среде модели будут реализованы в OpenShift, а их обучение будет проводиться на машинах частного облака.
— Контейнеризация сократила Time-To-Market?
Нурсултан Таскаранов: Конечно, конкретных цифр назвать не могу, потому что не проводил измерения, но думаю, что показатель снизился в разы: изменился процесс разработки, тестирования и внедрения сервисов в промышленную среду. Раньше нужно было учитывать, как доработка повлияет на систему в целом, а теперь сервис можно внедрить или изменить независимо от остальных. Это развязывает руки разработчикам.
— Какие дополнительные потребности бизнеса вам удалось закрыть с помощью контейнерных технологий?
Нурсултан Таскаранов: Удалось решить упомянутый Сергеем запрос от команды дата-сайентистов, которые разрабатывают и запускают аналитические модели в контейнерах. Также решили запрос от команды интеграции банковских сервисов с государственными органами. Думаю, со временем все более популярной станет разработка сервисов для внутреннего пользования: порталы и внутренние сайты, мониторинг, интерфейсы подачи и обработки всевозможных заявок и др.
— С чего стоит начать переход от стандартной инфраструктуры к контейнеризации?
Нурсултан Таскаранов: В первую очередь с понимания, зачем это нужно: какую экономическую, технологическую и другую выгоду принесет контейнеризация. Ее основная польза — ускорение вывода продуктов на рынок. Если бизнес понимает необходимость сокращения Time-To-Market, это первый триггер к началу перехода на контейнеры. Дальше техническим специалистам необходимо выбрать целевую платформу и разработать ее архитектуру. Затем можно начать с пилота для определенного сервиса, развернуть тестовый стенд, двигаться путем проб и ошибок. А можно нанять профессионального подрядчика, обладающего высокими компетенциями, и сразу внедрять полноценную систему, способную обеспечивать работу промышленных сервисов. Все зависит от потребностей и амбиций бизнеса и ИТ.
— Поделитесь планами по дальнейшему использованию технологии контейнеризации.
Нурсултан Таскаранов: Однозначно планируем расширять контейнерную платформу. Более того, со временем она частично заменит виртуальную инфраструктуру, в которой останутся некритичные устаревшие Legacy-системы.
— Новые технологии требуют соответствующих знаний и компетенций специалистов. Как вы справляетесь с дефицитом кадров?
Нурсултан Таскаранов: Мы в первую очередь набираем квалифицированных специалистов и наращиваем их компетенции. Более того, с 2020 г. переход во внутреннюю разработку является стратегической задачей.
Обучению персонала уделяется много внимания. Бюджет на обучение за последние 2 года вырос в 5 раз. Мы придерживаемся такого подхода: сначала специалист самостоятельно изучает новое техническое решение и пробует развернуть его на тестовом стенде. Когда у него появится понимание принципов и особенностей работы технологии, он сформулирует ряд вопросов, на которые самостоятельно не смог найти ответы, мы направим его на специализированные курсы.
К подрядчикам, как правило, обращаемся для внедрения новых или модернизации существующих технологий. И дело здесь не всегда в отсутствии компетенции. Спецификой работы является то, что наши специалисты по большей части администраторы информационных систем, а не проектировщики, плюс для проектирования и внедрения требуется отрыв от основной деятельности.
Однако при отсутствии компетенций мы иногда обращаемся к внешним компаниям для сопровождения информационных систем. Так, например, произошло с администрированием контейнерной платформы, которую внедрили настолько стремительно, что времени на полноценную подготовку персонала не хватило. Компания «Инфосистемы Джет» вдобавок к внедрению предложила услугу техподдержки и администрирования контейнерной платформы. И на время отсутствия компетенций в банке это предложение было принято. Сотрудничество оказалось очень кстати: ни одного серьезного сбоя не было зарегистрировано, все заявки отработаны качественно и оперативно. Сейчас мы наращиваем компетенции и планируем к концу года обеспечивать развитие и администрирование контейнерной платформы полностью своими силами.
