Подписаться
Читать в телеграм
/ Использование BGP для высокоинтенсивных транзакций позволяет повысить производительность на 5-10% за счет снижения задержек трафика
/ Переход на прямую доставку трафика к целевым POD для некоторых сценариев позволяет в несколько раз поднять предельную пропускную способность сети кластера с высоконагруженным overlay
/ Схема с применением BGP технически может быть развернута с любой системой для контейнеризации, работающей на основе Kubernetes
Дополнительные операции с трафиком могут приводить к избыточному расходованию аппаратных ресурсов, а также к более серьезным последствиям, таким как ощутимые задержки и даже частичная потеря пакетов. Эксперты «Лаборатории Числитель» и компании «Инфосистемы Джет» предложили решить проблему непроизводительного трафика, изменив сам способ доставки информации к POD путем использования протокола BGP, благодаря чему трафик начнет поступать исключительно на предназначенные для его обработки узлы. Новая концепция прошла стадию активного тестирования, и сейчас все компании, использующие платформу «Штурвал» и прочие системы для контейнеризации приложений, могут применить такой подход.
«Несколько наших заказчиков хотят добиться того, чтобы трафик приложений, работающих в кластере Kubernetes, попадал непосредственно на вычислительные узлы, предназначенные для его обработки. При применении штатных средств (в частности, lngress) сделать это не представляется возможным, поскольку они позволяют использовать в качестве точки входа трафика лишь ограниченное количество серверов, которые далеко не во всех случаях будут для него целевыми».
Павел Михайлик
Таким образом, в стандартной модели функционирования сетей многие серверы выступают в качестве посредников: они получают данные, распознают тип их целевого приложения, готовят информацию для дальнейшей передачи и отправляют ее по целевому назначению.
Чем больше размер кластера, тем выше вероятность того, что трафик будет попадать не на свой node, а доля мощностей, которые нерационально задействованы в его обработке, будет расти.
«Разумеется, проблему низкой емкости кластера с точки зрения сетевой производительности можно решить и простым расширением ресурсов overlay, который в данном случае является узким местом. Например, это можно сделать, выделив дополнительные процессорные ядра на поддержание процесса инкапсуляции данных. Такой подход значительно ускорит сетевую подсистему кластера, но потребует перераспределения аппаратных ресурсов от целевых функций к инфраструктурным, что снизит общую эффективность использования процессорных мощностей».
Павел Михайлик
НЕОБХОДИМОСТЬ В ДОПОЛНИТЕЛЬНЫХ ОПЕРАЦИЯХ ВЛЕЧЕТ ЗА СОБОЙ ЦЕЛЫЙ РЯД НЕГАТИВНЫХ ЭФФЕКТОВ, К КОТОРЫМ МОЖНО ОТНЕСТИ:
- задержки на дополнительные декапсуляцию, инкапсуляцию и прохождение данных по стеку, что особенно критично для работы высокопроизводительных кластеров (например, используемых в финансовой сфере) с большим количеством операций, при выполнении которых каждая миллисекунда на счету;
- еще более ощутимые задержки, возникающие из-за буферизации в случае перегрузки overlay, которые могут составлять десятки миллисекунд;
- потери данных при достижении пределов емкости буфера, которые, в свою очередь, могут вызвать дополнительные задержки из-за повторов их передачи, что в конечном итоге снизит общую производительность системы.
Принципиально иным - нелинейным - выходом из ситуации является вариант оптимизации пути доставки трафика посредством использования протокола BGP, который позволяет напрямую анонсировать узлы обработки трафика без привлечения дополнительных мощностей. Именно такой вариант специалисты компаний «Инфосистемы Джет» и «Лаборатория Числитель» реализовали у одного из заказчиков.
«В этом случае меняется сам способ доставки трафика, который начинает поступать напрямую на предназначенные для его обработки серверы. Использование BGP позволяет упростить процесс публикации сервисов с выводом трафика на отдельные вторичные интерфейсы, включая физические порты. Помимо снижения нагрузки на overlay, это позволяет провести работу по изоляции трафика приложений от управляющего трафика на физическом уровне, что более чем актуально для целей кибербезопасности - особенно, если сеть используется на объекте, к которому предъявляются повышенные регуляторные требования в части ИБ».
Павел Михайлик
Преимущества данного подхода делают целесообразным его внедрение для значительного числа крупных компаний, использующих высоконагруженные платформы контейнеризации приложений.
«BGP имеет смысл применять всегда, когда для этого нет противопоказаний (в частности, когда установлена подходящая конфигурация сети) и имеется штат достаточно квалифицированных администраторов, которые умеют обслуживать "Штурвал", работающий с данным протоколом».
Александр Краснов
Для изучения возможностей системы, использующей BGP, специалисты провели тестирование на имитирующем инфраструктуру компании специальном функциональном стенде, где осуществляется доставка трафика. Согласно предварительным результатам, применение BGP для высокоинтенсивных транзакций позволяет за счет снижения задержек трафика повысить производительность как минимум на 5-10%, что весьма ощутимо для пользователей. Если же говорить о сетях с высоконагруженным overlay, в которых предельная нагрузка на node составляет 4-5 Гбит, то в случае прямой доставки трафика ограничением станет уже производительность физического порта сервера, зависящая исключительно от производительности используемых сетевых адаптеров. С учетом того, что на данный момент типовое подключение составляет 10/25 Гбит, использование BGP позволяет ожидать кратного увеличения предельной производительности.
При этом точные показатели всякий раз будут зависеть от особенностей ИТ-инфраструктуры и набора приложений, которые работают в каждой конкретной компании. Например, если сервис использует TLS и не может сам его терминировать, то будут использованы lngгеss-контроллеры. В этом случае трафик все равно пойдет через overlay-ceть.
«Изменения после внедрения BGP будут ощущаться как снижение потребления ресурсов при ускорении движения трафика по сети. Причем их выраженность будет выше в случае работы с высоконагруженными кластерами, принимающими большой объем трафика».
Александр Краснов
Дополнительным преимуществом предлагаемого подхода к использованию BGP может стать консолидация всей маршрутной информации о трафике на узлах ControlPlane, что значительно упростит мониторинг состояния его сопряжения с сетевой инфраструктурой ЦОД. В частности, появится определенность относительно статуса таких событий, как падение сессии, которое может произойти как при одном из штатных переключений, так и в результате аварии. Ожидается, что с помощью их централизованного анонсирования удастся существенно упростить мониторинг состояния инфраструктуры, выполняемый службами эксплуатации.
Дальнейшие нагрузочные тесты будут проводиться уже на инфраструктуре заказчика, после чего планируется начало совместного использования протокола BGP и системы «Штурвал» в организации.
Использование BGP можно комбинировать с применением стандартных техник доставки трафика в виде виртуальных IP (VIP) для сервисов и внешних балансировщиков нагрузки.
