/ В чем преимущества решений White box?
/ Личный опыт: тестирование Asterfusion и Edgecore.
/ Как и где стоит применять White box?
White box коммутация — это альтернативный взгляд на сетевое оборудование, новая форма предоставления продукта, которая особенно востребована для применения в центрах обработки данных. Команда компании «Инфосистемы Джет» проверила, насколько продукты white box от Asterfusion и Edgecore соответствуют нашим требованиям для сетевого оборудования ЦОД. Делимся промежуточными результатами.
White box и ЦОД
Оборудование white box, о котором здесь и далее пойдет речь, — сетевые коммутаторы, обычно с предустановленной сторонней операционной системой. В отличие от классических вендорских продуктов (black box), в которых решение поставляется as is и не подлежит «тюнингу», в white box можно в любой момент заменить сетевую операционную систему (NOS).
За производство аппаратной части, чипов (ASIC) на базе Broadcom, Marvell и пр. отвечают те же поставщики, которые производят оборудование для классических вендорских решений. Поэтому аппаратные компоненты и качество производства здесь не вызывают вопросов.
Поверх этой аппаратной части устанавливается Network Operating System — операционная система для оборудования. Значительное число доступных NOS являются продуктами open source, основанными на ядре Linux со всеми преимуществами этой OC:
- наличие множества системных средств Linux;
- возможность настройки оборудования white box напрямую из Linux (или отдельного CLI-интерфейса);
- возможность создания собственных скриптов автоматизации.
Одним из популярных дистрибутивов NOS является SONiC — продукт, разработанный Microsoft в рамках проекта Open Compute Project. Позже SONiC был передан в Linux Foundation. На ба зе э той О С многие компании дорабатывают и предлагают сетевые операционные системы для white box.
Интеграция со смежным оборудованием выполняется через общепринятые открытые протоколы и REST API. Если смежное решение и х поддерживает, его можно спокойно интегрировать с white box.
Резюме
White box — это оборудование, собранное на базе общедоступных компонентов, с потенциальной возможностью установить любую NOS. White box продается с амим п рои зводи т е лем оборудования (ODM) или связанной компанией.
White box подходит для применения в центрах обработки данных, которые требуют унификации сетевых решений, использования однотипных функциональных устройств с идентичными форм-факторами. Используя white box, можно покупать аппаратное обеспечение от разных поставщиков, сочетать его с предпочтительной NOS и интегрировать получившийся «сэндвич» в существующие сети. Такая возможность повышает стабильность процессов развития сетевой инфраструктуры, позволяет добиться снижения постоянных расходов на обеспечение работы компании (OPEX), а также затрат на покупку и модернизацию основных средств (CAPEX).
Знакомство с Asterfusion
Первым оборудованием white box, с которым поработала наша команда, стали коммутаторы Asterfusion для ЦОД — СХ532P-N и СХ 308P-N.
После базовых проверок в лаборатории мы собрали полноценный стенд и решили провести несколько десятков тестов разных категорий. Ключевая цель эксперимента — узнать, насколько эффективны коммутаторы white box от Asterfusion.
Для проведения тестов мы собрали сетевую фабрику spine-leaf, а также подключили специализированное оборудование IXIA в качестве конечных хостов.
На старте тестирования были выявлены некоторые особенности работы ОС AsterNOS, которые следовало скорректировать. Например, обнаружились проблемы с тегированием трафика на клиентских портах и с перезагрузкой критичных docker-контейнеров NOS при использовании определенных типов модулей 40G QSFP+. Кроме того, мы столкнулись с другой особенностью решения — рассинхронизацией конфигурации устройства при одновременной настройке напрямую из Linux и CLI-интерфейса. Впрочем, многие проблемы были решены при обновлении ПО до актуальной версии.
В сложных случаях мы подробно описывали способы воспроизведения ошибок и отправляли данные в Asterfusion. Поддержка осуществлялась через дистрибьютора. Это несколько замедляло темп, но в целом запросы отрабатывались оперативно: базовые кейсы решались в течение недели. Крупные вендоры с проприетарными решениями могут отвечать значительно дольше. За полгода тестирования наша команда открыла порядка 2 0 кейсов по Asterfusion. Полностью закрытыми оказались 18 из них.
Знакомство с Edgecore
Один из важных запросов большинства российских организаций ― проверка функциональности решений white box.
Из всей обширной линейки коммутаторов Edgecore для тестирования мы выбрали модели AS5835-54X, которые хорошо подходят для проектов по созданию сетей ЦОД. Планировалось, что на базе AS5835-54X будет проведено тестирование базового функционала как для Campus, так и для сетей ЦОД (рис. 6). Главная цель — понять, насколько решение зрелое и какие могут встретиться проблемы при его внедрении в проектах.
У нас в распоряжении были коммутаторы Edgecore AS5835-54X линейки ЦОД, и наша команда сосредоточилась на тестировании функционала ЦОД.
Для решения Edgecore было подготовлено конкретное ТЗ, и вместе с коллегами мы провели серию нагрузочных тестов. Так как Asterfusion и Edgecore имеют один первоисточник в плане ОС, то результаты эксперимента условно можно считать применимыми и к Asterfusion. Процесс тестирования не выявил каких-то серьезных проблем, но пока зал, что еще есть над чем поработать.
Как и в случае с Asterfusion, были найдены баги. Возникал вопрос при настройке MLAG и multihoming VPN, который был решен после выхода обновлений SONiC. При этом специалисты компании «Инфосистемы Джет» тесно взаимодействовали с вендором для устранения недочетов в работе решения. Кроме технических составляющих, важно и общее впечатление инженеров об оборудовании Edgecore, которое в ближайшем времени будет интегрировано в сетевую инфраструктуру бизнеса.
Среди преимуществ Edgecore можно отметить удобную программу лицензирования. Вам не придется покупать лицензии на отдельный функционал: все возможности входят в единый пакет операционной системы Enterprise SONiC by Edgecore, которая подходит для всех линеек коммутаторов Edgecore
Резюме
После тестирования оборудования мы подготовили комментарии наших сетевых инженеров по ключевым вопросам:
- Взаимодействие с вендором: открытие кейсов, скорость получения и полнота ответов, понятность, общее отношение к партнерам.
Поначалу нам помогали коллеги из «Фактор Групп» и «НАГ». С их помощью удалось быстро упорядочить процесс обработки заявок и своевременно закрывать тикеты.
- Зрелость решений в сравнении с продуктами западных производителей и альтернативами на рынке
Пока сложно сравнивать эти решения с продуктами ведущих зарубежных вендоров. Собственными усилиями и благодаря подсказкам специалистов главных офисов Edgecore и Asterfusion нам удалось запустить большую часть фич.
- Применение оборудования вендоров и дистрибутивов SONiC в коммерческих проектах.
Решения выглядят интересно. Работая с вендорами, мы значительно улучшили стабильность ОС. Но хотелось бы увидеть доработки Multihoming и добавить DCI.
«У крупных компаний есть выбор:
- Присмотреться к white box, при этом учесть возможные затраты времени и денег на доработку решения, и на выходе получить из доступного white box гибкое решение под свои задачи.
- Обратить внимание на решения brite box*, которые обеспечивают лучший уровень поддержки от вендора и при этом все еще доступнее классических проприетарных решений».
Юрий Чернов
* Brite box, branded white box — часто называют «серыми коробками». Железо для brite box производится независимыми вендорами, но поставляется уже с предварительно загруженной NOS от ведущих поставщиков сетевых решений.
«Многие крупные компании — например, Miсrosoft — вкладывают свои ресурсы в развитие SONiC. Ряд других (например, Yandex) ведут собственную разработку дистрибутивов NOS. Появление игроков, аналогичных Red Hat и Canonical, кажется всего лишь вопросом времени».
Максим Данилин
- Полнота и понятность вендорской документации в базе знаний
Информация есть, но не очень объемная. В ней можно найти ответы на 80–90% вопросов. Остальное решается через обращение в техническую поддержку вендора.
- Возникшие сложности
Нам показалось нетривиальным взаимодействие Control Plane и Data Plane. Также есть ограничения у встроенных инструментов для траблшутинга.
- Приятные «фишки»
Отличная контейнерная архитектура сетевой операционной системы. Наличие API для автоматизации настройки и интеграции с внешними системами управления.
- Удобство работы с оборудованием. Понятность формата и логистики CLI
Настройка маршрутизации похожа на CLI западных вендоров, и после изучения все становится понятным.
***
В условиях нехватки привычного железа направление white box определенно будет развиваться. Вендоры видят интерес со стороны рынка и активно дорабатывают аппаратные и программные компоненты своих решений. Прогресс в этом направлении отчетливо виден на примере Asterfusion и Edgecore. Если еще полгода назад функционал и работоспособность решений можно было назвать сырыми, то сейчас при тестировании мы встречаем только точечные сложности.
Делать далеко идущие выводы о решениях white box после одной серии тестирования не стоит. Мы открыли постоянные демолаборатории в стенах офиса, чтобы тестировать новые версии NOS и прорабатывать запросы заказчиков. Результатами поделимся позже.
Результаты тестирования оборудования Asterfusion
- Базовая проверка нагрузки для портов доступа
- Базовая проверка нагрузки для uplink-портов
- Проверка корректности отображения статистики в соответствии с подаваемой нагрузкой
- Поддержка BFD
- LACP, M-LAG
✕ Стекирование
- Поддержка VxLAN, настройка EVPN-VXLAN (L2 / L3 VNI, VXLAN routing, Anycast GW)
- Механизмы защиты ARP
- Реализация SNMP v2, SNMP v3 (наличие MIB)
- Поддержка широко распространенного синтаксиса конфигурации в командной строке
Результаты тестирования коммутаторов Edgecore
- Загрузка таблиц маршрутизации
- Верификация работоспособности с целевым количеством MLAG-групп
- Проверка количества актуальных путей для ECMP
- Проверка поддержки целевого количества VRF и VFR leaking
- Базовая проверка нагрузки для портов доступа
- Базовая проверка нагрузки для uplink-портов
- Проверка поддержки целевого количества BGP peer
- Проверка корректности отображения статистики в соответствии с подаваемой нагрузкой
- Поддержка BFD
- LACP, M-LAG
✕ Стекирование
- Поддержка VxLAN, настройка EVPN-VXLAN (L2 / L3 VNI, VXLAN routing, Anycast GW)
- Механизмы защиты CPU
- Механизмы защиты ARP
- Механизмы ограничения BUM-трафика (StormControl)
✕ Реализация SNMP v2, SNMP v3 (наличие MIB)