Подписаться
Читать в телеграм
Исходя из этих основных тенденций производители оборудования и программного обеспечения, предназначенного для хранения и обработки данных, действуют, пытаясь предложить рынку более быстрые, гибкие решения – технологии, которые можно охарактеризовать словом «более…».
Некоторые из них мы с коллегами рассмотрим в нашем номере, но начать хочется с обзора двух, кажущихся нам наиболее знаковыми, обеспечивающими унифицированные и где-то даже универсальные подходы к обмену, хранению и обработке разнородной информации. Мы говорим о «конвергентных» сетях и Больших Данных.
Конвергенция на десяти гигабитах
Термин «конвергенция» входит в число наиболее употребительных, когда говорят о современных ИТ-решениях – речь идет о конвергенции сетевых протоколов, технологий доступа к данным, ИТ-инфраструктур и т.д. Ее конечный смысл в мире ИТ – уменьшение числа элементов в системе и упрощение задач управления инфраструктурами, что весьма актуально ввиду постоянного роста объемов обрабатываемых данных и повышения требовательности приложений.
Одно из направлений конвергенции в ЦОД – переход к единому транспорту для передачи различных типов трафика. Такую возможность сегодня предоставляет технология 10-гигабитного Ethernet (10GbE). Благодаря усовершенствованиям в стандарте, повышению скорости и надежности соединений, а также появившимся возможностям поддержки Quality of Service для критичного трафика 10GbE можно использовать не только для создания вычислительных сетей, но и для подключения дисковых массивов. В противоположность традиции построения в ЦОД двух отдельных сетей – вычислительной сети на базе Ethernet и сети хранения данных (SAN) на базе Fibre Channel (FC) – теперь можно организовать единую конвергентную сеть на основе 10GbE.
Такой подход пока еще остается непривычным для большинства потребителей, в том числе в силу организационных моментов. Если раньше за вычислительные сети и сети хранения отвечали разные администраторы, то теперь их функции сливаются, и руководителям приходится принимать непростые кадровые решения.
Тем не менее перевод всего сетевого оборудования на единый транспорт – это решение, к которому стоит присмотреться. Оно оправдывает себя в силу упрощения сетевой инфраструктуры (уменьшения количества адаптеров, кабелей, активного сетевого оборудования) и сокращения затрат на эксплуатацию.
Как же обеспечить эффективное функционирование этой технологии в компании? Первый шаг на пути к сетевой конвергенции – консолидация ввода/вывода серверов. Интерфейс 10GbE имеется во всем современном серверном оборудовании. Кроме того, сегодня уже не обязательно устанавливать в сервер отдельные адаптеры FC и Ethernet – подключения LAN (Ethernet) и SAN (FCoE, iSCSI) теперь могут осуществляться через единый конвергентный адаптер (Converged Network Adapter, CNA). Современные адаптеры разгружают центральный процессор сервера, избавляя его от обработки сетевых протоколов, это позволяет отдавать все ресурсы приложениям. Более того, в последних поколениях процессоров Intel реализована технология 10GbE LAN On Motherboard (LOM), благодаря которой LAN- и SAN-подключения серверов становятся доступными по умолчанию. На стороне систем хранения интерфейс 10GbE также реализован всеми ведущими вендорами как для файлового, так и для блочного доступа. Конвергенция на уровне доступа позволяет пользоваться преимуществами унифицированного транспорта, не внося изменений в ядро существующих сетей Ethernet и FС.
Следующий шаг – конвергенция на уровне ядра сети, которая реализуется на базе высокопроизводительных коммутаторов Ethernet, умеющих одинаково эффективно работать с трафиком LAN и SAN. В случае использования таких решений (их предлагают, например, компании Cisco и Brocade) конечные устройства могут подключаться к сети как через классические порты Ethernet и FC, так и через конвергентные адаптеры и порты систем хранения FCoE.
Среда Ethernet уже достаточно давно используется в ЦОД для передачи как блочных (iSCSI), так и файловых (NFS, CIFS) данных. Протокол Fibre Channel поверх 10-гигабитного Ethernet (FCoE), разработанный в свое время, чтобы заменить две сети в ЦОД на одну конвергентную, пока не получил широкого распространения, в частности из-за недостатков классического Ethernet, который не гарантирует доставку трафика без потерь. По этой причине FCoE полноценно работал только на небольших расстояниях. Однако расширения классического функционала Ethernet (так называемые Converged Enhanced Ethernet, CEE, или Data Center Bridging, DCB) позволяют приблизить его характеристики к требованиям сетей дата-центров.
Кроме того, меняется сама архитектура сетей ЦОД: прежде она была многоуровневой, теперь предлагаются варианты плоских сетей – так называемых Ethernet-фабрик. А Ethernet-фабрика позволяет пропускать трафик FCoE кратчайшим маршрутом. Возможно, по мере дальнейшего развития технологии Ethernet протокол FCoE сможет найти более широкое применение.
Хранилища для Больших Данных
В то же время на смену монолитным СХД со сравнительно небольшими возможностями горизонтального масштабирования постепенно приходят кластерные (горизонтально масштабируемые) системы, где множество узлов логически объединяется в единый пул с единым управлением. Узлы кластера связываются между собой высокопроизводительной сетью на базе, например, InfiniBand или 10GbE. Такие системы становятся все более актуальными с распространением облачных сервисов и технологий Больших Данных с многообразием их форматов. Кластерные системы хранения есть сегодня в арсенале всех ведущих производителей.
Похожий подход предлагают так называемые программно определяемые системы хранения – Software Defined Storage (SDS). Суть концепции в логическом отделении собственно сервисов хранения от аппаратного обеспечения. В качестве аппаратной составляющей можно использовать, например, стандартные серверы х86, а развернутое на них интеллектуальное ПО будет обеспечивать различный функционал систем хранения – репликацию, дедупликацию, мгновенные снимки и пр. Пример такого решения – ПО Red Hat Storage Server. С его помощью создается, по сути, параллельное объектное хранилище с интерфейсами NAS. Решение масштабируется до петабайтных объемов путем простого добавления серверов. Хранимые данные равномерно распределяются по всей системе, централизованного сервера метаданных нет, и за счет этого обеспечивается быстрый доступ к данным. Использование технологии 10GbE по части скорости доступа приближает такие системы к традиционным монолитным решениям.
Системы с параллельной архитектурой постепенно набирают популярность. Но здесь есть и сдерживающие факторы. Например, приложения, архитектура которых не претерпела сильных изменений за последние 10 лет, не могут работать с такими хранилищами. В то же время многие организации привыкли или вынуждены использовать блочный доступ. А реализовать параллельный блочный доступ технически сложно (по крайней мере на нынешнем уровне развития технологий), и даже если это сделать, он в параллельной архитектуре будет медленным. Между тем работа с растущими объемами данных и освоение потенциала Больших Данных требует скорости.
Классическое решение для работы с Big Data – Hadoop, которое объединяет в себе технологии распределенного хранения данных и параллельной обработки. В Hadoop и подобных ему решениях адресация происходит не как в обычной файловой системе, а по метаданным – служебной информации о содержимом файла. Похожий подход использовался в свое время в системах хранения с адресацией по содержанию (Content Addressable Storage, CAS), но в объектных хранилищах он перешел в новое качество. CAS не были ориентированы на быстрое извлечение данных, только на их надежное хранение, а объектные хранилища являются высокопроизводительными, что и позволяет использовать их для Big Data. Сегодня принципы объектного хранения реализованы в ряде вендорских решений, например, EMC Atmos или Hitachi Content Platform (НСР).
Что дает объектное хранение?
Прежде всего возможность быстро находить нужный файл в огромном массиве разнородных данных, чего не может обеспечить традиционный файловый доступ. Означает ли это, что файловый доступ со временем отомрет? Едва ли. Например, потому что в объектное хранилище нельзя положить традиционную базу данных с ее монолитной архитектурой. А вот для разнообразного контента, фотографий, почты, данных телеметрии, журналов событий они будут вполне эффективны.
В сущности, объектное хранение и файловый доступ могут неплохо сочетаться друг с другом. На рынке появились платформы корпоративного класса для облачного хранения и удаленного доступа к данным, такие как Hitachi Content Platform Anywhere или NetApp Connect. С их помощью пользователям обеспечивается доступ к файлам, но сами файлы хранятся в объектном хранилище.
Такого рода решения уже достаточно давно доступны частным пользователям в виде сервисов Dropbox, Google Drive и тому подобных объектных хранилищ с веб-интерфейсом. Облачные хранилища контента корпоративного класса увидели свет совсем недавно, однако не исключено, что в перспективе корпоративный доступ к файлам будет предоставляться именно по такому механизму, к которому прибавятся улучшенные (по сравнению с общедоступными сервисами) функции безопасности (например, возможность интеграции с существующей службой Active Directory). Пользователям не придется искать нужные файлы в каталогах, они будут находить интересующий их контент на специализированном портале – подобные решения сегодня уже реализуются в виде корпоративных порталов для совместной работы. Одно из преимуществ упомянутых облачных платформ состоит в том, что они используют другие протоколы доступа, которые, в отличие от, например, CIFS, не столь чувствительны к задержкам в сети, поэтому работать с файлами из корпоративного хранилища можно через публичные, в том числе мобильные сети.
В заключение хочется отметить, что и конвергенция, и Большие Данные уже не являются на российском рынке чем-то умозрительным. Напротив, примеры успешных внедрений убедительно говорят о том, что эти подходы/решения/технологии находятся в русле современных тенденций развития СХД и рекомендованы к применению в корпоративных ИТ-системах.
