Аспекты применения дисковых массивов NetApp в виртуализованных комплексах

Виртуализованный комплекс представляет собой набор аппаратного и программного обеспечения, позволяющий гибко распределять ресурсы в условиях постоянно изменяющихся требований со стороны прикладных систем. Составляющие части виртуализованного комплекса (аппаратное и программное обеспечение) должны обладать такими качествами, как: гибкость в управлении дисковым пространством, масштабируемость, простота управления, гибкость выделения ресурсов и др.

Компания NetApp одной из первых применила в своих массивах подходы, позволяющие успешно интегрировать необходимое оборудование с учетом стоящих перед заказчиками задач виртуализации, поэтому на решениях именно этой компании мы рассмотрим построение виртуализованного комплекса. В данной статье будут рассматриваться аспекты применения дисковых массивов NetApp в виртуализованных комплексах на примере  их использования в построении специалистами компании «Инфосистемы Джет» комплекса IDC в Казахтелекоме.

В составе вычислительного комплекса (ВК) Казахтелеком используются такие типы виртуализации, как виртуальная ОС и виртуализованный ресурс. В рамках этого материала речь пойдет о виртуализации ресурсов, применение которой в ВК позволяет говорить о построении виртуализованного комплекса.

Виртуализованный комплекс

К комплексу IDC Казахтелеком в полной мере можно применить понятие виртуализованный. В ЦОД IDC используются виртуальные домены, web-серверы, базы данных, почтовые системы, виртуальные серверы и множество сопутствующих решений. Реализовать обширные возможности виртуализации позволили такие продукты, как: ПО Parallels Virtuozzo ( виртуализация операционных систем), а также дисковые массивы NetApp, предоставляющие широкий функционал по управлению дисковым пространством.

Предназначение комплекса

Стратегической целью создания комплекса IDC Казахтелеком является развитие Казахстанского сегмента сети Интернет. Вычислительный комплекс IDC предназначен для обеспечения Интернет-сервисов и услуг Центра обработки данных, предоставляемых клиентам АО «Казахтелеком», а также необходимых служебно-функциональных систем для работы данных сервисов, функций управления подсистемами и учета. Доступ к хостинговой системе осуществляется через web-портал комплекса http://www.idhost.kz/. Через этот web-ресурс клиенты Казахтелеком могут ознакомиться с тарифами на услуги, а также получить доступ
ко всем предоставляемым хостинговым услугам.

 

Площадки комплекса IDC расположены во всех крупных городских центрах Казахстана. Центральные площадки в городах Алматы и Астана обеспечивают предоставление полного спектра хостинговых услуг: как аренду ресурсов собственного оборудования (dedicated-хостинг), так и размещение в data-центре серверов клиента (colocation). Региональные площадки предоставляют только услуги colocation. География размещения хостинговых площадок приведена на Рис. 1 .

 

Рис. 1. География размещения ЦОД под услуги хостинга

Вычислительный комплекс IDC реализован на основе различных программных продуктов и набора аппаратного обеспечения. Основой для реализации услуг хостинга служит ПО Parallels Virtuozzo, а в качестве хранилища для данных вычислительного комплекса выступает дисковый массив NetApp. Кроме основных компонент (ПО для реализации хостинга и устройство хранения для размещения пользовательских данных), в составе комплекса IDC можно выделить ряд подсистем: хостинга, электронной почты, хранения данных, резервного копирования и сетевой инфраструктуры.

В составе комплекса функционирует такое аппаратное обеспечение, как: серверы платформ Sun/SPARC и Intel/x86, дисковый массив NAS, ленточная библиотека и коммутаторы сетей Ethernet и SAN. Программное обеспечение, используемое в составе комплекса IDC, представляет собой как системное ПО (ОС Solaris, Windows и Linux), так и прикладное ПО для организации хостинга Parallels Virtuozzo, почтовые системы CommuniGate и Qmail, СУБД MS SQL и MySQL и ПО резервного копирования Veritas NetBackup.

Остановимся подробнее на ключевых сервисах виртуализованного комплекса IDC.

Аспекты применения дисковых массивов NetApp в виртуализованных комплексах

При построении виртуализованного комплекса необходимо решать множество задач, от которых будет зависеть эффективность его дальнейшего функционирования. Для удовлетворения разнообразных требований функционирующего в составе комплекса ПО система хранения данных должна обладать такими характеристиками, как: гибкость, масштабируемость, высокая производительность, отказоустойчивость, простота управления и т.д.

В качестве дискового массива, способного эффективно решать весь спектр стоящих перед ним задач, был выбран представитель старшей линейки массивов NetApp серии FAS6000 (файлер). Дисковые массивы NetApp серии FAS являются высокопроизводительными, отказоустойчивыми, масштабируемыми системами хранения, которые обеспечивают работу значительного количества самых разнообразных приложений. Ко всему прочему, применение единого консолидированного хранилища позволяет достичь таких важных целей, как: снижение энергопотребления занимаемых площадей и расходов на охлаждение, упрощение процедуры расширения, упрощение затрат на администрирование и т.п.

Используемый в комплексе IDC дисковый массив NetApp 6040A представляет собой дисковое хранилище масштаба предприятия и позволяет получать как блочный доступ к данным, используя технологии FCP (SAN) и iSCSI (LAN), так и файловый доступ по протоколам NFS и CIFS (LAN). Массив состоит из аппаратного кластера из двух управляющих модулей (контроллеров), работающих в режиме Active-Active, и дополнительных дисковых модулей (как с дисками FC, так и с дисками SATA), подключенных к управляющим посредством нескольких независимых оптических петель таким образом, что каждый контроллер может работать с любым из дисковых модулей. Подключение массива FAS6040A к локальной сети производится по двенадцати сетевым интерфейсам 1 Гбит/с, подключение к сети SAN – по восьми интерфейсам 4 Гбит/с. Питание управляющих модулей обеспечивается от двух независимых источников. Таким образом, дисковый массив представляет собой отказоустойчивое кластерное решение, включающее в себя дублирование основных аппаратных компонентов. Надежность дисковых емкостей массива обеспечивается путем использования технологий RAID уровня 4 и DP.

Подключение серверов

Необходимым условием построения виртуализованного комплекса является возможность выделения серверам дисковых ресурсов массивов по различным протоколам доступа. Подобная необходимость обусловливается значительным ассортиментом используемого в вычислительных комплексах программного обеспечения.

Применяемое программное обеспечение направлено на решение различных задач, что служит определяющим фактором при выборе наиболее подходящего протокола доступа к данным для целей ПО. Ниже рассмотрим наиболее подходящее применение каждого из протоколов доступа при построении виртуализованного комплекса.

Файловый доступ

Использование файлового доступа к данным по протоколам NFS и CIFS в виртуализованных комлексах позволяет достигать значительной гибкости в распределении ресурсов и управлении дисковым пространством. Основные преимущества файловых протоколов заключаются в удобстве организации доступа и возможности разделять один и тот же ресурс между несколькими серверами. Это обуславливает выгоду использования NFS и CIFS для организации доступа к данным, когда не требуется высокая скорость и низкие задержки при доступе к данным.

В дисковых массивах NetApp применение файловых протоколов NFS и CIFS позволяет наиболее полно использовать предоставляемые возможности ПО. Так, применение файловых ресурсов массива (томов) позволяет использовать следующие возможности:

• онлайновое увеличение или уменьшение размера тома;
• не требуется резервирование дискового пространства для:
  • создания снапшотов и восстановления данных из снапшотов (SnapRestore);
  • включения дедупликации на томах (A-SIS);
• выполнение резервного копирования данных на томе по протоколу NDMP, минуя локальную сеть (по SAN напрямую на ленточные накопители);
• предоставление доступа к данным на томе для нескольких серверов в режиме чтения/записи;
• выполнение резервного копирования данных на томе при помощи NetBackup, используя механизм снапшотов (см.раздел «Снапшоты») NetApp.

При построении виртуализованного комплекса IDC Казахтелеком файловый доступ выбран как лучший из всего, что отвечает требованиям почтовой системы.

Для размещения данных внутренней почтовой системы  CommuniGate на массиве NetApp создан разделяемый том, подключенный к серверам по протоколу NFS. Использование файлового ресурса NFS позволило подключить разделяемое дисковое пространство ко всем серверам в составе кластера CommuniGate, настроить периодическое создание снапшотов средствами массива, а также активировать дедупликацию на томе с данными почтовой системы.

Использование дедупликации для почтовой системы позволило сократить объем занятого данными пространства. Автоматически создаваемые по планировщику снапшоты не влияют на производительность работы приложения, их создание занимает не больше нескольких секунд независимо от объема тома. При этом содержимое снапшотов можно просмотреть в режиме «только чтение» по протоколам NFS или CIFS и, при необходимости, скопировать необходимые файлы и директории без восстановления тома из снапшота полностью.

Для резервного копирования данных почтовой системы выбрана схема копирования по SAN на ленточные накопители с использованием протокола NDMP. При этом всем процессом управляет мастер-сервер NetBackup, данные резервного копирования дисковый массив через выделенные порты Fibre Channel передает на накопители ленточной библиотеки. В результате, несмотря на то, что данные почтовой системы представляют собой множество мелких файлов, использование схемы резервного копирования по NDMP позволило достичь скорости более 100 МБ/сек. Это было бы недостижимо в случае с обычным пофайловым резервным копированием, скорость которого ограничивается из-за задержек файловой системы во время считывания множества мелких файлов.

Блочный доступ

Использование блочного доступа к данным по протоколам iSCSI и FCP в виртуализованных комплексах позволяет удовлетворять повышенным требованиям приложений к производительности и времени отклика дисковой подсистемы (в случае с FCP), а также получать доступ к внешнему дисковому пространству на серверах при минимальном вмешательстве в ОС (в случае с iSCSI). Блочные протоколы доступа незаменимы для приложений, которые не способны использовать для работы файловые ресурсы NFS и CIFS и которым необходимы локальные дисковые ресурсы с поддерживаемой ОС файловой системой. Кроме того, для части приложений определяющим фактором является именно производительность и время отклика. Протокол FCP из-за высокой скорости передачи в среде SAN (1, 2, 4, 8 Гбит/сек) и низких задержек среды целесообразно использовать для размещения данных СУБД, а протокол iSCSI  –  для приложений, в которых существует необходимость использовать блочные устройства, но нет необходимости в высокой производительности дискового ресурса. Весомым аргументом в пользу организации доступа к некритичным, с точки зрения производительности, ресурсам по iSCSI по сравнению с использованием протокола FCP является стоимость. Подключение по iSCSI может быть выполнено через существующее подключение к локальной сети с использованием ПО iSCSI Software Initiator. При этом нет необходимости устанавливать дополнительные адаптеры HBA для подключения к сети SAN, портовая емкость экономится для более критичных к производительности задач.

Распределение дискового пространства

В виртуализованных комплексах особенно важна возможность выделения дисковых ресурсов серверам по различным протоколам доступа, а также способность гибко перераспределять существующее дисковое пространство между серверами. Необходимость перераспределения пространства постоянно возникает в процессе функционирования любого вычислительного комплекса.

При построении виртуализованного комплекса IDC Казахтелеком блочный доступ был выбран потому, что он лучше всего отвечает требованиям СУБД, серверов виртуального хостинга и ПО резервного копирования.

 

Для размещения данных БД хостинга UNIX (СУБД MySQL) и БД хостинга Windows (MS SQL) на массиве NetApp созданы луны, которые подключены к серверам баз данных по протоколу FCP.

 

Для размещения данных хостинга виртуальных серверов Linux и Windows используются луны массива, подключенные к серверам по протоколам FCP и iSCSI. На выделенных серверам блочных устройствах при помощи ПО Parallels Virtuozzo VPS создаются виртуальные серверы Linux и Windows для предоставления в пользование клиентам Казахтелеком. Для томов NetApp, содержащих подключенные к серверам луны, настроено создание снапшотов.

 

Блочное устройство NetApp выбрано для размещения промежуточного хранилища данных резервного копирования ПО NetBackup.

 

В качестве протокола подключения используется FCP, чтобы исключить влияние трафика резервного копирования на локальную сеть.

Одним из основных преимуществ дисковых массивов NetApp является возможность гибкого перераспределения дискового пространства не только между серверами, но и между протоколами доступа. При этом выполнение подобных операций не влияет на доступность данных для серверов и приложений. Подобная гибкость достигается за счет применения технологии NetApp Flexible Volumes и возможностей файловой системы WAFL. Использование WAFL также позволяет увеличивать и уменьшать размеры томов NetApp в режиме онлайн.

Применительно к виртуализованным комплексам гибкость перераспределения дискового пространства обуславливается следующими возможностями:

• файловые ресурсы (тома), подключенные к серверам по протоколам файлового доступа (NFS или CIFS), могут быть динамически расширены или уменьшены. Возможна настройка автоматического расширения томов при заполнении файловой системы;
• агрегат RAID-4 или DP может быть динамически расширен путем добавления в него одного или нескольких физических дисков;
• блочные ресурсы (луны), подключенные к серверам по протоколам блочного доступа (FCP или iSCSI), могут быть динамически расширены в пределах свободного пространства тома.

Подобные операции не приводят к прерыванию доступа к данным, размещенным на массиве, и происходят незаметно для функционирующих в вычислительном комплексе приложений. Кроме того, гибкость управления дисковым пространством обусловлена:

• возможностью выделения серверам дискового пространства без резервирования его на дисках. Гибкое резервирование может быть использовано для того, чтобы заранее выделить приложениям дисковый объем, больший, чем фактически имеющийся на дисках. В процессе работы системы и роста объема данных фактический объем пространства может быть расширен незаметно для приложений;
• возможностью динамического изменения объема резервируемого пространства для снапшотов.

Масштабируемость

Большое значение в виртуализованных комплексах имеет способность наращивать дисковое пространство. Согласно отчетам IDC, рост объемов хранимых и обрабатываемых данных составляет не менее 70% в год. В условиях непрерывного роста объемов данных приложений трудно переоценить важность масштабируемости дисковых массивов.

Показатели масштабируемости используемых в построенном комплексе IDC Казахтелеком массивов NetApp уровня предприятия позволяют удовлетворять требованиям растущих объемов данных. Используемый дисковый массив NetApp FAS6040A представляет собой дисковый массив из старшей линейки массивов NetApp. К FAS6040 могут быть подключены до 840 жестких дисков в составе 60-ти дисковых полок. При этом дисковые полки могут быть с дисками типов SATA, Fibre Channel и SAS1. Так, максимальная емкость дискового массива FAS6040 может составлять 840 ТБ при использовании дисков SATA и 252 ТБ при использовании дисков FC2.

Помимо увеличения количества подключенных дисков, массив поддерживает установку дополнительных адаптеров для расширения числа портов подключения. Поддерживается установка дополнительных адаптеров PCIe и PCI-X. Так для использованного при построении комплекса массива NetApp FAS6040A количество доступных портов Ethernet может составлять от 12 до 52 портов, портов Fibre Channel – от 16 до 56.

Резервное копирование

Система резервного копирования является неотъемлемым компонентом любого крупного вычислительного комплекса. СРК предназначена для обеспечения ключевых систем вычислительного комплекса резервными копиями с целью восстановления данных в случае их частичной или полной потери. Достижение целей СРК, которые диктуют используемые приложения, напрямую зависит от возможностей ПО резервного копирования по интеграции с различными программными и аппаратными продуктами, в том числе с применяемыми дисковыми массивами. От того, насколько дисковые системы хранения могут быть интегрированы с системой резервного копирования, зависит эффективность работы СРК в целом.

Рис. 2. Логическая схема РК по NDMP

Так, дисковые системы NetApp обеспечивают следующие виды интеграции с СРК:

• управление операциями создания снапшотов и восстановления из них при помощи ПО резервного копирования, используя функционал самих массивов;
• реализацию схемы резервного копирования данных без использования локальной сети (LAN-free backup).

Дисковые массивы NetApp предоставляют возможности интеграции с различными ПО резервного копирования. Для выполнения РК больших объемов данных целесообразно использовать решение LAN-free backup, позволяющее выполнять передачу данных на ленточные устройства, минуя локальную сеть. Для реализации подобной схемы ленточные накопители библиотеки подключаются по SAN к дисковому массиву NetApp, и передача трафика резервного копирования производится напрямую с массива на ленточное устройство. При этом управление библиотекой и операциями РК осуществляется мастер-сервером NetBackup по протоколу NDMP. Такая схема называется direct NDMP.

Для совместного использования накопителей ленточной библиотеки для операций резервного копирования данных дискового массива NetApp и клиентов СРК используется специальная лицензия.

Логическая схема РК с использованием NDMP приведена на рис. 2

Снапшоты

Для разнообразных приложений, использующихся в виртуализованных комплексах, мгновенные снимки (SnapShot) могут позволять эффективно решать задачи резервного копирования. Особенностью метода SnapShot компании NetApp является то, что при создании моментального снимка дублирование данных не производится –  блоки данных, относившиеся на момент создания к активной файловой системе WAFL, переводятся в режим «только чтение», и все дальнейшие блоки данных, записываемые на том, попадают на другие физические блоки. Сам же снапшот представляет собой карту указателей на физические блоки данных.

При удалении снапшота занимаемые им блоки данных освобождаются для дальнейшей работы, при восстановлении из снапшота происходит замена карты блоков активной файловой системы картой блоков снапшота. Основным преимуществом этого метода создания моментальных снимков является высокая скорость – создание снимков и восстановление из снимков занимает всего несколько секунд. Также, благодаря такой технологии, при незначительном количестве изменений первоначальных данных существенно экономится место, необходимое для хранения копий всех данных, что дает огромное преимущество по сравнению с другими решениями. Управляющее ПО массива ONTAP предоставляет необходимый инструментарий для управления моментальными снимками: созданием, восстановлением, удалением, обеспечивает возможность периодического создания снимков по планировщику, а также обеспечивает удобный доступ к ранее созданным моментальным снимкам. Снимки доступны для просмотра и копирования в режиме «только для чтения».

Наиболее эффективным является использование мгновенных снимков для томов NetApp, выделенных серверам по протоколам файлового доступа. В этом случае изменяемые приложениями данные тома будут записываться в зарезервированную для снапшотов область или, при отсутствии резервирования, на свободное пространство тома. При использовании снапшотов для лунов (LUN) NetApp, выделенных серверам по протоколам блочного доступа, требуется выделение на томе свободного пространства, не меньшего, чем полный размер луна.

В виртуализованном комплексе IDC Казахтелеком используется создание резервных копий данных средствами NetApp SnapShot для файловых и блочных ресурсов, таких как: внутренняя и внешняя почтовые системы, веб-серверы, серверы виртуального хостинга, данные резервных копий Virtuozzo и т.д.

Гибкость

Помимо приведенных выше аспектов, имеющих первоочередную важность для работы виртуализованного комплекса, существует множество дополнительных факторов, которые могут возникнуть в процессе функционирования вычислительного комплекса. То, насколько хорошо применяемое для построения комплекса оборудование способно адаптироваться к изменяющимся условиям, характеризуется гибкостью.

Касательно дисковых массивов NetApp их гибкость характеризуется поддержкой множества различных протоколов, типов подключаемых серверов и ленточных устройств хранения и т.п. Кроме того, NetApp выпускает большое количество программных продуктов, позволяющих выполнять самые разные функции.

Основной функционал дисковых массивов NetApp реализуется как за счет возможностей управляющего ПО ONTAP, так и с использованием дополнительных программных продуктов NetApp. Наиболее значимыми для виртуализованных комплексов являются следующие возможности дисковых массивов:

• «гибкие тома» (Flexible Volumes);
• дедупликация данных (ПО A-SIS);
• технология мгновенных снимков (SnapShots) и быстрого восстановления из них (ПО SnapRestore). ПО NetApp SnapRestore использует реализованную в Data ONTAP функцию Snapshot, обеспечивающую практически мгновенное восстановление любого объема информации, от одного файла до многотерабайтных томов данных;
• возможность клонирования томов (ПО FlexClone). Каждый клонированный том представляет собой копию данных, доступную в режиме чтения/записи. При этом копирование данных при создании клона не выполняется, при клонировании используется механизм мгновенных снимков;
• возможность создавать логические дисковые массивы внутри физических (ПО MultiStore). При помощи MultiStore можно превратить единую систему хранения NetApp в несколько отдельных хранилищ. ПО MultiStore обеспечивает безопасное разделение сетевых ресурсов и ресурсов хранения;
• возможность репликации томов по сети ЛВС (ПО SnapMirror);
• возможность интегрировать создание резервных копий специфических приложений с механизмом мгновенных снимков NetApp (ПО SnapManager). Возможно использование SnapManager для различного ПО:
  • SnapManager для Microsoft Exchange;
  • SnapManager для Oracle;
  • SnapManager для Microsoft SQL Server;
  • SnapManager для Microsoft SharePoint Server;
  • SnapManager для SAP;
  • SnapManager для Virtual Infrastructure.
• возможность обеспечить защиту критичных данных с помощью зеркалирования агрегатов (ПО SyncMirror). В SyncMirror объединены функции защиты данных с помощью зеркалирования (RAID-1) и технологии NetApp RAID-4 и RAID-DP. SyncMirror сохраняет две доступные копии данных, обеспечивая дополнительную защиту в случае аппаратных сбоев.

Выводы

Построение такого крупного виртуализованного комплекса, как IDC Казахтелеком, стало возможно благодаря использованию таких передовых решений, как технологии ПО виртуализации Parallels и технологий, реализуемых дисковыми массивами NetApp. Комплекс IDC Казахтелеком, построенный с учетом применения подходов виртуализации, позволяет эффективно решать поставленные перед ним задачи.

Дисковые массивы NetApp представляют собой эффективную платформу для построения виртуализованных комплексов, позволяя организовывать централизованные хранилища, обладающие значительной гибкостью и обширным функционалом. Объединение множества функций в одном устройстве значительно упрощает администрирование системы, сокращает стоимость дискового пространства, а также позволяет гибко реагировать на изменяющиеся потребности прикладных систем. Таким образом, дисковые массивы NetApp могут выступать в роли файл-серверов Windows и UNIX, хранилищ данных почтовых систем, образов виртуальных машин, данных СУБД, промежуточных данных резервного копирования, предоставлять серверам дисковое пространство по протоколам блочного доступа и т.д. Подобный функционал сопровождается возможностью использования различных программных возможностей, таких как: использование снапшотов, дедупликация данных, клонирование томов, репликация по IP-сети, зеркалирование по SAN и т.д. Широчайшие возможности применения этих массивов позволяют строить сложные виртуализованные комплексы с множеством разнородного ПО, позволяющего решать задачи значительного уровня сложности.