Там, где живут серверы

Введение

В век высоких технологий мы уже не мыслим свое существование без компьютерной техники. Различные достижения ИT-индустрии проникли во все сферы нашей деятельности, прочно вошли в быт и воспринимаются уже как нечто совершенно естественное и обыденное. Мобильная связь, Интернет, электронная почта – человек не может обходиться без этих «простых» и нужных услуг. Их поставщиками являются, как известно, крупные компании-операторы. А задумывались ли вы, какое оборудование помогает двум мобильным телефонам взаимодействовать между собой? Где хранится информация обо всех номерах абонентов? Где физически расположен Ваш электронный ящик? Ответ на этот вопрос, казалось бы, прост – в основе всех предоставляемых сервисов лежит высокопроизводительное вычислительное оборудование, расположенное… Действительно, а где оно расположено? Если учитывать тот факт, что вычислительного оборудования должно быть ОЧЕНЬ много, его эксплуатация требует соблюдения определенного, довольно обширного и жесткого перечня условий, то можно предположить, что для данного типа оборудования просто необходимо создавать специализированные технические помещения. Так исторически сложилось, что данные помещения в России имели несколько разных названий: «серверная», «вычислительный центр», «машинный зал» и т.д. Сейчас к ним добавилось еще одно – «ЦОД» (Центр обработки данных). «ЦОД» является русским аналогом англоязычного «Data Center», которое пришло к нам из американской технической литературы (в частности, стандарта на построение ЦОД – ANSI/TIA/EIA-942).

Наличие надежного Вычислительного центра (или ЦОД) в настоящее время является одним из главных условий успешного ведения бизнеса. Но требуемый уровень надежности невозможно обеспечить только за счет качественных элементов. При построении ЦОД важно понимать назначение, особенности, степень взаимодействия его отдельных элементов.

Данный выпуск посвящен ЦОД-ам и их инженерной инфраструктуре, т.е. помещениям, которые защищают и обеспечивают бесперебойную работу столь нужного нам всем высокопроизводительного вычислительного оборудования. Статья поможет читателю лучше понять, из чего состоит помещение ЦОД, какие бывают ЦОД-ы, как их можно классифицировать и т.д.

Инженерная инфраструктура ЦОД

Центр обработки и передачи данных (ЦОД) - здание или часть здания, которая используется преимущественно для размещения вычислительного центра и помещений его технической поддержки (это определение ЦОД дано в стандарте ANSI/TIA/EIA-942).
Чтобы обеспечить возможность размещения и эксплуатации вычислительного оборудования в помещении (помещениях), в нем необходимо смонтировать некоторый комплекс инженерных систем (называемых инженерной инфраструктурой ЦОД), который обеспечит защиту и бесперебойную работу вычислительного комплекса.

Инженерной инфраструктурой ЦОД называется совокупность технических компонентов, обеспечивающих основную поддержку работы и соблюдение комплекса условий эксплуатации оборудования вычислительного центра.

К основным условиям технической эксплуа­тации вычислительного оборудования относится обеспечение:

• общего электроснабжения;
• гарантированного электроснабжения;
• бесперебойного электроснабжения;
• поддержания климатических параметров в помещении;
• информационного взаимодействия вычислительного оборудования.

Выполнение условий технической эксплуатации обеспечивается при помощи построения соответствующих инженерных систем:

• системы общего электроснабжения;
• системы гарантированного электроснабжения;
• системы бесперебойного электроснабжения;
• системы вентиляции и кондиционирования ЦОД;
• структурированной кабельной системы.

В составе инженерной инфраструктуры ЦОД также выделяются системы, обеспечивающие удобство обслуживания, защиту устанавливае­мого оборудования от несанкционированного доступа, защиту от повреждения вследствие пожара, затопления и т.д. Данные инженерные системы также являются очень важными, однако они выполняют вспомогательные (не основные) функции инженерной инфраструктуры ЦОД. Их можно считать второстепенными и рассматривать отдельно от основных инженерных систем ЦОД:

• система пожарной сигнализации и пожаротушения, предназначенная для своевременного обнаружения, локализации и тушения очага возгорания внутри ЦОД;
• система охранной сигнализации, видеонаблюдения и контроля доступа, предназначенная для обеспечения регламентированного доступа к оборудованию ЦОД и визуального наблюдения за происходящим внутри ЦОД;
• система закладных и кабельных каналов, предназначенная для защиты и упорядоченной прокладки слаботочных и силовых кабелей внутри ЦОД, а также трасс системы кондиционирования;
• система электрического освещения, предназначенная для обеспечения основного и резервного освещения помещений ЦОД;
• система мониторинга климатических параметров, предназначенная для сбора, обработки, хранения информации о состоянии климатических параметров внутри помещения ЦОД и т.д.

В рамках данной статьи мы остановимся более подробно на основных инженерных системах ЦОД.

Система общего электроснабжения

Система общего электроснабжения предназначена для обеспечения электроснабжения потребителей ЦОД. Она представлена кабельными вводами от городских электрических сетей и щитом общего элек­троснабжения ЦОД. Кабели общего электроснабжения ЦОД могут быть проложены как от трансформаторной подстанции, так и от ГРЩ здания, в котором производится построение вычислительного центра. Поскольку электроприемники ЦОД (потребители) являются потребителями первой категории (оборудование обслуживающих систем, в частности, системы кондиционирования), то их электроснабжение необходимо производить от двух независимых источников, которыми могут являться либо два ввода от независимых трансформаторных подстанций городских электрических сетей, либо ввод от ТП и ввод от дизельной (возможно, газовой) генераторной электростанции. Электроснабжение серверной (всех потребителей ЦОД) рационально осуществлять от единого щита общего электроснабжения ЦОД, в состав которого входят устройства автоматического ввода резерва для обеспечения требований по электроснабжению потребителей первой группы.

Основными потребителями системы являются:

• система освещения;
• система бесперебойного электроснабжения (которая обеспечивает электроснабжение вычислительного оборудования);
• система кондиционирования.

Система гарантированного электроснабжения

Система предназначена для обеспечения резервирования электроснабжения потребителей ЦОД на случай пропадания основного питания в городской электрической сети. В состав системы гарантированного электроснабжения входят местные элек­тростанции (в частности, газовые либо дизельные), предназначенные для резервирования электроснабжения, предоставляемого городскими электрическими сетями. Использование местных элек­тростанций повышает надежность инженерной инфраструктуры ЦОД, снижая общее время простоя в год. Ввод от местной электростанции также может быть использован как резервный для питания потребителей первой группы электроснабжения в случае наличия только одного независимого ввода от городских электрических сетей (одного ввода от одной трансформаторной подстанции). В общем случае использование местных электростанций позволяет получить независимость от городских электрических сетей. Использование системы гарантированного электроснабжения необходимо в случаях наличия только одного ввода от городской ТП либо при необходимости получения дополнительной надежности электроснабжения ЦОД и независимости от городских электрических сетей.

Система бесперебойного электроснабжения

Система бесперебойного электроснабжения (комплекс ИБП) и распределительная сеть бесперебойного электроснабжения предназначена для обеспечения электроснабжения ответственных потребителей ЦОД (вычислительное оборудование, которое является потребителем особой группы первой категории) стабильными показателями качества электроэнергии. Система основывается на источниках бесперебойного питания (комплексе ИБП), позволяющих обеспечивать электричеством вычислительное оборудование ЦОД во время аварий в системе общего электроснабжения. Электроснабжение оборудования ЦОД в данном режиме осуществляется за счет энергии аккумуляторных батарей, входящих в состав системы бесперебойного элек­троснабжения. Кроме основной функции – обеспечения временного резервирования источников питания, комплекс СБЭ выполняет еще и обеспечение электроснабжения вычислительного оборудования со стабильными показателями электроэнергии. Таким образом, комплекс СБЭ выступает в роли фильтра электрических сетей и защищает вычислительное оборудование от некачественного электроснабжения, которое может быть в питающей сети.

Надежность комплекса ИБП определяется его топологией, т.е. структурой построения. Структура комплекса ИБП определяется на этапе подготовки технического задания. Выбор структуры комплекса основывается на пожеланиях заказчика к надежности и основным характеристикам системы, которыми являются мощность комплекса и обеспечиваемое время автономной работы от энергии аккумуляторных батарей.

Мощность комплекса ИБП определяется суммарной мощностью потребителей, питаемых от комплекса, а также характеристиками подключаемой нагрузки. Основная нагрузка, подключаемая к комплексу ИБП в ЦОД, – это вычислительное оборудование. На этапе подготовки техниче­ского задания определяются с количеством стоек оборудования ЦОД, а также энергопотреблением каждой стойки. Сложение максимального энергопотребления каждой стойки дает максимальную мощность подключаемой нагрузки. Мощность комплекса ИБП (максимальная) должна превосходить максимальную мощность подключаемой нагрузки, причем за мощность комплекса ИБП берется суммарная мощность его блоков в аварийном режиме работы комплекса ИБП с учетом схемы резервирования.

В большинстве случаев состав потребителей, подключаемых к системе бесперебойного электроснабжения, выглядит следующим образом:

• серверное оборудование, установленное в монтажных шкафах ЦОД;
• активное сетевое оборудование ЦОД;
• оборудование системы освещения безопаснос­ти и эвакуационного освещения ЦОД;
• оборудование системы мониторинга климатических параметров ЦОД;

Однако, зачастую, в целях экономии средств предпринимаются попытки бесперебойного элек­троснабжения оборудования, имеющего в своем составе мощные электродвигатели (например, различные агрегаты системы кондиционирования). Необходимость включения в состав потребителей оборудования системы кондиционирования обусловлена, чаще всего:

• отсутствием возможности организации элек­троснабжения ЦОД по первой категории элек­троснабжения, согласно ПУЭ (отсутствие двух независимых вводов электроснабжения от городских электрических сетей на площадке построения ЦОД);
• желанием сэкономить на построении системы гарантированного электроснабжения (на построении системы дизель-генераторных установок).

В подобных системах предполагается, что комплекс ИБП (СБЭ) обеспечивает не только электроснабжение потребителей, описанных выше, но и оборудования комплекса системы кондиционирования, позволяющей осуществлять отвод тепла от оборудования ЦОД на время корректного завершения работы серверного оборудования. Однако при построении подобной системы бесперебойного электроснабжения, следует понимать, что:

• электроснабжение серверного оборудования осуществляется, в данном случае, как потребителей первой категории (а не как потребителей особой группы первой категории);
• высокие пусковые токи питаемой нагрузки (оборудования системы кондиционирования) не позволяют комплексу ИБП выполнять функцию электроснабжения со стабильными показателями электроэнергии, т.к. в режиме запуска электродвигателей системы кондиционирования напряжение в сети (после ИБП) может существенно падать, что может негативным образом сказаться на работе серверного оборудования;
• обеспечение работы комплекса ИБП с подобными нагрузками происходит за счет существенного увеличения мощности комплекса ИБП;
• питание дополнительной нагрузки (оборудования системы кондиционирования) требует увеличения количества аккумуляторных батарей для обеспечения требуемого времени автономной работы.

Питание оборудования системы кондиционирования от комплекса СБЭ может быть оправдано только для маломощных серверных (и, как следствие, маломощных систем кондиционирования) либо с применением особых схем систем кондиционирования (например, системы с внешней чиллерной установкой и накопительным аккумуляторным баком, обеспечивающим накопление хладагента). В общем случае, для «традиционного ЦОД», питание оборудования системы кондиционирования от комплекса ИБП не рекомендуется. Оборудование системы кондиционирования является потребителем первой группы и его электроснабжение осуществляется без использования оборудования ИБП. В особых случаях (описанных выше) допускается строить отдельную систему бесперебойного электроснабжения, обеспечивающую питание либо маломощной системы кондиционирования, либо отдельных агрегатов этой системы (например, циркуляционных насосов и вентиляторов внутренних блоков, при использовании чиллерной системы кондиционирования).

Для выполнения своей основной функции – резервирования источников питания и электроснабжения вычислительного оборудования без разрыва синусоиды – в состав комплекса ИБП входят аккумуляторные батареи, количество которых определяет время автономной работы для заданной нагрузки (суммарная нагрузка для всех потребителей, питаемых от комплекса ИБП). Режим работы от аккумуляторных батарей следует считать аварийным, а обеспечение работы вычислительного оборудования от комплекса ИБП – временной мерой (также аварийной). Длиться она должна не более необходимого времени на принятие решения по способу устранения аварийной ситуации и ее ликвидации. Стандартом ANSI/TIA/EIA-942 определено рекомендуемое время автономии, обеспечиваемое комплексом ИБП: 15 минут при заданной нагрузке. Этого времени достаточно (в большинстве случаев) для автоматического запуска ДГУ (или ввода резервной линии электроснабжения) либо корректного завершения работы вычислительного комплекса. Время автономии комплекса ИБП определяется на этапе подготовки технического задания и обусловлено конкретными требованиями заказчика, его финансовыми возможностями, а также наличием необходимого помещения для размещения оборудования ИБП (увеличение времени автономии резко увеличивает требуемое пространство для размещения аккумуляторных батарей). Немаловажным, часто ограничивающим фактором для выбора помещения комплекса СБЭ, является несущая способность перекрытий и этаж, на котором расположено помещение. Следует помнить, что батарейные кабинеты – наиболее тяжелое оборудование инженерных систем ЦОД.

Обеспечение электроснабжения потребителей СБЭ осуществляется при помощи распределительной сети, в состав которой входят:

• распределительные электрощиты (с автоматическими аппаратами защиты);
• провода и кабели электроснабжения;
• подготовленные трассы для проводов и кабелей;
• розетки для подключения электроприемников (расположенные в непосредственной близости от подключаемой нагрузки, например, в монтажном шкафу).

Система вентиляции и кондиционирования ЦОД

Система вентиляции и кондиционирования ЦОД предназначена для обеспечения климатических условий эксплуатации оборудования ЦОД, т.е. для поддержания:

• требуемого температурного режима;
• требуемых показателей влажности;
• требуемых характеристик запыленности (т.е. фильтрации воздуха).

Система кондиционирования состоит из внутренних блоков, обеспечивающих забор горячего воздуха и раздачу холодного воздуха в помещении ЦОД, а также внешних блоков, размещаемых на улице и обеспечивающих теплообмен.

Способ (схема) размещения внутренних блоков в помещении ЦОД обусловлен принимаемой схемой теплоотвода. Она, в свою очередь, обусловлена требуемыми количественными характеристиками по теплоотводящей способности системы кондиционирования, а также способу размещения оборудования ЦОД.
Традиционной для построения ЦОД считается схема организации системы кондиционирования, в которой холодный воздух раздается под фальшполом, к стойкам холодный воздух раздается при помощи вентиляционных решеток, расположенных перед стойками с оборудованием. В данном случае фальшпол выступает в роли единого воздуховода, предназначенного для раздачи холодного воздуха. Забор нагретого воздуха в этой схеме осуществляется из верхней зоны (части помещения). Такая схема кондиционирования является на данный момент наиболее экономически обоснованной и часто используемой, однако не может обеспечить высоких показателей теплоотвода, которые в настоящий момент все чаще предъявляются в качестве требований к возможностям ЦОД.

Для обеспечения высоких показателей теплоотвода (ориентировочно, свыше 8 кВт со стойки) требуется применение специализированных схем построения систем кондиционирования. Примером могут выступать решения, предлагаемые компаниями APC и IBM, в которых обеспечивается изоляция «холодного» либо «горячего» коридоров и отсутствие смешивания холодного и горячего воздуха. Зачастую, для повышения показателей теплоотвода применяются закрытые стойки с индивидуальными блоками кондиционеров (подобные системы представлены производителями монтажных шкафов, например, Rittal, Panduit, APC и др.). Чаще всего подобные системы строятся с применением чиллерных установок – систем, функционирующих на холодной воде (хладагентом в данном случае выступает водный раствор этилен­гликоля).

Как и все оборудование основных обслуживающих инженерных систем ЦОД, оборудование системы кондиционирования должно быть зарезервировано, т.е. используемые схемы построения с целью повышения надежности являются избыточными.

Важной характеристикой этой системы является возможность ее работы в зимний период при отрицательных температурах. Для достижения требуемых показателей по работе при отрицательных температурах на внешние блоки кондиционеров устанавливаются специализированные зимние комплекты. В случае чиллерной системы кондиционирования (охлаждения водой) в качестве хладагента используется раствор этиленгликоля, снижающий температуру кристаллизации хладагента.

При работе оборудования системы кондиционирования воздух в помещении неизбежно осушается. Для поддержания требуемых показателей влажности воздуха в составе систем используются парогенераторы.

Низкая запыленность воздуха обеспечивается его фильтрацией. Эта функция также может выполняться оборудованием системы кондиционирования.

Система вентиляции часто рассматривается в составе системы кондиционирования, однако является самостоятельной инженерной системой. Ее применение обусловлено не столько требованиями по обеспечению влажности в помещении (с этой задачей может справиться система кондиционирования и входящие в ее состав парогенераторы и осушители), сколько требованиями по обязательному использованию системы вентиляции в помещениях, в которых могут образовываться взрывоопасные газы, и, соответственно, удалению этих газов из помещения. Согласно ПУЭ такими помещениями являются аккумуляторные помещения (в случае ЦОД – это помещения ИБП). Поэтому оборудование системы бесперебойного электроснабжения (в частности, батарейные стеллажи или кабинеты), при большой мощности ИБП, рационально располагать в отдельных помещениях по причинам:

• обязательного требования оборудования данных помещений системой вентиляции (отдельной от системы вентиляции здания);
• более мягких требований по обеспечению климатических параметров (т.е. возможности использования более дешевого оборудования системы кондиционирования);
• значительно меньшего тепловыделения оборудования СБЭ, в сравнении с вычислительным оборудованием ЦОД;
• более высокими требованиями к несущей способности перекрытий помещений, предназначенных для размещения оборудования СБЭ.

В случае построения небольших по масштабам ЦОД оборудование СБЭ может располагаться в том же помещении, что и вычислительное оборудование. В таком случае помещение ЦОД должно быть оборудовано отдельной системой вентиляции. Если же оборудование СБЭ вынесено в отдельное помещение, построение отдельной системы вентиляции (от общей системы вентиляции здания) в основном помещении ЦОД не требуется (в случае обеспечения необходимого подпора воздуха сущест­вующей системой вентиляции здания).

Структурированная кабельная система

Структурированная кабельная система предназначена для формирования единой среды передачи информации внутри ЦОД. Поскольку передача и обработка данных является основной функцией устанавливаемого вычислительного оборудования ЦОД, то построение структурированной кабельной системы является одной из наиболее важных задач при его построении. Ввиду важности данной системы и сложности ее топологии рассмотрение структурированной кабельной системы будет и дальше продолжаться по тексту статьи.

Надежность инфраструктуры ЦОД

Основным определяющим понятием «ценности» и технологичности ЦОД является обеспечиваемый его инженерной инфраструктурой уровень безопасности и бесперебойной работы функционирующего в нем вычислительного оборудования. Характеристикой уровня безопасности и возможности бесперебойной работы (количество часов простоя оборудования в год) является надежность инженерной инфраструктуры. Ее повышение осуществляется за счет использования различных схем резервирования обслуживающих инженерных систем и благодаря правильному выбору площадки для построения ЦОД. Для понимания надежности и способов резервирования необходимо рассмотреть структуру «традиционного центра обработки данных» и его основные топологии.

Структура ЦОД

Единственным документом, описывающим структуру ЦОД, на данный момент является стандарт на построение – ANSI/TIA/EIA-942. В настоящее время идет разработка еще одного документа – Европейского стандарта на построение структуры ЦОД, но в рамках этой статьи все термины и определения соответствуют ANSI/TIA/EIA-942.

Структура ЦОД содержит в себе функциональные элементы, предназначенные для выполнения определенных задач работы центра обработки данных. Стандартом ANSI/TIA/EIA-942 определены следующие структурные элементы ЦОД:

• машинный зал;
• телекоммуникационные узлы, телекоммуникационная инфраструктура;
• узлы ввода кабельной инфраструктуры;
• коммутационные узлы;
• телекоммуникационная кабельная инфра­структура;
• электрическое и механическое оборудование технической поддержки ЦОД;
• помещения операторов;
• складские помещения ЦОД.

Машинный зал – помещение (помещения) предназначенные для размещения вычислительного оборудования ЦОД. Это основное помещение (помещения) ЦОД, определяющее его функциональное предназначение. Все остальные структурные элементы (размещаемые в машинном зале или в отдельных помещениях) обеспечивают работу вычислительного оборудования и соблюдение комплекса условий его функционирования.

Телекоммуникационные узлы, телекоммуникационная инфраструктура – структурные элементы, обеспечивающие передачу информации между вычислительным оборудованием. В их состав входят: узлы ввода кабельной инфраструктуры, коммутационные узлы, телекоммуникационная кабельная инфраструктура.

Узлы ввода кабельной инфраструктуры предназначены для обеспечения информационного взаимодействия и доступа к вычислительному оборудованию извне, посредством информационных каналов провайдеров.

Коммутационные узлы предназначены для осуществления коммутации (соединения/переключения) информационных каналов между вычислительным оборудованием. В их состав входит активное сетевое оборудование, обеспечивающее переключение информационных каналов, и пассивное коммутационное оборудование в составе патч-панелей (или информационных розеток) и информационных кабелей. Подключение портов вычислительного (серверного) оборудования к активному сетевому оборудованию, расположенному в коммутационных узлах, осуществляется посредством Телекоммуникационной кабельной инфраструктуры (Горизонтальной кабельной системы) и коммутационных панелей (или информационных розеток). Информационное взаимодействие между коммутационными узлами осуществляется посредством Телекоммуникационной кабельной инфраструктуры (Магистральной кабельной системы) и коммутационных панелей.

Электрическое и механическое оборудование технической поддержки ЦОД – включает в себя оборудование, обеспечивающее электроснабжение оборудования ЦОД (вычислительного и оборудования технической поддержки), соответствие климатических параметров помещений требованиям производителей оборудования, контроль и ограничение доступа и т.д. В состав этого структурного элемента ЦОД входит оборудование следующих инженерных систем:

• система пожарной сигнализации и пожаротушения;
• система охранной сигнализации, видеонаблюдения и контроля доступа;
• система закладных и кабельных каналов;
• система бесперебойного электроснабжения;
• система гарантированного электроснабжения;
• система общего электроснабжения;
• система электрического освещения (рабочего, аварийного и эвакуационного);
• система вентиляции и кондиционирования.

Таким образом, в состав электрического и механического оборудования технической поддержки ЦОД входят все инженерные системы ЦОД за исключением кабельной системы, которая включена в состав телекоммуникационных узлов, телекоммуникационной инфраструктуры. Часть этого оборудования, например, оборудование систем бесперебойного электроснабжения или гарантированного электроснабжения располагается вне помещения ЦОД (машинного зала), ввиду ограничений, связанных с габаритами, массой и принципом функционирования оборудования.

Рис.1. Пример редуцированной топологии ЦОД

Помещения операторов – предназначены для размещения рабочих мест обслуживающего персонала, отслеживающего сигналы систем мониторинга и осуществляющего эксплуатацию ЦОД. Информационное взаимодействие инженерных систем ЦОД с помещением операторов, а также оповещение обслуживающего персонала о событиях осуществляется посредством оборудования телекоммуникационной инфраструктуры и информационных кабелей прочих систем сигнализации.

Складские помещения ЦОД – предназначены для размещения запасных частей оборудования инженерных систем, расходных материалов, а также распаковки вновь устанавливаемого оборудования. Складские помещения должны иметь транспортные пути с подъемными устройствами (в случае необходимости) для заноса крупногабаритного оборудования. Также транспортные пути должны быть организованы между складскими помещениями и машинным залом (залами), а также помещения­ми технической поддержки ЦОД.

В составе ЦОД обязательно должны присутствовать все описанные структурные элементы, за исключением помещения операторов и складских помещений (решение об этом принимается заказчиком и согласовывается на этапе подготовки инженерного технического задания). Состав и характеристики инженерных систем ЦОД также оговариваются на этапе подготовки ТЗ.

Состав ЦОД определяется:

• требованиями к его масштабам;
• требованиями к его функциональным возможностям;
• требованиями к его надежности;
• возможностями по выделению площадей для его размещения.

Топологии ЦОД

Топология определяет функциональные возможности той или иной системы, а также возможности по резервированию оборудования в системе.

ЦОД содержит в себе несколько инженерных систем, возможности каждой из них определяются топологией и составом оборудования. Разрабатывая ту или иную топологию инженерной системы, проектировщик должен ориентироваться на требования заказчика, функциональные возможности оборудования, а также на требования местных государственных и региональных стандартов.

Рис.2. Пример базовой топологии ЦОД

Поскольку основная функция, выполняемая вычислительным оборудованием внутри  ЦОД, – это обработка и хранение информации, то рассмат­ривать топологию ЦОД следует именно с точки зрения передачи информации между его структурными элементами, т.е. с точки зрения топологии структурированной кабельной системы.

Рис.3. Пример распределенной топологии ЦОД

Стандартом ANSI/TIA/EIA-942, для примера, приводятся три основных возможных варианта топологии ЦОД (рис.1, рис.2, рис.3):

• редуцированная топология ЦОД;
• базовая топология ЦОД;
• распределенная топология ЦОД.

Редуцированная (сокращенная) топология – используется для построения небольших и средних ЦОД. Основными ее особенностями являются:

• наличие одного (главного) коммутационного узла ЦОД;
• совмещенные (конструктивно) главные коммутационные узлы здания и ЦОД.

На рисунке 1 приведен пример редуцированной топологии ЦОД. Главные коммутационные узлы на схеме расположены в главной распределительной зоне.
Недостатками данной топологии является отсутствие разграничения доступа к коммутационным узлам ЦОД и здания, а также оборудованию провайдера услуг. Использование единого коммутационного узла приводит к появлению большого количества кабелей структурированной кабельной системы (СКС), сходящихся в главной распределительной зоне. При достижении определенного количества портов, требуемых для подключения оборудования, сильно усложняется эксплуатация ЦОД, в частности, переключение (коммутация) портов в главных коммутационных узлах. Поэтому при достаточно большом количестве требуемых портов СКС следует рассматривать базовую топологию ЦОД. ЦОД с редуцированной топологией час­то используются в качестве резервных.

Базовая топология – используется для по­строения ЦОД средних и больших размеров. Основными ее особенностями являются:

• в главной распределительной зоне устанавливается только коммутационное оборудование ЦОД (т.е. главный коммутационный узел);
• наличие дополнительных коммутационных узлов (горизонтальных);
• выделенное помещение ввода кабельной инфраструктуры.

На рисунке 2. приведен пример базовой топологии ЦОД.

Особенности базовой топологии позволяют избежать появления недостатков, присущих редуцированной топологии, поскольку:

• происходит разграничение доступа к главным коммутационным узлам и оборудованию провайдеров услуг;
• кабели СКС не сконцентрированы в одном месте.

Для построения подобных ЦОД необходимо выделение нескольких помещений, что определяет требования к возможностям заказчика. Однако ЦОД, построенный по данной топологии, гораздо удобнее обслуживать, и кроме того, появляются существенные возможности к его дальнейшему масштабированию.

Распределенная топология – используется для построения отказоустойчивых ЦОД больших размеров. Ее особенностями являются:

• дублирование структурных элементов (помещений ввода операторов услуг, главных коммутационных узлов, машинных залов и т.д.);
• высокая отказоустойчивость и надежность ЦОД;
• размещение в большом количестве помещений.

На рисунке 3 приведен пример распределенной топологии ЦОД.

Использование распределенной топологии позволяет повысить общую надежность ЦОД. Для подобной топологии характерно использование большого количества помещений, используемых под размещение структурных элементов ЦОД, а также избыточность структурных элементов. Данный вид ЦОД является наиболее устойчивым к различным аварийным ситуациям, в том числе и к пожарам.

Обеспечение надежности ЦОД

Обеспечение надежности ЦОД производится за счет:

• выбора площадки (помещений) для его размещения;
• избыточности (резервирования) оборудования инженерных систем;
• избыточности (дублирования) структурных элементов ЦОД;
• размещения структурных элементов ЦОД в отдельных помещениях;
• дополнительной строительной защиты помещений ЦОД;
• выбора оборудования инженерных систем определенного уровня надежности.

Выбор площадки (помещений) для размещения ЦОД – определяется требованиями стандартов:

• международного стандарта ANSI/CSA/EIA/ TIA-942 (2006);
• строительных норм СН 512-78 (с изм. 2000).

Выбор площадки для размещения вычислительного центра определяет возможность обеспечения безопасности функционирования серверного оборудования. К наиболее критичным параметрам, которые учитываются при выборе площадки, относятся:

• напряженность электромагнитного поля внутри выделяемых помещений;
• уровни вибрации;
• наличие вероятности затопления помещений (рассматривается возможность затопления как извне, т.е. вследствие наводнения, затопления грунтовыми водами, так и затопление вследствие аварии на водонесущих магистралях систем жизнеобеспечения здания);
• наличие агрессивных сред промышленного производства и т.д.

Правильный выбор площадки для размещения ЦОД позволяет избежать многих проблем и рис­ков в процессе эксплуатации вычислительного комплекса.

Также правильный выбор местоположения может существенно снизить затраты на построение части инженерных систем: сократить длины кабельных линий, предназначенных для питания оборудования ЦОД, сократить длины информационных кабельных линий, существенно снизить производительность системы кондиционирования (это позволит не завышать стоимость, вследствие выбора площадки в южной части здания или наличия большого количества окон).

Процесс выбора площадей для строительства ЦОД является очень ответственным и важным, он определяет дальнейший состав и характеристики большинства инженерных систем, что, в конечном итоге, сказывается на стоимости ЦОД.

Избыточность (резервирование) оборудования инженерных систем Особенностью части инженерных систем ЦОД является возможность установки избыточного оборудования с целью его резервирования. Резервное оборудование может находиться как в «горячем», так и «холодном» резерве. В первом случае оно постоянно функционирует, т.о. комплекс оборудования является избыточным по своим характеристикам. Кроме того, потребляет большее количество электроэнергии, чем необходимо. Во втором случае избыточное оборудование выключено и включается в случае отказа основного. Существует несколько схем резервирования: «N+1», «N+2», «2N» и т.д., где N – количество единиц оборудования, обеспечивающего необходимые показатели для функционирования вычислительного оборудования. Часто резервирование применяется внутри оборудования ЦОД за счет использования в составе оборудования резервных агрегатов, позволяющих сохранять его функциональность в случае отказа одного из агрегатов.

Избыточность (дублирование) структурных элементов ЦОД – способ повышения надежности ЦОД за счет дублирования его целых структурных элементов, отвечающих за определенные функции вычислительного комплекса. Отличием от избыточности оборудования инженерных систем является то, что в данном случае резервируется уже не оборудование, а целые структурные единицы ЦОД. Примером могут служить построение в рамках одного ЦОД нескольких узлов ввода коммуникаций или помещений системы бесперебойного электроснабжения (комплекса ИБП). Внутри избыточных структурных единиц оборудование может быть также зарезервировано при помощи избыточности.

Размещение структурных элементов ЦОД в отдельных помещениях – повышение надежности ЦОД в данном случае связано с большей устойчивостью инфраструктуры к рискам, связанным с пожаром, несанкционированным доступом, затоплением и т.д. Размещение структурных элементов позволяет в большей степени гарантировать сохранность вычислительного оборудования и информации, представляющей наибольшую ценность. Также размещение структурных элементов ЦОД в отдельных помещениях позволяет исключить возможность негативного воздействия обслуживающего оборудования на вычислительное оборудование ЦОД.

Дополнительная строительная защита помещений ЦОД – включает в себя комплекс мер по обеспечению дополнительной защиты и устойчивости помещений, предназначенных для построения ЦОД. Примером дополнительной строительной защиты является комплекс мер по гидроизоляции помещения, предназначенный для уменьшения рисков выхода оборудования ЦОД из строя вследствие затопления. Решение о необходимости дополнительной строительной защиты помещений ЦОД принимается на основе требований заказчика, а также наличия внешних факторов, определяющих риски выхода оборудования вычислительного центра из строя (высокая вероятность затопления и т.д.).

Выбор оборудования инженерных систем определенного уровня надежности – определяется финансовыми возможностями заказчика. Вполне естественно, что более надежное оборудование стоит дороже.

Основные виды ЦОД

Рассмотрев в предыдущих разделах понятия инженерной инфраструктуры, топологии, структуры, надежности ЦОД, мы не рассмотрели только возможные способы (виды) реализации и построения вычислительного комплекса. В конечном итоге вид построенного ЦОД будет обусловлен выбором оборудования, на котором будет решено его строить. Учитывая предложения производителей инженерных систем можно выделить три основных вида ЦОД:

• «традиционный ЦОД»;
• ЦОД от производителя;
• ЦОД в контейнере.

Особенности и примеры представленных видов ЦОД описаны ниже.

«Традиционный ЦОД»

«Традиционный ЦОД» – это специально подготовленное помещение (помещения), оборудованное комплексом инженерных систем, обеспечивающих работу расположенного в его машинном зале вычислительного оборудования.
Особенностью такого вида ЦОД является большой объем (как правило) строительной подготовки помещений, предназначенных для его размещения.

Каждый «традиционный ЦОД» разрабатывается индивидуально, исходя из конфигурации предоставленных помещений и потребностей заказчика. Несомненным преимуществом такого вида ЦОД являются:

• свобода выбора планировочных решений для размещения ЦОД;
• свобода выбора производителей оборудования, исходя из финансовых возможностей заказчика и требований по уровню надежности;
• максимально задействованные помещения под строительство ЦОД.

Разработка и построение такого ЦОД обеспечивает возможность реализации системы максимально гибко и без ограничений по выбору производителей оборудования.

ЦОД от производителя

На данный момент все большее количество производителей начинает предлагать комплексные решения для построения инженерной инфраструктуры ЦОД. Компании, ориентирующиеся на производство оборудования в какой-то одной области, предлагают инфраструктуру ЦОД в полном объеме, расширяя свое производство оборудованием, изначально не свойственным данному производителю либо закупая недостающее у сторонних производителей. Свои решения комплексной инфраструктуры ЦОД предлагают APC (InfraStruXure), IPBM (IRS), Lampertz, Rittal (Rimatrix) и т.д. В продолжение разговора рассмотрим примеры предлагаемых ЦОД от производителя, а также попытаемся проанализировать их преимущества и недостатки в сравнении с «традиционным ЦОД».

Инфраструктура ЦОД производства компании Lampertz – непревзойденная защита

Особенностью ЦОД от компании Lampertz является его построение внутри «вспомогательного помещения». «Вспомогательным помещением» называются дополнительно возводимые оболочки помещения ЦОД, располагаемые в помещениях, изначально не предназначенных либо плохо предназначенных для построения ЦОД. Возводимые вспомогательные оболочки позволяют обеспечить дополнительную защиту инженерной инфраструктуры от внешних воздействий (таких как затопление, пожар, несанкционированный доступ и т.д.). Для размещения «вспомогательных помещений» Lampertz предпочтительно использовать помещения правильной прямоугольной формы, удовлетворяющие требованиям по минимальной высоте помещения. Построение «вспомогательного помещения» Lampertz может быть отнесено к комплексу мер по дополнительной строительной защите помещений ЦОД, описанной в разделе об обеспечении надежности ЦОД.

Следует понимать, что комплекс мер, предусматриваемый использованием такого решения, может существенно повысить надежность функционирования оборудования вычислительного центра (за счет минимизации рисков, связанных с внещними негативными воздействиями), а в некоторых случаях, позволит использовать под построение ЦОД помещения плохо для этого подходящие. Но и стоимость такой «строительной подготовки» будет существенно выше, чем обычная строительная подготовка, обеспечивающая меньший уровень защиты.

В рамках решения Lampertz также может быть построена инженерная инфраструктура, в составе:

• системы пожарной сигнализации и пожаротушения;
• системы охранной сигнализации, видеонаблюдения и контроля доступа;
• системы закладных и кабельных каналов;
• системы бесперебойного электроснабжения;
• системы гарантированного электроснабжения;
• системы общего электроснабжения;
• системы электрического освещения (рабочего, аварийного и эвакуационного);
• системы вентиляции и кондиционирования;
• структурированной кабельной системы.

Впрочем, в плане разработки и дальнейшего построения инженерной инфраструктуры это решение мало чем отличается от «традиционного ЦОД», т.о. по составу инженерных систем решение Lamperz является вполне стандартным.

Инфраструктура ЦОД производства компании APC – InfraStruXure

В настоящий момент на рынке ЦОД значимую роль занимает решение компании APC-InfraStruXure. Исторически компания APC предлагала оборудование систем бесперебойного электроснабжения. Таким образом, вся деятельность компании постоянно была связана с предоставлением оборудования и услуг в ИТ-инфраструктуре. Основным подходом к разрабатываемой и предлагаемой продукции для компании была модульность построения систем и расширение (модернизация) комплексов за счет модульного подхода.

В 2002 году корпорация APC представила на рынке архитектуру PowerStruXure – решение, упрощающее построение инфраструктуры элек­тропитания за счет использования готовых модульных «строительных блоков», включающих средства элек­тропитания и управления. Благодаря модульной системе построения и широкому ассортименту предлагаемой продукции, компания имела большой успех в данной области. Следующим этапом развития компании стала идея создания модульной инфраструктуры ЦОД на оборудовании одного производителя. Перед ними стояла задача разработать технические решения для основных инженерных систем ЦОД. Новый продукт был назван APC-InfraStruXure. В состав инженерных систем InfraStruXure вошли:

• стоечные решения;
• система мониторинга и управления;
• система кабельных каналов;
• система бесперебойного электроснабжения;
• распределительная сеть электроснабжения;
• структурированная кабельная система;
• система вентиляции и кондиционирования.

Оборудование данных систем полностью совместимо между собой, таким образом, нет необходимости дополнительно уточнять вопросы совместимости. Широкий спектр предлагаемой продукции также позволил строить ЦОД различных конфигураций и масштабов.

Рис. 4. APC – InfraStruXure тип А

Решение APC-InfraStruXure для удобства конфигурирования будущего ЦОД разделено на три категории (в зависимости от масштабов):

• системы типа A предназначены для создания инфраструктуры ЦОД размером 1-10 стоек. В состав входит оборудование, мощность которого не высока (рис. 4);
  APC – InfraStruXure тип А
• системы типа В предназначены для создания инфраструктуры ЦОД размером 10-100 стоек. В состав входит оборудование, мощность которого предназначена для ЦОД средних масштабов (рис. 5);
  APC – InfraStruXure тип В
• системы типа С предназначены для создания инфраструктуры ЦОД размером более 100 стоек. В состав входит оборудование, мощность которого предназначена для ЦОД больших масштабов (рис. 6).
  APC – InfraStruXure тип С

Рис. 5. APC – InfraStruXure тип В

Рис. 6. APC – InfraStruXure тип С

Для ЦОД различных масштабов производитель предлагает готовые отработанные решения по конфигурации, составу и размещению оборудования. Также предлагается широкий выбор сервисов по внедрению инженерной инфраструктуры ЦОД.

Решение APC-InfraStruXure позиционируется на рынке как гибкое, масштабируемое решение, ориентированное на текущие потребности заказчика, и с возможностью дальнейшего расширения и наращивания мощности. Возможности по масштабированию ЦОД по описаниям производителей представляются просто безграничными. Однако, на наш взгляд, это не совсем верно. Масштабирование возможно в рамках одного типа решения. При выходе за границы масштабов серверной заказчик вынужден переходить на другой тип оборудования.

Примером могут служить системы бесперебойного электроснабжения для ЦОД типа А. Оборудование системы бесперебойного электроснабжения предназначено для установки в стойках. Это вполне разумное решение для малого количества стоек, но при увеличении масштабов ЦОД устанавливать ИБП малой мощности становится неразумным с точки зрения затрат и малой надежности комплекса. Кроме того, данное решение начинает занимать много места, в сравнении с решениями ИБП, предназначенными для ЦОД-ов типа В. Таким образом, переход на оборудование следующего типа становится неизбежен.

Рис.7. Решение IRS (20 стоек без кондиционеров и системы закрытого холодного коридора)

APC-InfraStruXure включает в свой состав оборудование основных систем ЦОД, но не всех. Таким образом, часть приходится закупать у сторонних производителей. Это относится, например, к системам пожаротушения, структурированной кабельной системе (оборудование этой системы представлено у производителя, однако построить на нем современную, высокопроизводительную СКС не представляется возможным).

Рис.8. Схема организации системы охлаждения в решениях с закрытым холодным коридором

Решение APC-InfraStruXure является очень продуманным и гибким продуктом высокого качества, но стоит отметить, весьма дорогостоящим.

Инфраструктура ЦОД производства компании IBM – IRS

Решение IBM для ЦОД с высокой плотностью размещения оборудования (система IRS) компании IBM представляет собой набор инженерных систем ЦОД, предварительно собранных и предназначенных для совместной установки. В состав IRS входят:

• шкафы для установки серверного оборудования;
• шкафы для установки активного сетевого оборудования;
• кроссовые шкафы;
• шкафы распределения электропитания;
• система кабельканалов;
• система кондиционирования.

Рис.9. Система IRS-HD

Использование этой системы позволяет осуществлять заказ оборудования не по частям, а в составе готового решения, предназначенного для совместной установки (при использовании подобных продуктов сокращается время на проектирование, но увеличивается стоимость конечного результата).
Данное решение не является новым, похожее предлагает компания APC (InfraStruXure).

Описание технических характеристик предлагаемого решения

IRS (MS и HD) – инфраструктура центра обработки данных представляет собой два ряда стоек (по 20 в каждом ряду) и оборудование инженерных систем, в составе:

• 15 шкафов (в одном ряду) для серверного оборудования (45U свободно, 3U заняты PDU шкафов, глубина шкафов до1,2 метра);
• 1 шкаф распределения питания (в одном ряду)(см. рис. 7);
• 2 кроссовых ANSI/TIA/EIA-942 шкафов (в одном ряду);
• 2 шкафов активного сетевого оборудования (в одном ряду);
• 7 блоков кондиционеров (на инфраструктуру из двух рядов поставляется только вместе IRS-HD) по 125кВт каждый (схема резервирования «N+1») ;
• решений IRS-MS и IRS-HD поставляются с сис­темой закрытого «холодного коридора» – ССАТ (на инфраструктуру из двух рядов)
  (см. рис. 8);
• системы интегрированных кабельканалов (которые расположены в цокольной части шкафов и над ними с целью физического разделения слаботочных и силовых линий).

Система позволяет разместить и подключить большое количество серверного оборудования с гарантированным теплоотводом и электропитанием до 25кВт на стойку.

Система поставляется в трех различных вариантах:

• IRS;
• IRS-MS;
• IRS-HD.

IRS-HD – инфраструктура, полностью готовая к установке, в составе двух рядов шкафов (по 20 шкафов в каждом), содержащая 7 кондиционеров и систему закрытого холодного коридора
(см. рис. 9).

IRS-MS – часть решения IRS-HD, поставляется без кондиционеров.

IRS – часть решения IRS-HD, поставляется без кондиционеров и системы закрытого холодного коридора (поставляется только один ряд шкафов).

Жестко зафиксированная структура и физические размеры систем линейки IRS сильно сужают область их применения, т.к. для эффективного использования пространства помещения необходимо «подбирать» помещение, чтобы в нем поместилась инфраструктура, изображенная на рис. 9. Система является слабо конфигурируемой и негибкой (существует только один вариант заказа системы, позволяющий изменить ее физические размеры (не по 20 стоек в ряду, а по 12)). Применение данной системы оправдано при необходимости организации сверхплотного монтажа серверного оборудования в случаях, когда требуется столь эффективный теплоотвод (25 кВт на стойку).

ЦОД в контейнере

Новым решением в области построения инженерных систем ЦОД стали транспортные контейнеры, оборудованные комплексом инженерных систем вычислительного центра. Расположение оборудования в столь небольшом пространстве, естественно, усложняет процесс его обслуживания. В то же время, отсутствие необходимости выделения отдельного помещения является несомненным плюсом этих продуктов (в случае Sun BlackBox все же нужно выделять помещение для размещения комплекса ИБП). К преимуществам использования готовых транспортных контейнеров также стоит отнести сокращение времени на проектирование и монтаж инженерных систем. Данные решения предлагаются многими крупными зарубежными производителями (APC, Sun, IBM), также существуют разработки отечественных конструкторов, которые по ряду характеристик сильно уступают западным продуктам. Однако удельная стоимость
на киловатт или на юнит размещения оборудования часто превосходит западные аналоги. В данной статье мы рассмотрим два решения зарубежных производителей.

Контейнер Sun – BlackBox (S20)

Модульный центр обработки данных (МЦОД) представляет собой транспортный контейнер размером 6,1х2,5х2,6 метров в длину, ширину и высоту соответственно и массой нетто 8 200 кг. Максимальный вес составляет 15 500 кг. МЦОД содержит инженерные системы в составе:

• 7 стоек (рис. 10) для размещения серверного оборудования (высота аппаратурной стойки 40 Unit, из них 2 Unit занимают устройства распределения питания, т.о. в каждом шкафу имеется свободных 38 Unit для размещения активного сетевого и серверного оборудования); 1 стойка для размещения оборудования системы серверной сети, содержащая контроллеры системы мониторинга мобильного ЦОД (глубина стоек не превышает 780 мм);
• системы холодоснабжения – для поддержания необходимых климатических параметров (8 внутренних блоков системы холодоснабжения, функционирующих на холодной воде, объединенных в единый контур (рис. 11)). Для ее работы необходима установка внешних блоков системы холодоснабжения – чиллеров, подключаемых к внутреннему контуру посредством специализированных кранов. Максимальная теплоотводящая способность системы кондиционирования – 200 кВт с контейнера;
• системы распределения электроснабжения в составе кабельной системы и электрических щитов. Кабели проложены и подключены к блокам распределения питания на местах подключения оборудования (в монтажных шкафах);
• системы контроля влажности воздуха внутри МЦОД в составе: датчиков влажности, осушителя воздуха, контроллера системы контроля влажности воздуха;
• системы закладных и кабельных каналов, предназначенной для прокладки слаботочных информационных кабелей. Представляет собой лотки и специализированные телескопические кабельные спуски;
• системы газового пожаротушения (рис. 12), предназначенной для локализации очага возгорания внутри комплекса Project Black Box;
• системы мониторинга для контроля внутренних параметров (климатических, контроля доступа, состояния сети электроснабжения и т.д.);
• системы электроосвещения.

Рис. 10. Расположение стоек внутри контейнера BlackBox

Рис. 11. Водный контур системы холодоснабжения

Рис. 12. Расположение системы газового пожаротушения

Выводы

BlackBox является рекордсменом по нескольким характеристикам среди модульных ЦОД. Сверхвысокая плотность монтажа – 8 стоек по 40 Unit в 6-и метровом контейнере и возможность отводить до ~23кВт тепла со стойки – вот его главные преимущества. Но не стоит забывать, что столь высокая плотность монтажа стала причиной сильного сокращения сервисного пространства (ширина коридора составляет не более 700 мм). Кроме того, глубина монтажных стоек не позволяет устанавливать глубокое оборудование.

Решения компании IBM – PMDC

Портативный модульный центр обработки данных (PMDC) производства компании IBM представляет собой транспортный контейнер, содержащий инженерные системы ЦОД в составе:

• стойки для монтажа серверного оборудования;
• системы холодоснабжения;
• системы распределения электропитания;
• системы контроля влажности воздуха внутри PMDC;
• системы закладных и кабельных каналов;
• системы газового пожаротушения;
• системы мониторинга;
• системы электроосвещения.

В отличие от продукта компании Sun – Black Box, который поставляется в одной конфигурации и состав оборудования которого почти неизменяем, PMDC, производства компании IBM, предлагается в четырех различных конфигурациях (на базе 6-и и 12-и метрового контейнера):

• PMDC (6-и метровый контейнер)
• стандартная конфигурация;
• PMDC (12-и метровый контейнер)
• стандартная конфигурация;
• компактная конфигурация;
• конфигурация высокой плотности монтажа.

Конфигурации отличаются между собой количеством устанавливаемых стоек и характеристиками инженерных систем.

Кроме контейнера, в который устанавливается серверное оборудование, для каждой из конфигураций компанией IBM предлагаются соответствующие сервисные контейнеры, в которых размещаются блоки системы ИБП и чиллеры.

Описание технических характеристик предлагаемых конфигураций PMDC 6-и метровый контейнер (стандартная конфигурация)

Данная конфигурация включает два (6-и метровых) контейнера (рис. 13):

• серверный;
• сервисный.

Рис. 13. 6-и метровый контейнер (стандартная конфигурация)

Характеристики инженерных систем:

• 7 стоек для размещения серверного оборудования (высота аппаратурной стойки 42 Unit, глубина стойки может быть выбрана на этапе заказа – 1 или 1,1 метра); 1 стойка (сервисная) для размещения оборудования системы серверной сети, содержащая контроллеры системы мониторинга PMDC и оборудование электрораспределительного щита;
• система холодоснабжения – для поддержания необходимых климатических параметров (3 внутренних блока системы холодоснабжения, функционирующих на фреоне и объединенных в единый контур. Для ее функционирования необходима установка внешних блоков системы холодоснабжения – чиллеров, подключаемых к внутреннему контуру посредством специализированных трубопроводов). Схема резервирования внутренних блоков – «N+1». Чиллер необходимой мощности устанавливается в сервисном контейнере. Теплоотвод от одной стойки – не более 6кВт;
• система распределения электропитания в составе кабельной системы и электрического щита (для установки оборудования электрораспределительного щита используется сервисная стойка). Кабели проложены и подключены к блокам распределения питания на местах подключения оборудования (в монтажных шкафах);
• система контроля влажности воздуха внутри PMDC в составе: датчиков влажности, осушителя воздуха, контроллера системы контроля влажности воздуха;
• система закладных и кабельных каналов, предназначенная для прокладки слаботочных информационных кабелей. Представляет собой лотки и специализированные телескопические кабельные спуски;
• система газового пожаротушения, предназначенная для локализации очага возгорания внут­ри комплекса PMDC;
• система мониторинга для контроля внутренних параметров (климатических, контроля доступа, состояния сети электропитания и т.д.), основанная на решении APC NetBotz;
• система электроосвещения;
• система бесперебойного электроснабжения в составе: блоков ИБП, батарейных кабинетов и распределительной электросети бесперебойного питания. Схема резервирования блоков ИБП – «N+1». Блоки ИБП устанавливаются в сервисном контейнере. Максимальное питание одной стойки – не более 6кВт.
  12-и метровый контейнер (стандартная конфигурация)

Данная конфигурация включает два контейнера (рис. 14, 15):

• серверный;
• сервисный.

Рис. 14. 12-и метровый серверный контейнер (стандартная конфигурация)

Рис. 15. 12-и метровый сервисный контейнер (стандартная конфигурация)

Характеристики инженерных систем:

• 14 стоек для размещения серверного оборудования (высота аппаратурной стойки 42 Unit, глубина стойки может быть выбрана на этапе заказа – 1 или 1,1 метра); 2 стойки (сервисные) для размещения оборудования cистемы серверной сети, которая содержит контроллеры системы мониторинга PMDC и оборудование электрораспределительного щита;
• система холодоснабжения – для поддержания необходимых климатических параметров (6 внутренних блоков системы холодоснабжения, функционирующих на фреоне и объединенных в единый контур. Для ее функционирования необходима установка внешних блоков системы холодоснабжения – чиллеров, подключаемых к внутреннему контуру посредством специализированных трубопроводов). Схема резервирования внутренних блоков – «N+1». Чиллер необходимой мощности устанавливается в сервисном контейнере. Теплоотвод от одной стойки – не более 6кВт;
• система распределения электропитания в составе: кабельной системы и электрического щита (для установки оборудования электрораспределительного щита используются сервисные стойки). Кабели проложены и подключены к блокам распределения питания на местах подключения оборудования (в монтажных шкафах);
• система контроля влажности воздуха внутри PMDC в составе: датчиков влажности, осушителя воздуха, контроллера системы контроля влажности воздуха;
• система закладных и кабельных каналов, предназначенная для прокладки слаботочных информационных кабелей. Представляет собой лотки и специализированные телескопические кабельные спуски;
• система газового пожаротушения, предназначенная для локализации очага возгорания внут­ри комплекса PMDC;
• система мониторинга для контроля внутренних параметров (климатических, контроля доступа, состояния сети электропитания и т.д.), основанная на решении APC NetBotz;
• система электроосвещения;
• система бесперебойного электроснабжения в составе: блоков ИБП, батарейных кабинетов и распределительной электросети бесперебойного питания. Схема резервирования блоков ИБП – «N+1». Блоки ИБП устанавливаются в сервисном контейнере. Максимальное питание одной стойки – не более 6кВт.
  12-и метровый контейнер (компактная конфигурация)

Данная конфигурация включает два контейнера (рис. 16):

• серверный;
• сервисный (заказывается отдельно).

Рис. 16. 12-и метровый серверный/сервисный контейнер (компактная конфигурация)

Характеристики инженерных систем:

• 10 стоек для размещения серверного оборудования (высота аппаратурной стойки 42 Unit, глубина стойки может быть выбрана на этапе заказа – 1 или 1,1 метра); 1 стойка (сервисная) для размещения оборудования системы серверной сети, содержащая контроллеры системы мониторинга PMDC и оборудование электрораспределительного щита;
• система холодоснабжения – для поддержания необходимых климатических параметров (4 внутренних блока системы холодоснабжения, функционирующих на фреоне и объединенных в единый контур. Для ее функционирования необходима установка внешних блоков системы холодоснабжения – чиллеров, подключаемых к внутреннему контуру посредством специализированных трубопроводов). Схема резервирования внутренних блоков – «N+1». Чиллер необходимой мощности устанавливается в сервисном контейнере (контейнер заказывается отдельно). Теплоотвод от одной стойки – не более 6кВт;
• система распределения электропитания в составе: кабельной системы и электрического щита (для установки оборудования электрораспределительного щита используется сервисная стойка). Кабели проложены и подключены к блокам распределения питания на местах подключения оборудования (в монтажных шкафах);
• система контроля влажности воздуха внутри PMDC в составе: датчиков влажности, осушителя воздуха, контроллера системы контроля влажности воздуха;
• система закладных и кабельных каналов, предназначенная для прокладки слаботочных информационных кабелей. Представляет собой лотки и специализированные телескопические кабельные спуски;
• система газового пожаротушения, предназначенная для локализации очага возгорания внутри комплекса PMDC;
• система мониторинга для контроля внутренних параметров (климатических, контроля доступа, состояния сети электропитания и т.д.), основанная на решении APC NetBotz;
• система электроосвещения;
• система бесперебойного электроснабжения в составе: блоков ИБП, батарейных кабинетов и распределительной электросети бесперебойного питания. Схема резервирования блоков ИБП – «N+1». Блоки ИБП устанавливаются в серверном контейнере. Максимальное питание одной стойки – не более 6кВт.
  12-и метровый контейнер (конфигурация высокой плотности монтажа)

Данная конфигурация включает два контейнера (рис. 17, 18):

• серверный;
• сервисный.

Рис. 17. 12-и метровый серверный контейнер (конфигурация высокой плотности монтажа)

Рис. 18. 12-и метровый сервисный контейнер (конфигурация высокой плотности монтажа)

Характеристики инженерных систем:

• 9 стоек для размещения серверного оборудования (высота аппаратурной стойки 42 Unit, глубина стойки может быть выбрана на этапе заказа – 1 или 1,1 метра); 1 стойка (сервисная) для размещения оборудования системы серверной сети, содержащая контроллеры системы мониторинга PMDC и оборудование электрораспределительного щита;
• система холодоснабжения – для поддержания необходимых климатических параметров (6 внутренних блоков системы холодоснабжения, функционирующих на фреоне и объединенных в единый контур. Для ее функционирования необходима установка внешних блоков системы холодоснабжения – чиллеров, подключаемых к внутреннему контуру посредством специализированных трубопроводов). Схема резервирования внутренних блоков – «N+1». Чиллер необходимой мощности устанавливается в сервисном контейнере. Теплоотвод от одной стойки – не более 15кВт;
• система распределения электропитания в составе: кабельной системы и электрического щита (для установки оборудования электрораспределительного щита используется сервисная стойка). Кабели проложены и подключены к блокам распределения питания на местах подключения оборудования (в монтажных шкафах);
• система контроля влажности воздуха внутри PMDC в составе: датчиков влажности, осушителя воздуха, контроллера системы контроля влажности воздуха;
• система закладных и кабельных каналов, предназначенная для прокладки слаботочных информационных кабелей. Представляет собой лотки и специализированные телескопические кабельные спуски;
• система газового пожаротушения, предназначенная для локализации очага возгорания внутри комплекса PMDC;
• система мониторинга для контроля внутренних параметров (климатических, контроля доступа, состояния сети электропитания и т.д.), основанная на решении APC NetBotz;
• система электроосвещения;
• система бесперебойного электроснабжения в составе: блоков ИБП, батарейных кабинетов и распределительной электросети бесперебойного питания. Схема резервирования блоков ИБП – «N+1». Блоки ИБП устанавливаются в сервисном контейнере. Максимальное питание одной стойки – не более 15кВт.

Выводы

Основными отличиями PMDC от Black Box является:

• наличие четырех стандартных конфигураций для заказа (BB поставляется только в одной конфигурации);
• наличие сервисных контейнеров (готовых решений), имеющих в своем составе оборудование системы кондиционирования (чиллеры) и системы бесперебойного электроснабжения (чиллеры и ИБП с BB не поставляются);
• питание/теплоотвод от одной стойки находятся в пределах 6кВт для трех конфигураций и 15кВт для конфигурации высокой плотности монтажа (12-и метровый контейнер) (для BB этот показатель находится на уровне 25кВт);
• организация системы кондиционирования позволяет не подводить воду для охлаждения серверного оборудования внутрь северного контейнера, что исключает риски затопления при аварии на трубопроводе (является опцией – тип системы кондиционирования выбирается при заказе).

Наличие сервисных контейнеров выгодно отличает решение PMDC от BlackBox, однако показатель теплоотвода 6кВт со стойки очень мал и не удовлетворяет потребностям заказчика, т.к. контейнерные решения позиционируются как модульные серверные высокой плотности монтажа. Приемлемым показателем теплоотвода/электропитания стойки можно считать 12-14кВт, таким образом, реально применимой является конфигурация на базе 12-и метрового контейнера высокой плотности монтажа, содержащая 10 монтажных стоек. Политика продаж компанией IBM этого решения позволяет гибко конфигурировать и управлять его характеристиками, что дает возможность собрать конфигурацию, отличную от стандартной и полностью удовлетворяющую потребностям заказчика. В данный момент появилась дополнительная конфигурация на базе 12-и метрового контейнера
с показателем теплоотвода – 15кВт со стойки. Контейнер вмещает 10 стоек и оборудование ИБП. Чиллер системы охлаждения расположен на крыше контейнера.

Производитель гарантирует бесперебойную работу серверного оборудования внутри контейнера при наружной температуре до минус 30°С. Данное решение применялось на двух площадках в Европе.

Заключение. Какой ЦОД выбрать?

В качестве заключения к данной статье хотелось бы дать несколько рекомендаций по выбору вида ЦОД и на что необходимо обратить внимание при подготовительных работах и разработке технического задания.

Прежде всего, ЦОД и его инженерная инфраструктура – это долговременное вложение финансовых средств, поэтому:

• оборудование инженерной инфраструктуры ЦОД должно иметь ресурс работы, превосходящий планируемое время эксплуатации вычислительного центра до его полной модернизации;
• оборудование инженерной инфраструктуры ЦОД должно иметь возможность масштабирования (расширения) в процессе эксплуатации оборудования либо проектироваться и строиться с запасом, исходя из площади, выделяемой под строительство.

В любом случае, при подготовке технического задания и разработке проектных решений необходимо уделять особое внимание долговременному планированию использования инженерной инфраструктуры ЦОД. Зачастую, большие компании пренебрегают необходимостью долговременного планирования, получая в результате несколько ЦОД, размещенных в одном здании и не объединенных в единую структуру. В таких случаях очередной центр обработки данных является полностью обособленной инфраструктурой, которую при помощи магистральных информационных кабелей буквально «прикручивают» к существующей инфра­структуре.

Как следствие такого подхода появляется ряд проблем:

• с регламентированным доступом обслуживающего персонала из различных структур организации к оборудованию, которое фактически размещается в одном помещении;
• с невозможностью дальнейшего расширения комплекса без модернизации уже существующих серверных помещений (актуально для размещения активного сетевого оборудования центральных коммутационных узлов);
• трудности с построением логической структуры взаимодействия оборудования при проектировании серверной сети;
• сложность эксплуатации и размещения, а зачастую, и невозможность построения единой эффективной системы централизованного мониторинга и т.д.

Поэтому в случаях с большими ЦОД наиболее рациональным является подход к построению сложной разветвленной структуры. При этом функциональные элементы ( машиные залы, системы бесперебойного электроснабжения, центральные коммутационные узлы) размещены в отдельных помещениях с возможностью дальнейшего существенного масштабирования оборудования (касается, в основном, центральных коммутационных узлов).

При проектировании небольших по размерам ЦОД необходимо выбирать оборудование основных обслуживающих систем таким образом, чтобы его в последствие можно было масштабировать.
При выборе того или иного вида ЦОД заказчик должен, прежде всего, четко понимать цели построения, режим использования, а также оценивать свои возможности по финансированию и выделению необходимых для построения площадей.

В простейшем случае, когда необходим небольшой ЦОД 10-20 стойкомест, который не планируется в дальнейшем существенно масштабировать, лучше всего строить его в одном отдельном помещении. Выбор «традиционного ЦОД» либо ЦОД от производителя, в данном случае, будет обусловлен только требованиями заказчика к эстетической стороне вопроса (все оборудование в рамках одного решения производителя, как правило, оформлено в едином дизайне). Либо исходя из соображений удобства с точки зрения поставки запасных частей оборудования и сервисного обслуживания (выгоднее/рациональнее, конечно, когда по гарантии приходится обращаться только в одну компанию-производитель).

Для построения разветвленной инженерной инфраструктуры ЦОД (это те, к которым предъявляются, чаще всего, повышенные требования по эксплуатационным характеристикам) лучше использовать оборудование нескольких производителей, занимающих в своей области передовые позиции, т.е. строить «традиционный ЦОД». При таком подходе выбор систем кондиционирования, бесперебойного электроснабжения, гарантированного электроснабжения будет обусловлен оптимальным соотношением цена/требуемые характеристики. А ввиду большого количества оборудования взаимодействовать по вопросам гарантии или сервисного обслуживания будет удобнее с несколькими компаниями-производителями.

ЦОД в контейнере – это решение, которое наиболее применимо в случаях, когда:

• необходимо построить резервный ЦОД небольших масштабов;
• невозможно выделить требуемые площади внутри помещений здания;
• ввести ЦОД в эксплуатацию необходимо в очень сжатые сроки.

Однако в случае использования ЦОД в контейнере не стоит воспринимать это решение как панацею от всех проблем. Например, для построения МЦОД (мобильного ЦОД) с использованием Sun MDC S20 (project Black Box) стоит понимать, что необходимо выделение площадей для размещения чиллерных установок и оборудования ИБП.

Выбор вида ЦОД, производителей, структуры должны определяться для конкретного случая с учетом всех исходных данных, перечисленных выше. При его построении следует помнить, что единого решения всех проблем, позволяющего бездумно выбирать то или иное решение, не существует. Проработка решения – это сложный логический процесс, выполняемый совместно представителями заказчика и компании-интегратора, имя которому – проектирование.