Один из компонентов инженерной инфраструктуры ЦОД – система бесперебойного электроснабжения (СБЭ), поддерживающая автономную работу оборудования в случаях отключения внешнего (сетевого) электропитания.

Строится СБЭ на основе источников бесперебойного питания (ИБП), важность которых демонстрирует стандарт TIA-942, фиксирующий основополагающие требования к структуре ЦОД и классифицирующий дата-центры по уровню надёжности (от 1 до 4). Уже на втором уровне (дата-центр с резервированием) обязательно наличие источника бесперебойного питания, а четвертый – самый высокий (отказоустойчивый дата-центр) предполагает двукратное резервирование СБЭ – два отдельных ввода, зарезервированных по схеме N+1 (фактически – не менее четырёх ИБП).

Экономить на каких-либо элементах системы бесперебойного электроснабжения, в особенности на ИБП – не рекомендуется. Во время строительства, модернизации или обслуживания ЦОД финансирование СБЭ следует проводить не по остаточному принципу, а согласно технической необходимости!

Данное утверждение обусловлено:

  • повышенными, часто большими чем действующие государственные нормы, требованиями технической базы IT-систем к качеству питающего напряжения;
  • проблемами отечественных энергосистем, характеризующихся частыми аварийными ситуациями и отклонениями параметров электрической энергии от установленных значений.

Виды систем бесперебойного электроснабжения ЦОД

Построение СБЭ в ЦОД происходит по одной из трех наиболее распространённых схем:

  • централизованной;
  • распределённой;
  • комбинированной.

В каждой из них источник бесперебойного питания занимает главное место и является не только средством защиты, но и связующим звеном между различными элементами системы электроснабжения. Рассмотрим вышеуказанные схемы подробнее.

Централизованная – строится на основе мощного трехфазного ИБП (одного или нескольких), к которому через различные коммутационные и распределительные устройства подключаются все потребители электроэнергии. Упрощенная структура централизованной СБЭ представлена на рисунке 1 (опущены автоматические выключатели, цепи байпаса и т.п.):

Упрощенная структура централизованной СБЭ картинка

Рисунок 1 – Упрощенная структура централизованной СБЭ

Распределённая – каждый потребитель или группа однотипных и территориально близких потребителей защищается отдельным, независимым ИБП – рисунок 2.

Упрощенная структура распределённой СБЭ картинка

Рисунок 2 – Упрощенная структура распределённой СБЭ

Централизованная и распределённая схемы, при использовании в чистом виде, имеют некоторые недостатки.

Для первой характерны:

  • наличие общей точки отказа – в случае выхода ИБП из строя возможно обесточивание всей электросети ЦОД;
  • более высокая, по сравнению с распределённой схемой, вероятность отключения локального потребителя из-за неполадок в цепи, связывающей его с ИБП.

Недостатки распределённой СБЭ:

  • различная нагрузка на ИБП, вызывающая неэффективное использование мощности отдельных источников и неравномерный расход ресурса АБ в автономном режиме;
  • сложность мониторинга и управления СБЭ.

Для нейтрализации перечисленных недостатков в архитектуре ЦОД часто применяют комбинированную (двухуровневую) систему, объединяющую две упомянутые выше схемы в одну – рисунок 3.

Упрощенная структура комбинированной СБЭ картинка

Рисунок 3 – Упрощенная структура комбинированной СБЭ

В такой системе мощный ИБП либо группа мощных ИБП служит для защиты всей системы электроснабжения – ИБП первого уровня. Кроме того, выделяются наиболее ответственные потребители или группы потребителей, которые включаются в общую сеть через дополнительные источники – ИБП второго уровня.

На первом уровне используют преимущественно трехфазные ИБП с высокими значениями выходной мощности.

На втором чаще применяют менее мощные однофазные, рекомендации по их подбору приводились в статье Как подобрать ИБП для серверов?).

Резервирование в системе бесперебойного электроснабжения ЦОД

Для повешения надёжности в СБЭ применяют метод резервирования, заключающийся в увеличении отказоустойчивости путём дублирования наиболее важных компонентов системы.

Резервирование источников бесперебойного питания предполагает введение в систему аппаратной избыточности и реализуется параллельным объединением двух и более устройств с последующим подключением к нагрузке, мощность которой должна быть меньше суммарной мощности объединённых ИБП.

Наиболее распространенные концепции резервирования: N+1 (N+X) и 2N (N – минимальное количество ИБП, гарантирующих эффективную работу защищаемого оборудования). Рассмотрим их подробнее.

Схема N+1 (N+X)

N+1 – резервирование с одним дополнительным элементом. Например, для нагрузки в 600 кВА вариант реализации схемы N+1 – подключение трех ИБП по 300 кВА. Два устройства являются необходимым уровнем питания N=600 кВА, а третье – избыточным, но именно благодаря наличию резерва при отключении одного из источников энергоснабжение продолжится в полном объёме.

По такому принципу возможно построение схем и с большим количеством резервных единиц: N+2, N+3 … N+X.

Схема 2N

2N – система с полностью дублированными компонентами N. На практике 2N-резервирование осуществляется подключением к нагрузке двух параллельных линий электропитания равных по мощности.

Для нагрузки в 600 кВА 2N-резервирование представит собой: две линии мощностью 600 кВа, что соответствует четырем ИБП номиналом 300 кВА.

Резервирование класса 2N удобно к применению с IT-оборудованием, имеющим два блока питания, каждый из которых подключается к своему сетевому вводу.

В случае необходимости количество дублированных каналов в системе может быть увеличено до трёх или четырёх – 3N, 4N (такие решения из-за дороговизны и сложности исполнения встречаются редко).

Схема 2(N+1)

2(N+1) – тип резервирования, соответствующий уровню защиты Tier IV и применяющийся для СБЭ потребителей с повышенными требованиями к надёжности электропитания.

В общем виде 2(N+1) выглядит как объединение вышерассмотренных концепций – питание нагрузки по двум линиям N, каждая из которых дополнительно зарезервирована по схеме N+1.

Для случая с нагрузкой 600 кВА, указанному классу резервирования будет соответствовать СБЭ в виде двух линий, имеющих по три источника номиналом 300 кВА (два источника – N=600 кВа, третий избыточный – + 1), всего шесть ИБП в системе.

Схемы 3/2N или 4/3N

Повысить производительность ИБП и сократить их количество позволяют схемы резервирования 3/2N или 4/3N, в которых нагрузка на устройства оптимизирована и составляет не менее 2/3 номинала. Сейчас эти схемы не имеют широкого распространения в ЦОД России. Кроме объективных причин, таких как сложность разработки и практической реализации (особенно в области коммутации между элементами системы), это обусловлено ещё и недорогой, относительно стран Западной Европы и США, стоимостью электроэнергии.

Однако, согласно прогнозам специалистов, цена на энергоресурсы в ближайшее десятилетие будет расти, поэтому при строительстве новых ЦОД стоит обратить внимание на опыт применения подобного резервирования за рубежом.

Основные требования к ИБП для ЦОД

Бесперебойное электроснабжение ЦОД рекомендуется организовывать с использованием ИБП on-line топологии (с двойным преобразованием энергии). Только устройства, реализованные по указанной схеме, соответствуют классу VFI (выходные параметры не зависят от входной сети), имеют идеальное синусоидальное напряжение на выходе и гарантируют соблюдение главных требований к электроснабжению центра обработки данных: надёжности, непрерывности, качества.

Онлайн ИБП в СБЭ ЦОД:

  • предохраняет серверное и сетевое оборудование от возникающих во внешних электросетях сбоев;
  • уменьшает число аварийных ситуаций благодаря улучшению качества электропитания;
  • обеспечивает корректную работу информационной и телекоммуникационной инфраструктур при любом сетевом режиме;
  • может рассматриваться как средство защиты от диверсий, связанных с внесением в систему электропитания различных электромагнитных возмущений, пагубных для микропроцессорной электроники.

Одна из важнейших характеристик системы бесперебойного электроснабжения – коэффициент полезного действия (КПД).

Высокий КПД (от 93%) источника бесперебойного питания уменьшает потребляемую устройством полную мощность, что сокращает затраты на электроэнергию и увеличивает время автономной работы. Рост КПД снижает и тепловыделение и, следовательно, нагрузку на систему кондиционирования.

ИБП, инсталлированный в ЦОД, должен легко интегрироваться в существующую на объекте систему управления и технической диспетчеризации, а также иметь комплекс средств для организации локального и удаленного мониторинга.

Длительность автономной работы ИБП ограничивается ёмкостью и количеством аккумуляторных батарей. Для ЦОД, имеющего высокую потребляемую мощность, этот интервал обычно не превышает часа.

Однако для многих объектов даже кратковременное отключение серверов и вычислительных сетей влечет критические последствия. В таких случаях в структуре централизованного или комбинированного электроснабжения ИБП первого уровня объединяется в единый комплекс с генераторными установками – систему бесперебойного гарантированного электроснабжения (СБГЭ).

Следовательно, ещё одно требование к ИБП – поддержка совместной работы с дизель-генераторной установкой (ДГУ).

Помимо вышеназванного, источнику бесперебойного питания, применяемому в СБЭ ЦОД, необходимы:

  • функция автоматического завершения рабочих процессов защищаемого оборудования при приближении заряда АБ к критическому значению;
  • программные инструменты самодиагностики и оповещения пользователей о всех неисправностях и изменениях режимов работы. Обязательно – о низком заряде батарей;
  • оптимальные масса-габаритные характеристики, позволяющие рационально использовать пространство на месте установки;
  • наличие экономичных режимов работы;
  • высокоскоростные алгоритмы управления силовой частью;
  • сервисный байпас для проведения обслуживания без отключения потребителей;
  • повышенная степень защиты от перегрузок, перегрева, короткого замыкания.

Монолитные и модульные ИБП для ЦОД. Что лучше выбрать?

Существуют два подхода к построению мощных онлайн ИБП: традиционный монолитный (моноблочный) и относительно новый – модульный.

Главное отличие ИБП второго типа в том, что выходная мощность обеспечивается не одним силовым блоком, а совместной работой группы параллельно соединённых модулей. Каждый из модулей представляет собой полноценную силовую часть ИБП со всеми функциональными узлами и аппаратными средствами: выпрямитель, инвертор, зарядное устройство, управляющий процессор, программное обеспечение и т.д.

Наращивание мощности

Модульные решения за счет децентрализованной архитектуры обладают большей конструктивной гибкостью и позволяют при увеличении потребности в электропитании за короткий промежуток времени подключить к уже функционирующему устройству один или несколько дополнительных модулей. Это полностью соответствует одному из требований к современному ЦОД – высокой степени масштабирования при минимальных временных и ресурсных затратах.

Наращивание мощности моноблочной системы – более сложный процесс, требующий параллельного подключения минимум одного полноценного ИБП и наличия специальной платы, поломка которой вызовет переход всего электропитания на входную сеть.

Построение схем резервирования

Аналогичная ситуация прослеживается и при организации резервирования: избыточность моноблочно-паралельного комплекса достигается только добавлением дополнительного источника (горизонтальное резервирование).

Модульные ИБП гарантируют более оптимальную работу – для избыточности достаточно установить один дополнительный силовой блок (вертикальное резервирование).

Проиллюстрируем вышесказанное на простейшем примере, исходными данными будут: нагрузка 90 кВА, требование к резервированию – N+1. Упрощённая схема применения к данной задаче монолитных ИБП 90 кВА, представлена на рисунке 4.

Резервирование за счёт монолитных ИБП (нагрузка 90 кВА) картинка

Рисунок 4 – Резервирование за счёт монолитных ИБП (нагрузка 90 кВА)

Общая избыточность в номинальном режиме – 90 кВа.

Модульная конфигурация, построенная на блоках 30 кВа (рисунок 5), выдаст избыточность, равную мощности одного модуля – 30 кВА.

Резервирование при использовании модульных ИБП (нагрузка 90 кВА) картинка

Рисунок 5 – Резервирование при использовании модульных ИБП (нагрузка 90 кВА)

Предположим увеличение той же нагрузки до 110 кВА. При сохранении уровня резервирования это повлечет: для схемы с монолитными ИБП подключение дополнительного источника, для модульного ИБП – одного блока, рисунки 6 и 7.

Резервирование за счёт монолитных ИБП (нагрузка 110 кВА) картинка

Рисунок 6 – Резервирование за счёт монолитных ИБП (нагрузка 110 кВА)

Резервирование при использовании модульных ИБП (нагрузка 110 кВА) картинка

Рисунок 7 – Резервирование при использовании модульных ИБП (нагрузка 110 кВА)

Избыточность первой системы составит 160 кВА или ≈ 60% от номинала каждого устройства при рекомендуемой нагрузке на ИБП в 70-80%, а второй всего 40 кВа, или ≈ 27% номинала единичного модуля.

Однако необходимо понимать, что приведённое на рисунках 5 и 7 вертикальное резервирование является поэлементным, то есть дублируется один силовой блок, а не вся необходимая для питания нагрузки мощность.

Аппаратное резервирование, полностью соответствующее концепциям N+X и 2N, гарантирует именно параллельно-горизонтальная система, где N – количество не силовых модулей, а полноценных ИБП, обеспечивающих электроснабжение потребителей.

Реализовать параллельное подключение возможно и для модульных устройств, рисунок 8.

Аппаратное резервирование на основе модульных ИБП картинка

Рисунок 8 – Аппаратное резервирование на основе модульных ИБП

В таком комплексе присутствует как вертикальное резервирование (на уровне силовых модулей), так и горизонтальное (на уровне целого ИБП). Это обеспечит большую отказоустойчивость системы, по сравнению с классической монолитной схемой N+1. Однако для данного решения станет вновь актуальной проблема энергоэффективности и избыточности в номинальном режиме.

Надежность

Теоретическая возможность отказа единичного компонента у модульных ИБП выше, чем у моноблочных. Это объясняется тем, что моноблоки содержат меньшее число конструктивных элементов, каждый из которых может рассматриваться как потенциальная точка отказа. Данным фактором обусловлено и более высокое значение средней наработки на отказ (MTBF) у СБЭ на базе монолитных решений.

С дугой стороны, следует понимать, что величина MTBF во многом вероятностная, основанная на одном из постулатов теории надёжности, согласно которому – надежность любой системы возрастает с уменьшением числа её компонентов. На практике, неисправность в техническом устройстве, с большей или меньшей вероятностью, может случится в любой момент времени!

В модульном ИБП аварийная ситуация чаще всего затрагивает только один силовой блок и это, при наличии резервного модуля, не сказывается на электроснабжении подключённых потребителей!

Любая поломка в силовой части моноблочных ИБП вызывает либо отключение от нагрузки, либо переход в режим байпас, что при отсутствии полного резервирования мощности, может послужить причиной отказа всей СБЭ.

В случае неисправности какого-либо компонента системы электроснабжения ЦОД, важно максимально быстро выйти из аварийного режима и возобновить нормальное функционирование инженерной инфраструктуры.

Модульные ИБП имеют сокращённое среднее время восстановления системы после отказа (MTTR), достигаемое за счёт возможности «горячей» (без перерыва в электроснабжении) замены, вышедшего из строя модуля. При наличии запасного силового блока, монтаж/демонтаж возможно осуществить силами одного специалиста за минимальный временной промежуток.

Ремонт моноблочных устройств не столь оперативен – восстановление работоспособности обычно занимает несколько часов или дней.

Стоимость реализации

Если анализировать два подхода к построению ИБП с экономической точки зрения, то монолитный ИБП определённой мощности обойдётся дешевле, чем получение аналогичной выходной мощности с помощью объединения силовых блоков в модульном ИБП.

Однако для моноблочных устройств расширение уже существующей СБЭ увеличивает стоимость системы в два раза и может потребовать дополнительных трат на прокладку новых кабельных линий, установку распределительных щитов и коммутационных панелей.

Модульные ИБП позволяют на каждом этапе эксплуатации и развития СБЭ совершать затраты только на фактически нужные, приближенные к реальной необходимости, мощности.

Подводим итог

Подводя итог всему вышесказанному, можно сказать что оба рассмотренных подхода к построению ИБП имеют свои сильные и слабые стороны:

  • монолитная система дешевле и содержит меньшее число внутренних элементов и соединений, что, согласно теории надёжности, позволяет говорить о повышенной наработке на отказ, но в тоже время она и избыточна, а это негативно сказывается на энергопотреблении ЦОД;
  • модульная система обеспечивает легкую масштабируемость, эффективность и минимальное время восстановления СБЭ. К недостаткам модульных ИБП следует отнести более высокую стоимость и ограничение в максимальной мощности (200-300 кВА – для одной модульной системы с вертикальным-поэлементным резервированием).

При практическом построении системы бесперебойного электроснабжения существует масса факторов, влияющих на выбор конструктива трехфазного ИБП, в частности: требования стандарта TIA-942 к уровню резервирования, объём первоначальных капиталовложений, размер помещения, выделенного под оборудование.

В некоторых проектах возможно объединение двух решений, например, при построении двухуровневой системы бесперебойного или гарантированного бесперебойного питания ЦОД.

На первом уровне защиты, вблизи ввода от внешней электросети, устанавливается мощный моноблочный ИБП или параллельный комплекс моноблочных ИБП. На втором уровне, перед каждым из серверных залов или распределительных щитов – менее мощный модульный, позволяющий за счёт гибкости конструкции быстро изменять СБЭ под локальные изменения нагрузки.

ИБП «Штиль» – отечественные технологии для ЦОД

В номенклатуре группы компаний «Штиль», лидера российского рынка высокотехнологичного электрооборудования, представлены трехфазные онлайн ИБП серий ST (60-500 кВА) и SM (10-300 кВА), гарантирующие премиальное качество электропитания и отвечающие самым современным техническим требованиям:

  • широкий диапазон входного напряжения – 228-478 В;
  • КПД в режиме on-line – до 95%;
  • значения выходного и входного коэффициента мощности, равные 0,9 и 0,99 соответственно;
  • малый коэффициент нелинейных искажений тока – до 1,5 % при линейной нагрузке.

Данные устройства имеют весь необходимый функционал для организации надёжного электроснабжения ЦОД:

  • совместимость в работе с ДГУ;
  • интеллектуальное программное обеспечение (отправка уведомлений о состоянии системы питания по электронной почте или trap-сообщениями, удалённая перезагрузка подключенного оборудования и корректное завершение работы сервера при отключении электропитания или в случае глубокого разряда АБ);
  • широкие возможности локального и удаленного мониторинга;
  • самодиагностика при запуске и во время работы, а также автоматизированный контроль аккумуляторных батарей;
  • режим работы ECO, дающий максимальную экономию энергии в условиях относительно качественного электропитания;
  • цифровое управление на основе высокопроизводительного сигнального процессора (DSP – Digital Signal Processor);
  • защита от перегрузки, перегрева, короткого замыкания, повышенного и пониженного входного напряжения, электрических помех в сети электропитания, высоковольтных выбросов, колебаний частоты, переходных процессов при коммутации и нелинейных искажений;
  • автоматический перезапуск при восстановлении после аварий;
  • отдельный ввод для подключения автоматического электронного байпаса к внешней сети, резервирующий входное питание и повышающей надёжность электроснабжения нагрузки.

ИБП серии ST представляет собой моноблочные устройства шкафного исполнения, поддерживающие, благодаря реализации силовой части на базе модулей мощностью 30 кВА и 50 кВА, поэлементное резервирование и «горячую» замену.

Расширение СБЭ, построенной на базе ИБП ST (60-300 кВА), возможно за счёт параллельного подключения до 6-ти аналогичных моделей для ST33060/33090/33120 и до 3-х для ST33100/ 33150/33200/33250/33300.

Устройства серии SM являются полноценным модульным ИБП с более широкими возможностями масштабирования и резервирования как с помощью установки дополнительных силовых блоков (с поддержкой «горячей» замены), так и за счёт параллельного объединения до 3-х ИБП. Возможные конфигурации приведены ниже:

Модульные ИБП «Штиль» предназначены для бесперебойного электроснабжения самых ответственных потребителей и позволяют создавать конфигурации с любым уровнем и типом резервирования, энергоэффективные как при работе с существующей нагрузкой, так и с учётом возможного, будущего роста энергопотребления!

Кроме того, группой компаний «Штиль» специально для трехфазных ИБП разработана широкая номенклатура дополнительных опций:

  • шкафы внешнего байпаса серии EBC, обеспечивающие вывод одного или нескольких устройств из эксплуатации для проведения технического обслуживания и регламентных работ. Данные шкафы могут применяться в случаях как одиночной, так и параллельной работы ИБП;
  • платы параллельной работы;
  • комплекты «холодного» старта, позволяющие запускать ИБП от АБ при отсутствии входной сети;
  • платы расширения интерфейсов, предназначенная для организации удаленного мониторинга и управления.

Устройства серий SM и ST прекрасно зарекомендовали себя при эксплуатации на различных объектах, в том числе в сфере телекоммуникации и обработки данных. Применение мощных трехфазных ИБП «Штиль» обеспечит комплексную и эталонную защиту всех инфраструктур ЦОД!

Ознакомиться с полным модельным рядом ИБП «Штиль» для ЦОД можно, перейдя по ссылке:
Выбрать и заказать онлайн ИБП для ЦОД от ГК «Штиль».