8 804 333-65-64Бесплатный звонок по всей России

Особенности выбора ИБП для ЦОД

20.02.2018

При проектировании и эксплуатации любого объекта, предназначенного для размещения крупных комплексов компьютерного и сетевого оборудования, в том числе центра обработки данных (ЦОД), необходимо уделять должное внимание не только информационной и телекоммуникационной инфраструктурам, но и инженерной – включающей в себя совокупность технических решений, требуемых для стабильного функционирования средств сбора, хранения, передачи и анализа данных.

Один из компонентов инженерной инфраструктуры ЦОД – система бесперебойного электроснабжения (СБЭ), поддерживающая автономную работу оборудования в случаях отключения внешнего (сетевого) электропитания.

Строится СБЭ на основе источников бесперебойного питания (ИБП), важность которых демонстрирует стандарт TIA-942, фиксирующий основополагающие требования к структуре ЦОД и классифицирующий дата-центры по уровню надёжности (от 1 до 4). Уже на втором уровне (дата-центр с резервированием) обязательно наличие источника бесперебойного питания, а четвертый – самый высокий (отказоустойчивый дата-центр) предполагает двукратное резервирование СБЭ – два отдельных ввода, зарезервированных по схеме N+1 (фактически – не менее четырёх ИБП).

Экономить на каких-либо элементах системы бесперебойного электроснабжения, в особенности на ИБП – не рекомендуется. Во время строительства, модернизации или обслуживания ЦОД финансирование СБЭ следует проводить не по остаточному принципу, а согласно технической необходимости!

Данное утверждение обусловлено:

Обратите внимание! Возможные убытки, вызванные выходом высокотехнологичного оборудования из строя и последующего простоя ЦОД, могут быть несоизмеримо большими по сравнению с затратами на качественную и надёжную СБЭ!

Виды систем бесперебойного электроснабжения для ЦОД.

Построение СБЭ в ЦОД происходит по одной из трех наиболее распространённых схем:

В каждой из них источник бесперебойного питания занимает главное место и является не только средством защиты, но и связующим звеном между различными элементами системы электроснабжения. Рассмотрим вышеуказанные схемы подробнее.

Централизованная – строится на основе мощного трехфазного ИБП (одного или нескольких), к которому через различные коммутационные и распределительные устройства подключаются все потребители электроэнергии. Упрощенная структура централизованной СБЭ представлена на рисунке 1 (опущены автоматические выключатели, цепи байпаса и т.п.):

1.jpg

Рисунок 1 - Упрощенная структура централизованной СБЭ

Распределённая – каждый потребитель или группа однотипных и территориально близких потребителей защищается отдельным, независимым ИБП – рисунок 2.

2.jpg

Рисунок 2 - Упрощенная структура распределённой СБЭ

Централизованная и распределённая схемы, при использовании в чистом виде, имеют некоторые недостатки. Для первой:

Для второй:

Для нейтрализации перечисленных недостатков в архитектуре ЦОД часто применяют комбинированную (двухуровневую) систему, объединяющую две упомянутые выше схемы в одну – рисунок 3.

3.jpg

Рисунок 3 - Упрощенная структура комбинированной СБЭ

В такой системе мощный ИБП либо группа мощных ИБП служит для защиты всей системы электроснабжения – ИБП первого уровня. Кроме того, выделяются наиболее ответственные потребители или группы потребителей, которые включаются в общую сеть через дополнительные источники – ИБП второго уровня.

На первом уровне используют преимущественно трехфазные ИБП с высокими значениями выходной мощности.

На втором чаще применяют менее мощные однофазные (рекомендации по подбору приводились в статье Как подобрать ИБП для серверов?).

Обратите внимание! При подключении однофазных потребителей к трехфазному ИБП в централизованных и комбинированных СБЭ любую из питающих фаз не допустимо нагружать более чем на 1/3 от номинальной мощности устройства. Превышение этого значения станет причиной аварийного отключения ИБП!

Резервирование в системе бесперебойного электроснабжения для ЦОД.

Для повешения надёжности в СБЭ применяют метод резервирования, заключающийся в увеличении отказоустойчивости путём дублирования наиболее важных компонентов системы.

Резервирование источников бесперебойного питания предполагает введение в систему аппаратной избыточности и реализуется параллельным объединением двух и более устройств с последующим подключением к нагрузке, мощность которой должна быть меньше суммарной мощности объединённых ИБП.

Обратите внимание! В комплексе совместно работающих ИБП необходимо обеспечить равномерное распределение нагрузки.

Наиболее распространенные концепции резервирования: N+1 (N+X) и 2N (N – минимальное количество ИБП, гарантирующих эффективную работу защищаемого оборудования).

N+1 – резервирование с одним дополнительным элементом. Например, для нагрузки в 600 кВА вариант реализации схемы N+1 – подключение трех ИБП по 300 кВА. Два устройства являются необходимым уровнем питания N=600 кВА, а третье – избыточным, но именно благодаря наличию резерва при отключении одного из источников энергоснабжение продолжится в полном объёме.

По такому принципу возможно построение схем и с большим количеством резервных единиц: N+2, N+3 … N+X.

2N – система с полностью дублированными компонентами N. На практике 2N-резервирование осуществляется подключением к нагрузке двух параллельных линий электропитания равных по мощности.

Обратите внимание! Отдельная мощность каждой линии должна быть не меньше максимальной потребляемой мощности нагрузки. Такая схема гарантирует, что отключение одного компонента N не повлияет на функционирование всей системы электроснабжения!

Для нагрузки в 600 кВА, 2N-резервирование представит собой: две линии мощностью 600 кВа, что соответствует четырем ИБП номиналом 300 кВА.

Резервирование класса 2N удобно к применению с IT-оборудованием, имеющим два блока питания, каждый из которых подключается к своему сетевому вводу.

В случае необходимости количество дублированных каналов в системе может быть увеличено до трёх или четырёх – 3N, 4N (такие решения из-за дороговизны и сложности исполнения встречаются редко).

2(N+1) – тип резервирования, соответствующий уровню защиты Tier IV и применяющийся для СБЭ потребителей с повышенными требованиями к надёжности электропитания.

В общем виде 2(N+1) выглядит как объединение вышерассмотренных концепций – питание нагрузки по двум линиям N, каждая из которых дополнительно зарезервирована по схеме N+1.

Для случая с нагрузкой 600 кВА, указанному классу резервирования будет соответствовать СБЭ в виде двух линий, имеющих по три источника номиналом 300 кВА (два источника – N=600 кВа, третий избыточный – + 1), всего – шесть ИБП в системе.

Обратите внимание! Увеличение количества резервных единиц в СБЭ прямо пропорционально росту отказоустойчивости! Системы с высокой избыточностью гарантируют большую вероятность безотказной работы оборудования ЦОД и практически нулевое время простоя. С другой стороны, увеличение количества ИБП вызывает рост стоимости СБЭ и снижение общего КПД, так как в штатном режиме ИБП будут недозагружены.

Повысить производительность ИБП и сократить их количество позволяют схемы резервирования 3/2N или 4/3N, в которых нагрузка на устройства оптимизирована и составляет не менее 2/3 номинала. Сейчас эти схемы не имеют широкого распространения в ЦОД России. Кроме объективных причин, таких как сложность разработки и практической реализации (особенно в области коммутации между элементами системы), это обусловлено ещё и недорогой, относительно стран Западной Европы и США, стоимостью электроэнергии.

Однако, согласно прогнозам специалистов, цена на энергоресурсы в ближайшее десятилетие будет расти, поэтому при строительстве новых ЦОД стоит обратить внимание на опыт применения подобного резервирования за рубежом.

ИБП для системы бесперебойного электроснабжения ЦОД. Основные требования к устройству.

Бесперебойное электроснабжение ЦОД рекомендуется организовывать с использованием ИБП on-line топологии (с двойным преобразованием энергии). Только устройства, реализованные по указанной схеме, соответствуют классу VFI (выходные параметры не зависят от входной сети), имеют идеальное синусоидальное напряжение на выходе и гарантируют соблюдение главных требований к электроснабжению центра обработки данных: надёжности, непрерывности, качества.

On-line ИБП в СБЭ ЦОД:

Одна из важнейших характеристик системы бесперебойного электроснабжения – коэффициент полезного действия (КПД).

Высокий КПД (от 93%) источника бесперебойного питания уменьшает потребляемую устройством полную мощность, что сокращает затраты на электроэнергию и увеличивает время автономной работы. Рост КПД снижает и тепловыделение и, следовательно, нагрузку на систему кондиционирования.

Обратите внимание! При выборе ИБП для ЦОД следует проанализировать значение КПД ни только при максимальной нагрузке на устройство, но и при сниженной, характерной для СБЭ с резервированием!

ИБП, инсталлированный в ЦОД, должен легко интегрироваться в существующую на объекте систему управления и технической диспетчеризации, а также иметь комплекс средств для организации локального и удаленного мониторинга.

Длительность автономной работы ИБП ограничивается ёмкостью и количеством аккумуляторных батарей. Для ЦОД, имеющего высокую потребляемую мощность, этот интервал обычно не превышает часа.

Однако для многих объектов даже кратковременное отключение серверов и вычислительных сетей влечет критические последствия. В таких случаях в структуре централизованного или комбинированного электроснабжения ИБП первого уровня объединяется в единый комплекс с генераторными установками – систему бесперебойного гарантированного электроснабжения (СБГЭ).

Следовательно, ещё одно требование к ИБП – поддержка совместной работы с дизель-генераторной установкой (ДГУ).

Помимо вышеназванного, источнику бесперебойного питания, применяемому в СБЭ ЦОД, необходимы:

Монолитные и модульные ИБП для ЦОД.

Существуют два подхода к построению мощных оn-line ИБП: традиционный монолитный (моноблочный) и относительно новый – модульный.

Главное отличие ИБП второго типа в том, что выходная мощность обеспечивается не одним силовым блоком, а совместной работой группы параллельно соединённых модулей. Каждый из модулей представляет собой полноценную силовую часть ИБП со всеми функциональными узлами и аппаратными средствами: выпрямитель, инвертор, зарядное устройство, управляющий процессор, программное обеспечение и т.д.

Модульные решения за счет децентрализованной архитектуры обладают большей конструктивной гибкостью и позволяют при увеличении потребности в электропитании за короткий промежуток времени подключить к уже функционирующему устройству один или несколько дополнительных модулей. Это полностью соответствует одному из требований к современному ЦОД – высокой степени масштабирования при минимальных временных и ресурсных затратах.

Наращивание мощности моноблочной системы – более сложный процесс, требующий параллельного подключения минимум одного полноценного ИБП и наличия специальной платы, поломка которой вызовет переход всего электропитания на входную сеть.

Аналогичная ситуация прослеживается и при организации резервирования: избыточность моноблочно-паралельного комплекса достигается только добавлением дополнительного источника (горизонтальное резервирование).

Обратите внимание! Результатом объединения нескольких моноблочных ИБП может стать существенное превышение физической нагрузки мощностью СБЭ, что негативно скажется на КПД ИБП и понизит энергоэффективность системы.

Модульные ИБП гарантируют более оптимальную работу – для избыточности достаточно установить один дополнительный силовой блок (вертикальное резервирование).

Проиллюстрируем вышесказанное на простейшем примере, исходными данными будут: нагрузка 90 кВа, требование к резервированию – N+1. Упрощённая схема применения к данной задаче монолитных ИБП 90 кВА, представлена на рисунке 4.

4.jpg

Рисунок 4 – Резервирование за счёт монолитных ИБП (нагрузка 90 кВА)

Общая избыточность в номинальном режиме– 90 кВа.

Модульная конфигурация, построенная на блоках 30 кВа (рис. 5), выдаст избыточность, равную мощности одного модуля – 30 кВа.

5.jpg

Рисунок 5 - Резервирование при использовании модульных ИБП (нагрузка 90 кВА)

Предположим увеличение той же нагрузки до 110 кВА. При сохранении уровня резервирования это повлечет: для схемы с монолитными ИБП подключение дополнительного источника, для модульного ИБП – одного блока, рисунки 6 и 7.

6.jpg

Рисунок 6 – Резервирование за счёт монолитных ИБП (нагрузка 110 кВА)

7.jpg

Рисунок 7 - Резервирование при использовании модульных ИБП (нагрузка 110 кВА)

Избыточность первой системы составит 160 кВА или ≈ 60% от номинала каждого устройства при рекомендуемой нагрузке на ИБП в 70-80%, а второй всего 40 кВа, или ≈ 27% номинала единичного модуля.

Однако необходимо понимать, что приведённое на рис.5 и рис.7 вертикальное резервирование является поэлементным, то есть дублируется один силовой блок, а не вся необходимая для питания нагрузки мощность.

Аппаратное резервирование, полностью соответствующее концепциям N+X и 2N, гарантирует именно параллельно-горизонтальная система, где N – количество не силовых модулей, а полноценных ИБП, обеспечивающих электроснабжение потребителей.

Реализовать параллельное подключение возможно и для модульных устройств, рисунок 8.

8.jpg

Рисунок 8 – Аппаратное резервирование на основе модульных ИБП

В таком комплексе присутствует как вертикальное резервирование (на уровне силовых модулей), так и горизонтальное (на уровне целого ИБП). Это обеспечит большую отказоустойчивость системы, по сравнению с классической монолитной схемой N+1. Однако для данного решения станет вновь актуальной проблема энергоэффективности и избыточности в номинальном режиме.

Теоретическая возможность отказа единичного компонента у модульных ИБП выше, чем у моноблочных. Это объясняется тем, что моноблоки содержат меньшее число конструктивных элементов, каждый из которых может рассматриваться как потенциальная точка отказа. Данным фактором обусловлено и более высокое значение средней наработки на отказ (MTBF) у СБЭ на базе монолитных решений.

С дугой стороны, следует понимать, что величина MTBF во многом вероятностная, основанная на одном из постулатов теории надёжности, согласно которому – надежность любой системы возрастает с уменьшением числа её компонентов. На практике, неисправность в техническом устройстве, с большей или меньшей вероятностью, может случится в любой момент времени!

В модульном ИБП аварийная ситуация чаще всего затрагивает только один силовой блок и это, при наличии резервного модуля, не сказывается на электроснабжении подключённых потребителей!

Любая поломка в силовой части моноблочных ИБП вызывает либо отключение от нагрузки, либо переход в режим байпас, что при отсутствии полного резервирования мощности, может послужить причиной отказа всей СБЭ.

Обратите внимание! Несмотря на наличие независимой силовой части у каждого блока, единые точки отказа имеют и модульные ИБП. Факторами риска являются: общие узлы на входе и выходе устройства, электронный байпас, шины синхронизации.

В случае неисправности какого-либо компонента системы электроснабжения ЦОД, важно максимально быстро выйти из аварийного режима и возобновить нормальное функционирование инженерной инфраструктуры.

Модульные ИБП имеют сокращённое среднее время восстановления системы после отказа (MTTR), достигаемое за счёт возможности «горячей» (без перерыва в электроснабжении) замены, вышедшего из строя модуля. При наличии запасного силового блока, монтаж/демонтаж возможно осуществить силами одного специалиста за минимальный временной промежуток.

Ремонт моноблочных устройств не столь оперативен – восстановление работоспособности обычно занимает несколько часов или дней.

Если анализировать два подхода к построению ИБП с экономической точки зрения, то монолитный ИБП определённой мощности обойдётся дешевле, чем получение аналогичной выходной мощности с помощью объединения силовых блоков в модульном ИБП.

Однако для моноблочных устройств расширение уже существующей СБЭ увеличивает стоимость системы в два раза и может потребовать дополнительных трат на прокладку новых кабельных линий, установку распределительных щитов и коммутационных панелей.

Модульные ИБП позволяют на каждом этапе эксплуатации и развития СБЭ совершать затраты только на фактически нужные, приближенные к реальной необходимости, мощности.

Подводя итог всему вышесказанному, можно сказать что оба рассмотренных подхода к построению ИБП имеют свои сильные и слабые стороны:

При практическом построении системы бесперебойного электроснабжения существует масса факторов, влияющих на выбор конструктива трехфазного ИБП, в частности: требования стандарта TIA-942 к уровню резервирования, объём первоначальных капиталовложений, размер помещения, выделенного под оборудование, и т.п.

В некоторых проектах возможно объединение двух решений, например, при построении двухуровневой системы бесперебойного или гарантированного бесперебойного питания ЦОД.

На первом уровне защиты, вблизи ввода от внешней электросети, устанавливается мощный моноблочный ИБП или параллельный комплекс моноблочных ИБП. На втором уровне, перед каждым из серверных залов или распределительных щитов – менее мощный модульный, позволяющий за счёт гибкости конструкции быстро изменять СБЭ под локальные изменения нагрузки.

ИБП «Штиль» - отечественные технологии для ЦОД.

В номенклатуре группы компаний «Штиль» – лидера российского рынка высокотехнологичного электрооборудования, представлены трехфазные on-line ИБП серий ST (60-300 кВА) и SM (30-300 кВА) гарантирующие премиальное качество электропитания и отвечающие самым современным техническим требованиям:

Данные устройства имеют весь необходимый функционал для организации надёжного электроснабжения ЦОД:

ИБП серии ST представляет собой моноблочные устройства шкафного исполнения, поддерживающие, благодаря реализации силовой части на базе модулей мощностью 30 кВА и 50 кВА, поэлементное резервирование и «горячую» замену.

Обратите внимание! Вертикальное варьирование мощности за счёт подключения/отключения дополнительных модулей в устройствах серии ST не предусмотрено! Отдельный ИБП имеет ограниченное форм-фактором и прописанное в ПО количество силовых блоков, таблица 1:

Модель

Мощность силового модуля

Количество модулей

ST33060

30 кВА

2

ST33090

30 кВА

3

ST33100

50 кВА

2

ST33120

30 кВА

4

ST33150

50 кВА

3

ST33200

50 кВА

4

ST33250

50 кВА

5

ST33300

50 кВА

6

Таблица 1 – Модельный ряд трехфазных моноблочных ИБП «Штиль» серии ST

Расширение СБЭ, построенной на базе ИБП ST (60-300 кВА), возможно за счёт параллельного подключения до 6-ти аналогичных моделей для ST33060/33090/33120 и до 3-х для ST33100/ 33150/33200/33250/33300.

Устройства серии SM являются полноценным модульным ИБП с более широкими возможностями масштабирования и резервирования как с помощью установки дополнительных силовых блоков (с поддержкой «горячей» замены), так и за счёт параллельного объединения до 3-х ИБП. Возможные конфигурации приведены в таблице 2:

Модель

Мощность силового модуля

Максимальное количество модулей в одном системном шкафу

SM030

10 кВА

3

SM060/10

10 кВА

6

SM060/20

20 кВА

2

SM120

20 кВА

6

SM180

30 кВА

6

SM300

30 кВА

10

Таблица 2 – Модельный ряд трехфазных модульных ИБП «Штиль» серии SM

Модульные ИБП «Штиль» предназначены для бесперебойного электроснабжения самых ответственных потребителей и позволяют создавать конфигурации с любым уровнем и типом резервирования, энергоэффективные как при работе с существующей нагрузкой, так и с учётом возможного, будущего роста энергопотребления!

Обратите внимание! ИБП серий ST (60-300 кВА) и SM (30-300 кВА) не содержат встроенных АБ, однако предоставляют широкие возможности подключения внешних АБ, размещение которых, в зависимости от требуемого времени автономной работы, возможно в модульных батарейных стеллажах MBS (англ. Modular Battery Shelving) или батарейных шкафах BC (англ. Battery Cabinet).

Кроме того, группой компаний «Штиль» специально для трехфазных ИБП разработана широкая номенклатура дополнительных опций:

Устройства серий SM и ST прекрасно зарекомендовали себя при эксплуатации на различных объектах, в том числе в сфере телекоммуникации и обработки данных. Применение мощных трехфазных ИБП «Штиль» обеспечит комплексную и эталонную защиту всех инфраструктур ЦОД!

Андрей Новиков, ведущий инженер ГК Штиль.

Подробнее по этой теме читайте ниже:

Купить ИБП «Штиль» для ЦОД.

Подарок за отзыв о стабилизаторе Штиль
Подарок за отзыв о стабилизаторе Штиль