ЦОД DataPro: системи охолодження і пожежогасіння

Трохи про проект DataPro. попередньому матеріалі ми розповідали про систему безперебійного гарантованого електропостачання та дизель-роторних ДБЖ (DRUPS) дата-центру DataPro, що має сертифікат відповідності рівню доступності Tier III Uptime Institute. DRUPS практично повністю виключають можливість відмови резервної системи енергопостачання і виходять на робочу потужність всього за кілька секунд.


Тепер мова піде про системи охолодження і пожежогасіння, які використовуються в DataPro. Під катом більше деталей і відео спрацьовування системи газового пожежогасіння при тестових випробуваннях.

Система охолодження EcoBreeze
У типовому дата-центрі значення PUE (Power Usage Effectiveness — визначається, як співвідношення потужності, споживаної всім дата-центром, до потужності, споживаної ІТ-устаткуванням) досягає в середньому 1,6–2 саме за рахунок живлення систем охолодження. Тому виробники цього обладнання давно намагаються розробити більш ефективні системи. Одним з таких рішень стала модульна система природного охолодження (фрікулінга) з додатковим зрошенням — EcoBreeze.

У центрі обробки даних DataPro знаходиться одна з перших і найбільших в Росії інсталяцій системи охолодження EcoBreeze від Schneider Electric.


У 2010 році компанія American Power Conversion (APC), пізніше увійшла до складу Schneider Electric, представила першу повітряну систему кондиціонування ЦОД з економайзером, що розділяє внутрішній і зовнішній повітряні потоки. Ця система була розроблена у відповідності з зростаючими вимогами до енергоефективності ЦОД. У ній використовується «природне» охолодження («непрямий» фрикулинг).
EcoBreeze застосовується принцип побічно-випарного охолодження повітря. Тепле повітря від стійок в ЦОД піднімається вгору і через воздуховод потрапляє в теплообмінник кондиціонера поза приміщення ЦОД. Теплообмінник продувається вуличним повітрям, гаряче повітря охолоджується та поступає назад в ЦОД.

EcoBreeze використовує кілька методів переносу тепла з ЦОД в навколишнє середовище. На відміну від інших систем фрікулінга, тут застосовується два методи природного охолодження:



1. Охолодження повітряних потоків, в ході якого відбувається теплообмін між прохолодним зовнішнім повітрям і гарячим повітрям з приміщення дата-центру, причому їх змішування не відбувається. В теплообміннику для передачі тепла від одного потоку до іншого використовуються поліпшені матеріали.



2. Якщо температура зовнішнього повітря недостатньо низька для охолодження, система переходить на режим зрошення — поверхня теплообмінника покривається тонким шаром води.


На крайній випадок, коли і системи зрошення виявляється недостатньо, у EcoBreeze є третій режим роботи — фреоновий цикл з компресором змінної продуктивності. По суті, це класичний фреоновий кондиціонер, покликаний забезпечити цілорічне охолодження.


Рішення EcoBreeze встановлюються за межами ЦОД, не займаючи в ньому корисної площі. Після заводської збірки модулі системи проходять попередню перевірку і монтуються на об'єкті.



Система кондиціонування ЦОД EcoBreeze поставляється у вигляді модулів потужністю 50 кВт, які можна об'єднувати в групи, що включають до чотирьох (200 кВт) або восьми (400 кВт) модулів. Модульна конструкція дозволяє масштабувати систему по холодопродуктивності.Такий підхід дає можливість купувати устаткування, яке відповідає поточним вимогам до кондиціювання ЦОД, заощадити як початкові інвестиції так і експлуатаційні витрати. Крім того, модульність системи забезпечує резервування на рівні модулів і її працездатність під час технічного обслуговування або ремонту.

Як вона працює?
Розглянемо тепер докладніше, як все це працює. Випущена в 2010 році система і сьогодні продовжує залишатися передовим рішенням. У 2014 році Schneider Electric почала серійне виробництво EcoBreeze. Поки що у всьому світі змонтовано трохи більше двох десятків систем.

Отже, для максимальної енергоефективності ЦОД EcoBreeze використовує переваги клімату, і в ній передбачено декілька способів охолодження з можливістю автоматичного перемикання між ними:

  • При прямому повітряному теплообміні для охолодження використовуються тільки електронно-комутовані вентилятори, а повітряний економайзер системи EcoBreeze працює в режимі рекуператора. В режимі прямого повітряного теплообміну гаряче повітря прокачується електронно-комутованими вентиляторами через канали непрямого випарного охолоджувача (IEC). Після первісного охолодження повітря виходить з IEC, проходить через систему кондиціонування і повертається в центр обробки даних.

  • При перевищенні навколишнього температурою порогу +7°C (ця величина може коригуватися) підключається додаткове зрошення. Використовується опосередковано-випарне охолодження: повітря охолоджується за рахунок випаровування води з зовнішньої сторони каналів теплообмінника.

  • При високій температурі навколишнього середовища (+27°C і вище) підключається фреоновий контур, компресор якого має частотне регулювання.
Таким чином, при низьких температурах система обходиться і без води, і без фреону, працюючи тільки від навколишнього повітря. При підвищенні температури навколишнього середовища задіюється зрошення, а якщо і цього недостатньо, то застосовуються компресори.

В умовах нашого клімату більшу частину року EcoBreeze може охолоджувати ІТ-навантаження без включення фреонового контуру, витрачаючи на це мінімум електроенергії. Вважається, що застосування EcoBreeze спільно з іншими енергоефективними компонентами інженерної інфраструктури ЦОД дозволяє досягти середньорічного значення PUE 1,25–1,3.

Зовнішнє повітря не змішується з повітрям з ЦОД, виключено попадання води і фреону в машинний зал. А для нарощування потужності можна просто додавати модулі EcoBreeze.

Система інтелектуального управління і збережені компоненти повітряних економайзерів EcoBreeze покликані забезпечити високу надійність і готовність системи охолодження ЦОД.


Система EcoBreeze передбачає непрямий фрикулинг (тобто зовнішній і внутрішній повітря не перемішуються) з додатковим зрошенням теплообмінника «повітря-повітря»: випаровуючись, вода остуджує зовнішнє повітря, що охолоджує трубки, по яких передається повітря внутрішнього контуру.


Вся система кондиціонування ЦОД розташована за його межами. У DataPro вона змонтована на даху будівлі. Зараз встановлено п'ять таких систем за вісім модулів у кожній.

Що це дає?
Подібна технологія дозволяє значну частину року витрачати електроенергію лише на харчування вентиляторів, які подають повітря з ЦОД і назад, а також вентиляторів, продувають повітря через теплообмінник. Для систем, подібних EcoBreeze, коефіцієнт ефективності (Coefficient of Performance, COP) може в кілька разів перевищувати показник кращих класичних чиллерных систем. Крім економії електроенергії досягається і виграш по площі: альтернативні рішення займають вдвічі більше місця.

За оцінками експертів, для московського клімату енергоспоживання системи EcoBreeze приблизно в три рази нижче, ніж у системи на охолодженій воді, і приблизно в шість разів нижче, ніж енергоспоживання системи на фреоні. Крім того, завдяки можливості перенаправлення формуються EcoBreeze потоків повітря з одного машинного залу в інший, в ЦОД DataPro вдалося підвищити рівень утилізації потужності системи холодопостачання до 80%. 3-4 місяці в році EcoBreeze працює «на повну силу», решту часу вона функціонує в режимі фрікулінга.

Два пожежних бака на 260 м3 використовуються як резервні ємності для води, яку можна використовувати при проблемах в системі міського водопостачання. Вода рециркулює, але вимагає регулярного оновлення через забруднення. Влітку йде близько 200 м3 води на місяць. Нормальний витрата складає всього 20-30 м3 щомісячно.

Ще одна особливість ЦОД DataPro: з'єднання фреонових трас кондиціонерів в ньому виконано без пайки, за допомогою фітингів. Така реалізація дозволяє проводити оперативний монтаж і ремонт без проведення вогненебезпечних робіт.


Приклад роботи системи охолодження ЦОД з відображенням в системі диспетчеризації.

Зараз розрахункове навантаження на кожен зал — 260 кВт. Проектна навантаження на зал — 360 кВт. У процесі сертифікації на Uptime Tier III одна система EcoBreeze вимикалася повністю, і всі машзалы працювали при повної проектної навантаженні (5 залів по 360 кВт.). Якщо з ладу вийде більше двох модулів EcoBreeze, запустяться резервні фреонові кондиціонери.


Детальна інформація за EcoBreeze. Цифри показують реальну завантаження модулів. Індикатори показують, коли треба міняти або чистити повітряні фільтри.

Чому ж в ЦОД DataPro використовуються ще і фреонові кондиціонери? Насправді, у них подвійна функція: крім резервування вони служать для підтримання необхідного рівня вологості. Крім того, для підтримки необхідного рівня вологості, в машинних залах ЦОД встановлена окрема система адіабатичного зволоження.


Контрольні панелі EcoBreeze в центрі управління ЦОД DataPro.

Спочатку планувалося розгорнути в новому ЦОД DataPro 26 установок EcoBreeze холодопродуктивністю 350 кВт кожна. Це була б одна з найбільших інсталяцій системи в Європі. Однак на сьогоднішній день змонтовані вісім систем EcoBreeze.


Схема охолодження машинних залів.

Система дозволила здійснити поетапне розгортання і досягти високого коефіцієнта енергоефективності.

Специфіка експлуатації EcoBreeze
Система EcoBreeze підійде далеко не для всіх дата-центрів. Справа в тому, що для її розміщення потрібно значна площа, при введенні в експлуатацію може виникнути необхідність внести певні «доопрацювання», а її обслуговування пред'являє високі вимоги до кваліфікації персоналу. Наступний момент, про який ми говорили раніше, — EcoBreeze доцільно використовувати в масштабних проектах при навантаженні, наближеною до 100%. Саме в таких умовах система демонструє найкращий показник PUE, в розрахунку якого слід враховувати, в тому числі, і витрати на подачу води, вимагає «водопідготовки» — зниження рівня жорсткості. Також варто звернути увагу на високі капітальні витрати на покупку і монтаж модулів порівняно з фреоновими кондиціонерами еквівалентної потужності. Окремий нюанс для Цодів, розміщених у межах міста, — потрібна регулярна заміна повітряних фільтрів HEPA в системі прямого фрікулінга, які в деяких випадках можуть коштувати дорожче зекономленої нею електроенергії.

Продумане планування завжди допоможе оцінити перспективність того чи іншого проекту, а також знайти можливі шляхи нівелювання мінусів. Наприклад, в DataPro передбачили практично все, зокрема, для оптимізації витрат на експлуатацію, замість фірмових повітряних фільтрів виробника обладнання використовуються фільтри власного виготовлення з нетканого матеріалу, що фільтрує

Система пожежогасіння Vesda
Система пожежної безпеки в ЦОД DataPro реалізована за допомогою обладнання Vesda виробництва компанії Autronica, a в якості вогнегасної речовини системи газового пожежогасіння обраний биобезопасный газ — хладон 227. Хладон розподіляється по захищених обсягом приміщень з допомогою трубної розводки і насадок радіального розпилу. Вогнегасна речовина розміщується в модулі газового пожежогасіння.

Машинний зал обладнаний системою надраннього виявлення диму Vesda, в якій для контролю повітря гарячого коридору використовується лазерний газоаналізатор. З допомогою газоаналізатора система раннього пожежо — і дымообнаружения постійно аналізує склад повітря. На відміну від звичайних офісних детекторів диму, це дозволяє виявити ознаки загоряння на ранніх етапах і запобігти збитки від вогню.

Газоаналізатор виявляє наявність домішок, типових для горіння пластмаси або ізоляції. При виявленні таких домішок дається тривожне повідомлення. Для виключення помилкових спрацьовувань система газового пожежогасіння функціонує в ручному режимі, тобто запускається черговим інженером і співробітником охорони при значному спалах.

При отриманні тривожного повідомлення персонал, діючи за заздалегідь складеним планом, перевіряє наявність спалаху і при виявленні такого приводить в дію систему пожежогасіння або просто використовує вогнегасник, знеструмивши відповідний сервер або стійку. Це дозволяє уникнути випадкового спрацювання системи і адекватно реагувати на такі події, як поява диму від несправного конденсатора на сервері.


У разі виявлення, наприклад, підвищеної концентрації вуглецю система дає тривожний сигнал в центр управління ЦОД і на пульт охорони, показуючи на відповідному індикаторі місце можливого загоряння. Цифри на панелях системи пожежної сигналізації показують рівень сигналу лазера.

На відміну від більшості інших ЦОД, система пожежогасіння в дата-центрі DataPro перевірялася в «бойовому» режимі: імітувалося загоряння, у результаті спрацьовування системи після евакуації персоналу машзал заповнювався вуглекислим газом, «пожежа» у відсутності кисню гас, і вуглекислий газ із залу откачивался. Крім того, регулярно проводяться навчання і тренінги персоналу.

Як проходив тест системи пожежогасіння. Рекомендуємо зменшить звук, т. к. сигналізацію неможливо не почути.

Додатково встановлена штатна система пожежної сигналізації Bosch. Деяким клієнтам DataPro, у відповідності зі своїми корпоративними стандартами, вимагається установки додаткового обладнання захисту від загоряння, у цьому випадку встановлюються необхідні для них системи.

Все обладнання дата-центру і клієнтське обладнання застраховано.


Один з клієнтів дата-центру ініціював проведення зовнішнього аудиту ЦОД. За результатами аудиту спеціально для цього клієнта була додатково змонтована система автоматичного газового пожежогасіння в приміщенні РП-10 кВ. В первісному проекті установка даної системи в РП не передбачалася.

В даний час газове пожежогасіння передбачено у всіх машзалах, приміщеннях кросових і дизель-роторних ДБЖ. Система здатна впоратися із загорянням одночасно в двох машзалах і має 100% резерв, що дозволить їй вже через хвилину припинити пожежу ще в двох залах. Після цього потрібно перезарядка балонів.

Корпоративні ЦОД для «моноклиентов» сьогодні навчилися будувати багато російські інтегратори. Комерційний ЦОД — зовсім інша історія, тут дещо інші вимоги до систем життєзабезпечення. Розповідь про це ми продовжимо в наших наступних матеріалах, присвячених ЦОД DataPro.


DataPro розміщує проекти від однієї стійки, також клієнту слід самостійно домовлятися про співпрацю з операторами зв'язку.
HOSTKEY є офіційним роздрібним партнером DataPro. Якщо необхідно розмістити обладнання, орендувати виділені сервера або реалізувати складний конвергентний проект під високий SLA у сертифікованому на Tier III ЦОД DataPro, звертайтеся.

Розміщення в наших стійках 1U обладнання (сучасний сервер з будь-яким блоком живлення, не твін) з резервированным виділеним каналом доступу в Інтернет 100мбіт/сек коштує 4000 руб. на місяць, включаючи ПДВ або всього 40000 руб. в рік. Можна орендувати цілу стійку, 1/2 або чверть стандартної стійки, в тому числі і під пломбу. Ми допоможемо з установкою, підключенням та попередньою настройкою переданого обладнання.

Ми пропонуємо для оренди в DataPro будь-які виділені сервери Supermicro або HP, дискові полиці HP/Dell і мережеву інфраструктуру (VLAN) від 100Мбит/сек до 10гбіт/с (включаючи засоби захисту і роутери) за розумними цінами. Ви можете створити гібридне рішення, що складається з ваших серверів, орендованих серверів і мережевої інфраструктури. HOSTKEY надає найвищий SLA з обслуговування власного обладнання клієнтів.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.