Як створювалася система холодопостачання дата-центру NORD-4

наприкінці вересня проект системи холодопостачання дата-центру NORD-4 отримав премію Russian Data Center Awards 2016 у номінації «Краще рішення в області інженерних систем». Сьогодні ми розповімо в деталях, як створювалася система охолодження самого великого дата-центру в Росії.



Умови завдання такі

Тип будови. NORD-4 відразу планувався багатоповерховим: на першому поверсі дата-центру знаходиться енергоцентр, на другому і третьому – 8 залів на 2016 стойко-місць.
Холодопродуктивність. Для відводу тепла від ІТ-обладнання потужністю 9000 кВт і супутньої інженерної інфраструктури потрібно не менше 10 000 кВт холодопродуктивності.

Температурний режим в залі. У холодних коридорах машинного залу температура повинна бути в межах 23-27 °С. В таких умовах обладнання працює стабільно, а інженери у холодних коридорах не застуджуються.

Кліматичні умови на вулиці. Температура зовнішнього повітря для проекту взята з будівельних норм і правил (СНиП). У Московському регіоні взимку температура опускається до -42 °С, а в теплу пору року досягає +37 °С.

Сертифікація. Дата-центр планувалося сертифікувати за стандартами Uptime Institute Tier III (проект, готовий будинок і процеси експлуатації). Згідно стандарту в дата-центрі Tier III будь-який компонент системи можна відключити для обслуговування без перерви в роботі. Це означає, що у кожного елемента є резерв мінімум N+1.

Графік запуску. Дата-центр відразу будувався з прицілом на поетапний запуск, тому всі системи потрібно було спроектувати так, щоб монтаж і пусконаладка нових потужностей не заважали вже працюючим машинним приміщенням.

Тип ІТ-обладнання. NORD-4 – комерційний дата-центр: він буде заповнюватися поступово і різними стійками. Це означає, що не можна жорстко закріпити схему розташування стійок в машинному залі і заздалегідь ізолювати гарячі або холодні коридори.

Вибір схеми холодопостачання

Перш ніж зупинитися на чиллерной схемою, яка і була реалізована, ми розглянули кілька альтернатив.

Кондиціонери прямого розширення (DX). Таку конфігурацію часто називають просто фреонової. У машинних залах розташовуються шафові фреонові кондиціонери з випарником, компресором, теплорегулюючі вентилем. На даху або поруч з будівлею дата-центру – зовнішні блоки c конденсатором. Кондиціонери і зовнішні блоки з'єднуються між собою мідними фреонопроводами.
У цій схемі кондиціонер охолоджує повітря безпосередньо в машинному залі без проміжного теплоносія (вода, повітря).


Принцип роботи фреонової схеми охолодження.

Ця система працює в 5 наших дата-центрах, тому добре нам знайома. Порівняно з чиллерной схемою у неї є ряд переваг: вона дешевше по капітальних вкладеннях, простіше і швидше в монтажі. Так як всі кондиціонери автономні, для резервування системи досить додати потрібну кількість зайвих кондиціонерів.
Незважаючи на ці плюси, для проекту NORD-4 вона не підійшла з-за таких обмежень:
  • довжина фреонопроводів: для ефективного охолодження вона не повинна перевищувати 50 метрів по горизонталі, якщо є перепад висот – ще менше. З багатоповерховим дата-центром було складно вкластися в ці обмеження.
  • низька енергоефективність: в тривалій перспективі фреонова схема менш вигідна, ніж та ж чиллерная. У фреонового компресора кондиціонера тільки два стани – включений і вимкнений. В такій схемі немає можливості охолодження без працюючого компресора, тобто електрику на охолодження буде витрачатися, навіть коли на вулиці холодно.


Kyoto Cooling. Це двоконтурна схема з природним повітряним охолодженням (фрикулингом). У внутрішньому контурі циркулює повітря дата-центру, а в зовнішній контур подається вуличне повітря. В теплообміннику-рекуператорі роторного типу, або «колесі», гаряче повітря від ІТ-обладнання охолоджується за рахунок вуличного повітря. В роботі Kyoto Cooling не беруть участь компресори (те саме природне охолодження) при низьких вуличних температурах.


Принцип роботи Kyoto Cooling.

Цей варіант підкуповував своєю енергоефективністю: в режимі фрікулінга електрика витрачається тільки на привід електродвигунів вентиляторів. Дата-центри, які використовують цю схему, можуть похвалитися одним з найнижчих PUE – 1,09–1,13. На відміну від чиллерной схеми, Kyoto Cooling працює без води, тому немає ризику протікання.
У той же час система Kyoto Cooling пред'являла специфічні вимоги до планування будівлі:

  • теплообмінник «колесо» з усіма вентиляційними камерами займає багато місця. Фактично під нього треба окреме технічне приміщення, яке важко вписати в готовий проект будівлі.
  • у повітря маленька теплоємність: щоб передати великий обсяг тепла, потрібні великі повітроводи. Функцію повітроводів можуть виконувати коридори, але це знову-таки потрібно передбачити на етапі проектування будівлі.
  • усередині машинного залу необхідно ізолювати гарячі коридори. Це складно зробити, коли стійки різнокаліберні і зала заповнюється поступово.
  • додаткові витрати на фільтри. Вуличне повітря, який приходить на колесо, треба фільтрувати, інакше пил буде потрапляти в машинні зали.



«Колесо» з горизонтальним розташуванням осі.

За вартістю система виходила дорогою. Щоб Kyoto Cooling справлявся з охолодженням тільки за рахунок вуличного повітря, на вулиці має бути не спекотніше 25 °С. Для літнього періоду в доповнення до «колеса» нам все одно довелося б закупити холодильні машини на повну потужність. Крім того, рішення було для нас новим і неопробованным, а пускатися в експерименти на такому масштабному об'єкті не хотілося.

Чіллер-фанкойл. Ще однією альтернативою стала двоконтурна чиллерная схема на етиленгліколь і воді. Зовнішній контур з незамерзаючих розчином етиленгліколю з'єднує чиллери і теплообмінник. Внутрішній контур з водою йде від теплообмінника до шкафным кондиціонерів. Таким чином, повітря в машинних залах охолоджується за допомогою теплоносіїв – води і розчину етиленгліколю.
Схожу схему ми використовували в самому першому своєму дата-центрі OST-1. Можливість природного охолодження в холодну пору року – основна перевага цієї схеми. При фрикулинге електрика витрачають тільки вентилятори та насоси. Компресори, «ненажерливий» елемент системи, стоять вимкненими.
Чиллерная схема виглядала найбільш підходящим варіантом для проекту NORD-4. Вона не впиралася в обмеження, як фреонова схема, і в довгостроковій перспективі була більш енергоефективною. На відміну від Kyoto Cooling, вона не вимагала спеціальних рішень в плануванні будівлі, але при цьому також підтримувала режим фрікулінга.

Вибір обладнання

Чиллери. Ми проаналізували енергетичну та економічну ефективність обладнання з близькими технічними параметрами: з вартості обладнання і його розрахункового енергоспоживання протягом року обчислювалося, як скоро різниця в ціні порівняно з найдешевшою моделлю відіб'ється за рахунок економії на електроенергії. Фактично ми порівнювали CAPEX і ГОРІХ. Як правило, виходило, що чим дорожча машина, тим довше вона працювала в режимі фрікулінга і тим менше споживала електрики протягом року. Завдяки такому порівнянні ми побачили, що термін окупності для дорогих моделей зіставимо з більш дешевими.

Переглянули обладнання більше 10 вендорів: Emerson, Uniflair, Stulz, Climaventa, Hiref, Aermec, Climacore, Clivet, Hitema, Clint, Ferroli. За результатами нашого дослідження найбільш підходящим для наших цілей виявився чиллер Stulz CyberCool-2 номінальною холодопродуктивністю 950 кВт. Чиллер працює на «теплому» хладоносителе: температура етиленгліколю на виході з чиллера – 16 °С, на вході – 22 °С. Зазвичай температура етиленгліколю +7 +12 °С.

Висока температура холодоносія забезпечує більш тривалий період природного охолодження за рахунок вуличного повітря. Якщо етиленгліколь тепліше, ніж зовнішнє повітря, то система охолодження відводить тепло без включення компресорів.


Аналіз енергоефективності чиллера Stulz CyberCool-2.

Чиллер переходить в режим повного фрікулінга, коли на вулиці прохолодніше +6 °С, а в режим часткового – при температурах від +6 до +19 °С. При повному фрикулинге компресори вимкнені, і електрика витрачають тільки вентилятори та насоси.

Холодопродуктивність чиллера регулюється завдяки 4-ступінчастим гвинтових компресорів. Вони працюють в чотирьох режимах і можуть варіювати продуктивність: 0, 25, 50,100 %. Потужність регулюється і в електронно-комутованих вентиляторів.

Контролер чиллера живиться від вбудованого ДБЖ, тому при перемиканні харчування в дата-центрі він продовжує працювати і не витрачає час на перезавантаження.


Чиллери Stulz CyberCool-2.

Кондиціонери. Як у випадку з чилерами, більш дорогі моделі кондиціонерів виявилися більш енергоефективними. Так вийшло і з вибраним у підсумку Stulz ASD1000CW. За нашими розрахунками, висока вартість кондиціонера Stulz компенсується менш ніж за рік за рахунок використання вентиляторів з електронною комутацією.

Температура води на вході в кондиціонер 18 °С, на виході – 24 °С. Завдяки високій температурі теплоносія в системі кондиціонери працюють вище точки роси, тому не витрачається зайва енергія на конденсацію вологи і подальше зволоження повітря.


Кондиціонер Stulz ASD1000CW.

Кожен кондиціонер регулює потужність охолодження з допомогою 2-ходового клапана, змінюючи витрату води (схема зі змінною витратою). У більш поширеною схемою з постійною витратою кондиціонер регулює температуру повітря за допомогою 3-ходового клапана, пропускаючи частину води через теплообмінник, а частина через байпас. На виході з кондиціонера потоки змішуються. У нашій схемі такого не відбувається, і виходить зберегти високу температуру зворотної води.

При змінній витраті насоси підтримують постійний тиск на входах до кондиціонери. За цим стежить система автоматичного регулювання.


Порівняння схем з постійною та змінною витратою води.

Підсумкова реалізація

У кожному машинному залі розташовується 14 кондиціонерів, энергоцентрах – по 4 штуки. Схема резервування N+1.


На даху дата-центру працюють 14 чілерів. Чиллерные групи будуть монтуватися в чотири етапи у відповідності з запуском машинних залів: 4+3+4+3. На кожному етапі підтримується резерв не менше N+1: 3+1, 6+1, 9+2, 12+2. До теперішнього часу встановлено 7 чілерів (6+1).


Всі інші елементи системи ми розмістили в хладоцентре на четвертому технічному поверсі над машинними залами. Тут розташовуються насоси, баки-акумулятори, основну запірно-регулюючу арматуру, проміжні теплообмінники, трубну розведення водяного і гліколевих контурів системи охолодження. Так ми спростили для себе управління запірною арматурою, розвантажили поверхи з машинними залами і убезпечили себе від масштабних протікання поруч з ІТ-устаткуванням.

Технічний поверх.

Зовнішній контур з розчином етиленгліколю з'єднує чиллер і теплообмінник: теплий гліколь температурою 22 °С йде до чиллеру, охолоджується до 16 °С і надходить у теплообмінник. Кожен чиллер з насосом, трубопроводом і теплообмінником утворює незалежний холодильний вузол. При відмові одного з елементів з роботи виводиться весь сайт.

Взаємодія зовнішнього і внутрішнього контурів в чиллерной схемою.

Внутрішній водяний контур, що займає весь технічний поверх, з'єднує теплообмінник з кондиціонерами: до кондиціонерів надходить вода температурою 18 °С, від кондиціонерів до теплообмінника повертається вода 24 °С.

У внутрішньому контурі передбачені баки-акумулятори загальним об'ємом 46 куб. м. При перервах у роботі чілерів (наприклад, при перемиканні з міста на ДГУ) ці баки підтримують автономну роботу системи до 8 хвилин. Виходить свого роду «безперебійне охолодження».

Покрівля з чилерами та технічний поверх.


Трубопроводи внутрішнього контуру на одному з поверхів NORD-4.

Висновки

Головне достоїнство цієї системи холодопостачання – її висока енергоефективність. Домогтися цього вдалося завдяки таким рішенням:
  • Підвищена температура теплоносіїв – етиленгліколю і води.
  • Змінний витрата теплоносія у внутрішньому водяному контурі. Така схема виключає змішування холодної та гарячої води. В результаті ми отримали підвищену різницю температур гарячої і холодної води і більший період фрікулінга.
  • Вентилятори з електронною комутацією в шафових кондиціонерах і чиллерах.
За нашими розрахунками, при повної проектної навантаженні дата-центру середньорічний механічний PUE («по холоду») складе не більше 1,21.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.