Екскурсія по дата-центру NORD-4

Сьогодні підемо гуляти по найбільшому комерційному дата-центру в Росії — NORD-4. По дорозі розповімо, як все влаштовано в дата-центрі TIER III.



Трохи історії
Будівництво дата-центру стартувало влітку 2013 року на майданчику NORD на Коровинском шосе в Москві. NORD-4 став найбільшим проектом не тільки для DataLine, але і для всього російського ринку комерційних дата-центрів. NORD-4 займає окреме чотириповерхова будівля загальною площею 11 700 кв. м. 8 машинних залів вміщують 2016 стойкомест. Загальна потужність дата-центру 18 МВт.

Дата-центр примітний не тільки своїми масштабами, але вкладеними досвідом. Ми самі проектуємо, будуємо і експлуатуємо всі свої дата-центри з 2007 року, і NORD-4 став для нас сьомим.

NORD-4 планувалося вводити в експлуатацію поетапно, тому дата-центр спроектований так, щоб монтаж і пусконаладка нових черг не заважала роботі вже запущених залів.

У березні 2015 була здана в експлуатацію перша черга NORD-4 — 2 зали по 252 стойкомест, в грудні 2015 — ще стільки ж.

У червні 2015 проект NORD-4 пройшов сертифікацію Uptime Institute за стандартом TIER III Design, а в лютому 2016 ми сертифікували вже готовий об'єкт (TIER III Facility).

Наступні дві черги дата-центру на 1008 стойкомест запустяться в 2017 році.


NORD-4 знаходиться на півночі Москви, на Коровинском шосе 41.

Фізична безпека
На вході в дата-центр нас зустрічає цілодобовий пост охорони. Як і всі наші Цод, NORD-4 — режимний об'єкт, тому потрапити всередину можна тільки по посвідченню особи і заявкою на пропуск від співробітника дата-центру.



Всі приміщення і територія дата-центру проглядаються через камери внутрішнього та зовнішнього спостереження. Картинка про те, що відбувається в NORD-4 цілодобово транслюється на монітори охорони. Все відео записуються і зберігаються 3 місяці на випадок, якщо потрібно відтворити події днів минулих.





Отже, з пропуском на шиї, бахілами на ногах і в супроводі чергового інженера вирушаємо дослідити NORD-4. В сам дата центр можна потрапити тільки через спеціальний відсік — шлюз. Ця свого роду подвійне загородження для того, щоб в ЦОД не потрапив чоловік без пропуску. Працює шлюз так: відвідувач прикладає пропуск до зчитувача СКУД (система контролю і управління доступом), заходить в шлюз і закриває за собою двері. Після цього повторює всі ті ж дії з другої дверима, що ведуть у дата-центр. Якщо у шлюзі якимось чином виявляється людина без пропуску, то охорона блокує його, і друга двері не відкривається.



Машинні зали
Кожен машинний зал знаходиться в окремому контейнері, зі своїм дахом і стінами. Ці внутрішні будівлі називаються гермозонами. Вони захищають від протікань, попадання пилу в машинні зали, забезпечують потрібну ступінь вогнестійкості.

При здачі дата-центру служба експлуатації щедро проливає дах гермозони водою і перевіряє на предмет протікання. Для цього випробування і реальних потопів, у гермозони навіть передбачені водостічні труби.



Кожен машинний зал займає площу 500 кв. м і вміщує 252 стійок. У 4 запущених залах вже працюють 389 стійок.



Всі стійки з серверним і телеком обладнанням встановлюються на фальшпол висотою 800 мм. Основна функція фальшпола — підведення холодного повітря до стійок. Під фальшполом розташовані шинопроводи, за яким підводять електрику до стійок, датчики протікання і задимлення, розпилювачі вогнегасної речовини.



Другий комплект датчиків задимлення і розпилювачів вогнегасної речовини знаходиться під стелею залу. Червоні труби — це система раннього пожарообнаружения (VESDA). Вона постійно «нюхає» повітря і фіксує найменше задимлення.



Там же знаходяться динаміки для оповіщення про евакуацію на випадок пожежі.



У разі пожежі через жовті труби на стелі в машинні зали подається вогнегасна речовина Novec.



На початку і в кінці кожного ряду стійок на лотках СКС встановлені камери відеоспостереження. Окремі 2 камери фіксують, хто заходить і виходить із зали.



Якщо замовникам потрібен додатковий периметр фізичного захисту, то ми поміщаємо їх стійки в спеціальні клітини — кейджі. У кейдж встановлюється свій СКУД. Системи ідентифікації можуть бути різними: зчитувач магнітних карт, відбитків пальців, сітківки ока. Всередині можна повісити додаткові камери відеоспостереження, датчики об'єму і руху.



Енергопостачання
У дата-центрі 4 незалежних енергоцентру. У кожному энергоцентре за 2 введення від міської електромережі, 2 понижуючих трансформатора, 4 дизель-генератора (ДГУ) і 11 джерел безперебійного живлення (ДБЖ). Кожен енергоцентр живить за 2 машинних залу і встановлене в них інженерне обладнання.



Розподіл електрики в дата-центрі відбувається приблизно так: харчування від міської мережі по двох променів надходить на понижуючі трансформатори, а потім на головний розподільний щит.

До всього критичного інженерного обладнання підведені два променя електроживлення. Всі обчислювальне обладнання підключається до двох незалежних променів через джерела безперебійного живлення (ДБЖ).

Якщо пропаде міське харчування, то ДБЖ автоматично переводить свою навантаження на акумуляторні батареї. В цей же час система автоматики дає команду на запуск ДГУ. Їм потрібно близько хвилини для виходу на робочу потужність, після чого дата-центр починає харчуватися від ДГУ, а не від акумуляторних батарей. Час автономної роботи від батарей при повному навантаженні — 15 хвилин.

У NORD-4 працюють 44 ДБЖ MGE Galaxy 7000. ДБЖ зарезервовані за схемою 2N.



Так виглядають акумуляторні батареї, за рахунок яких ДБЖ живлять весь ЦОД, поки заводяться ДГУ.



У NORD-4 ми використовуємо FG Wilson потужністю 1750 кВт. Резервування N+1: для роботи одного енергоцентру достатньо трьох ДДУ, один резервний.



На території NORD-4 організовано підземне топливохранилище на 100 куб. м. З нього паливо автоматично доливається у витратні баки ДГУ. На власних запасах без харчування від міста дата-центр може пропрацювати більше доби.


Траси паливосховища, за яким паливо надходить у ДДУ, зарезервовані за схемою 2N.

Кожен два тижні ми тестуємо систему енергопостачання: на 1 годину відключаємо один промінь харчування і перевіряємо роботу ДДУ, автоматики, ДБЖ, системи моніторингу та підготовку чергових інженерів.



Холодопостачання
У NORD-4 ми зупинилися на чиллерной схемою на етиленгліколь і воді. У машинних залах і энергоцентрах розташовуються внутрішні блоки кондиціонерів, на даху працюють чиллери, на технічному поверсі знаходяться система автоматики і управління, теплообмінники, насоси водяного контуру, баки-акумулятори.

У контурі, який перебуває на даху з чилерами, циркулює етиленгліколь. Він не замерзає при мінусових температурах. Всередині дата-центру по трубах системи охолодження тече вода.


Технічний поверх з трубопроводами системи охолодження.

Якщо етиленгліколь тепліше, ніж зовнішнє повітря, то система охолодження, яка відводить зайве тепло без включення компресорів. Такий режим природного охолодження за рахунок «вулиці» називається фрикулингом (free cooling). NORD-4 переходить на повний фрикулинг, коли на вулиці +13°С і нижче, а в режим часткового фрікулінга при температурі від +14 до +20°С.

З фрикулингом електроживлення системи холодопостачання обходиться набагато дешевше: коли компресори кондиціонерів вимкнені, електрика витрачають тільки вентилятори та насоси. Економиться до 85% електрики.

За проектом, на даху NORD-4 буде встановлено 14 чілерів марки Stulz CyberCool-2. Зараз працює 7, так як запущена тільки половина дата-центру. Рівень резервування N+2.



Кожен машинний зал NORD-4 охолоджують 14 кондиціонерів марки Stulz. Якщо є бажання зазирнути всередину кондиціонера, клікайте сюди.



З кондиціонера охолоджене повітря надходить під фальшпол і через перфоровані плитки фальшпола потрапляє в холодний коридор. Звідти холодне повітря забирається обладнанням. Тепле повітря видувається з обладнання в гарячий коридор і знову повертається в кондиціонер. Така схема називається «холодні і гарячі коридори».
У холодному коридорі підтримується температура 25°С (± 2), в гарячому — на 10-15 градусів вище. Вологість — 30-70%.



Ось так рухається холодний і гарячий повітря в машинному залі, влаштований за принципом «холодного та гарячого коридорів».

Один з холодних коридорів залу Whiskey.



Всі компоненти холодопостачання зарезервовані за схемою N+1, або N+2: будь чиллер, кондиціонер, насос, теплообмінник, трубопровід можна відключити для ремонту або сервісного обслуговування без перерви в роботі всієї системи.



Пожежна безпека
На 1 поверсі NORD-4 розташовується станція пожежогасіння з балонами з Novec. Ця речовина при розпиленні залишає сухими обладнання і навіть папір. З-за цього властивості Novec називають ще «сухий водою». Деякі умільці пристосували це речовина для рідинного охолодження серверів.



Автоматична Система, але ми її експлуатуємо в напівручному режимі: автоматика спрацьовує тільки, коли з приміщень, порушених вогнем, евакуйовані люди. При виникненні задимлення спрацьовує датчик, який посилає сигнал на пост охорони з зазначенням місця загоряння. Щоб виключити подачу Novec по помилковому спрацьовуванню, охоронець перевіряє проблемне приміщення. В цей же час у всіх приміщеннях ЦОДа починає завивати сирена, що закликає всіх евакуюватися з дата-центру. На час евакуації СКУД на всіх дверях відключається, щоб люди могли швидко залишити будівлю.

Якщо спалах все-таки є, охоронець перевіряє, чи не залишилося всередині людей, закриває двері в приміщення і включає автоматику. Через 45 секунд в приміщення починає надходити Novec. Через 2-3 хвилини вже два охоронця в протигазах (один заходить у зал, другий страхує на вході) перевіряють, чи вдалося ліквідувати пожежу.

По цих трубах Novec спрямовується в машинні зали та інженерні приміщення. Система пожежогасіння зарезервована за схемою 2N.



Центр моніторингу
Вся інформація про стан інженерної інфраструктури дата-центрів збирається в єдину систему моніторингу. У кожному Цоді є оперативний центр управління з відеостіною, куди виводиться детальна інформація по даному дата-центру у вигляді наочних схем, таблиць і графіків. Систему робили власними силами на базі Nagios і Cacti. Обов'язково розповімо про неї докладніше в наступних постах.

В оперативному центрі керування дата-центру цілодобово працює чергова зміна інженерів. У будь-який момент часу за відеостіною знаходиться як мінімум один інженер. Чергові відстежують основні показники життєдіяльності ЦОД, працюють з клієнтськими і інфраструктурними інцидентами.
У NORD-4 ми моніторимо 1785 об'єктів і 15 200 параметрів інженерної інфраструктури. Ось основні:

Стан обладнання (включено/вимкнено, наявність помилок, завантаження, робочі параметри): кондиціонери, чілери, щити управління, насоси, ДГУ, ДБЖ, акумуляторні батареї, датчики протікання і т. д.

Кліматичні умови: температура і вологість у машинних залах та інфраструктурних об'єктах, датчики протікання, температура гліколю.
На території майданчика NORD працює навіть своя метеостанція. Зібрана статистика по метеоумов допомагає нам прогнозувати навантаження на систему холодопостачання.

Енергопостачання (напруга, струм, частота, потужність на аналізаторах струму): вводи, головні і проміжні розподільні щити, АВР та PDU в стійках.

Фізична безпека: СКУД, зовнішні та внутрішні камери відеоспостереження.

На відеостіну в центрі моніторингу виводяться ключові параметри, що визначають працездатність дата-центру. Всі інші дані залишаються в єдиній системі моніторингу і попадають на спеціальний монітор відеостіни тільки в разі неполадок.


При відключенні одного променя живлення на цій принциповій схемі ми побачимо, перейшло харчування на ПБЖ, рівень заряду акумулятора і завелися чи ДДУ, не підвищилася температура в залі.

Зараз працює тільки частину дата-центру, тому відеостіна в ЦУПе поки виглядає скромніше, ніж у інших наших дата-центрах.



Для порівняння: так виглядає ЦУП дата-центру NORD 2.


Крім автоматизованого моніторингу, два рази в день чергові інженери обходять всі машинні зали та інфраструктурні об'єкти з електронними чек-листами. Якщо яке-небудь клієнтське обладнання підключено некоректно, в коридорі перегоріла лампочка або десь неправильно прокладена кросування, під час обходу все це буде відзначено і заведено у вигляді інцидентів в тикетной системі. Для наступної зміни і директора по виробництву результати перевірки прийдуть у вигляді автоматично згенерованого звіту.

Які з параметрів інженерних систем ми виводимо на сайті в розділі ЦОД-онлайн і в мобільному додатку DataLine4All для Чоловічий і iOS-пристроїв. Більш детальна інформація доступна клієнтам дата-центру в Особистому кабінеті.

Зручності для експлуатації
Наостанок важливі дрібниці, які додають комфорту при роботі в NORD-4.
Зона розвантаження. Все обладнання потрапляє в дата-центр через спеціальний відсік. Підйомний стіл допомагає розвантажувати коробки з обладнанням вантажного транспорту будь-якої висоти.



Для транспортування обладнання в машинні зали на 2 і 3 поверхи передбачені 2 вантажних ліфта на 5 тонн.



На поверхах з машинними залами встановлені шафи, що закриваються на ключ, для зберігання клієнтських інструментів, запчастин та інших дрібниць. Це дає можливість клієнтам зручно зберігати свої скарби, не використовуючи для цього стійки.



Ми подивилися всі основні інфраструктурні об'єкти дата-центру NORD-4. Задавайте питання в коментарях, якщо хочеться більше подробиць. Побачити працюючий дата-центр і отримати корисні знання про експлуатацію дата-центру можна на одному з семінарів нашого безкоштовного курсу «Управління інженерною інфраструктурою ЦОД». Подавайте заявку на сайт, чекайте нашого підтвердження і приходьте.
В найближчих постах докладно розповімо про те, як влаштовано електропостачання в дата-центрі.


Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.