Помилки в проекті дата-центру, які ви відчуєте тільки на етапі експлуатації

Помилки в проекті дата-центру — це бомба уповільненої дії. Дата-центр побудують, здадуть в експлуатацію і він навіть буде працювати, але прийде час, і почнуть вилазити проблеми. У кращому випадку прорахунки в проекті доставлять незручності інженерам служби експлуатації, в гіршому — поставлять під сумнів роботу дата-центру. Тільки от буде пізно пити Боржомі: будівельники з підписаним актом приймання вже зробили ручкою, та й сам проект не передбачає маневрів.

Ми відібрали найбільш гіркі помилки у проектах дата-центрів, з якими ми зіткнулися за вісім років проектування, будівництва та експлуатації дата-центрів. Відкриваємо хіт-парад.



ЕЛЕКТРОПОСТАЧАННЯ
Помилка №1. Занижений проектний запас по енергоспоживанню обладнання інженерної інфраструктури. Реальне споживання буде відрізнятися від паспортного. Завжди. Хай вибачать нас дорогі вендори, але найчастіше у документації вони занижують споживану потужність, щоб обладнання виглядало економічніше.

Розрахувати реальний енергоспоживання можна на базі зібраної статистики за вже працюючим машинним приміщенням. Якщо ж статистики немає, то накиньте 10% до паспортним даним.

Помилка №2. Недостатня кількість резервних автоматів від ГРЩ до ЩР. Дата-центр живий організм, який росте і змінюється. Нове обладнання потрібно буде кудись підключати. Якщо у розподільних щитах немає місця під резервні автомати, то доведеться встановлювати додаткові щити, що складно при працюючому дата-центрі, або модернізувати існуючі, що дорого. Обидва варіанти потребують відключення машинного залу від харчування принаймні по одному променю.

На етапі проектування закладайте по можливості резерв по автоматам до 30%. Не обов'язково відразу встановлювати додаткові автомати, просто залиште під них місце.

Помилка №3. Не передбачена можливість балансування по фазах. Розподіляйте навантаження рівномірно по трьом фазам кожного променя. Контролюйте струми по всіх фазах на кожному елементі електричної мережі (ГРЩ, розподільні щити, ДБЖ) та при необхідності перенесення навантаження з однієї фази на іншу.

Помилка №4. Всі вентилятори зовнішніх блоків кондиціонерів прямого розширення підключені до однієї фазі. Часто однофазні вентилятори по інерції підключають до першої фази. Щоб не зіткнутися з перевантаженням першої фази, чергуйте: перший зовнішній блок — до фази 1, другий — до фази 2, третій — до фази 3, четвертий — знову до фази 1 і т. д.

ХОЛОДОПОСТАЧАННЯ
Помилка №1. Тип системи холодопостачання не враховує архітектуру машинних залів. Проектувати холодопостачання треба, виходячи з архітектури приміщення. Наприклад:

  • у машинних залах з невисокою стелею (менше 3,5 м) і широкими коридорами (між двома кондиціонерами поміщається більше 20 стійок) краще використовувати межстоечные (внутрирядные), а не шафові кондиціонери;
  • для багатоповерхової будівлі швидше за все не підійде система прямого розширення (фреонова). Максимальна довжина фреонових трас (відстань між внутрішніми і зовнішніми блоками) не більше 50 метрів по горизонталі, а якщо є підйом, то ще менше;
  • для чиллерной системи потрібно багато місця під трубопроводи, окремі приміщення під насосні станції, баки акумулятори.
Помилка №2. Неправильна циркуляція повітря. З-за цієї помилки холоду в машинному залі може бути в надлишку, а обладнання все одно буде перегріватися. Якщо холодне повітря потрапляє до обладнання через фальшпол, то його висота повинна бути достатньою для залу на 100 стійок не менше 600 мм, Подбайте про те, щоб на шляху холодного повітря під фальшполом не було перешкод у вигляді труб і неправильно розташованих силових лотків.

У машинному залі без фальшпола можна використовувати межстоечные кондиціонери разом з ізоляцією гарячого або холодного коридорів.

Аналогічно вирішуємо питання і в інших приміщеннях, де потрібно охолодження (приміщення ГРЩ, ДБЖ).

Помилка № 3. Некоректно розрахований реальний температурний режим. За основу беруть рекомендовані будівельні норми для регіону (СНиП), де планується побудувати дата-центр. Це правильно, але обов'язково робимо поправку на розташування реального об'єкта. Якщо дах будівлі сильно гріється на сонці або є проблеми з вільним потоком повітря, то фактична температура буде на кілька градусів вища. Під час експлуатації це відгукнеться перегрівом зовнішніх блоків або чілерів в спекотні літні дні.

Помилка №4. Не продумано підтримання рівня вологості. В машинних залах рекомендується підтримувати вологість в діапазоні 30-70%. Тип системи холодопостачання впливає на рівень вологості: кондиціонери прямого розширення «сушать» повітря, тому на етапі проекту закладайте необхідну кількість пароувлажнителей. При використанні чиллерной системи на «теплій воді», навпаки, встановлюємо осушувачі повітря.

Помилка №5. Немає зручного доступу до чиллерам і зовнішнім блоками. Під зручністю мається на увазі цілодобовий і швидкий доступ. Якщо для проходу на дах з чилерами потрібно отримувати спеціальний дозвіл, шукати відповідального з ключами, то це проблема: будь-яка аварія вимагає швидких дій.

Це не повинна бути квола сходи, по якій зможе піднятися тільки скелелаз. Чиллери і зовнішні блоки потрібно обслуговувати і ремонтувати, а отже, по цій драбині доведеться підніматися з інструментами. Окремо продумайте спосіб доставки на дах великих запасних частин — вентиляторів, компресорів.

На даху відразу передбачте розетки, які живляться через пристрій захисного відключення (УЗО), і підведення води для миття чілерів та зовнішніх блоків навесні і в сезон тополиного пуху.

Помилка №6. Не врахована реальна продуктивність фреонових кондиціонерів. Продуктивність кондиціонерів залежить від багатьох факторів, наприклад від довжини фреонових трас. Реальна продуктивність розраховується в спеціальній програмі, що надається вендором. Це число і потрібно брати при проектуванні. Паспортне значення годиться лише для першої прикидки.

МОНІТОРИНГ
Тут зупинимося і прослухаємо окремий плач інженера служби експлуатації. Завдання моніторингу часто ніяк не враховуються на етапі проектування: про них просто забувають або свідомо відмовляються заради економії. Після пари провороненных аварій життя все одно змусить зайнятися моніторингом. У вже працюючому дата-центрі вибудовувати систему моніторингу складніше і довше. А головне — все це час дата-центр буде працювати без контролю. Найстрашніші аварії ті, про які ви навіть і не здогадуєтесь. Ось наш топ-3:

Помилка №1. Відмова від модулів моніторингу обладнання. Це перше, на чому починають заощаджувати, коли бачать кругленьку вартість ДБЖ або кондиціонера. Коли все-таки вирішите докупити їх, доведеться знову вибивати гроші, чекати постачання потрібних модулів. Все це час життя обладнання буде залишатися для вас таємницею.

Окремо відзначимо аналізатори струму в розподільних щитах, які збирають інформацію про стан систем енергопостачання на всіх ділянках траси. На етапі проектування заздалегідь передбачте під них місце в розподільних щитах.

Помилка №2. Відсутність документації по системі моніторингу. Ця документація фіксує:

  • список встановлених датчиків і обладнання;
  • місце їх установки;
  • записані параметри;
  • схеми підключення.
Ці документи складаються спільно зі службою експлуатації на етапі проектування і передаються їй при здачі дата-центру. Без них інженерам доведеться самостійно збирати інформацію про принципи роботи системи моніторингу.

Помилка №3. Відсутність або невдале розташування температурних датчиків і датчиків протікання. Для коректного моніторингу температури в машинному залі рекомендуємо повісити хоча б три датчика в кожному холодному коридорі (в середині, на початку і наприкінці), один — у гарячому. Якщо в дата-центрі використовується чиллерная схема холодопостачання, то передбачте датчики протікання під кожним елементом, який може дати текти, а не тільки під кондиціонером.

ПОЖЕЖОГАСІННЯ
Помилка №1. В системі пожежогасіння не враховані склади і інші приміщення. З-за пожежі на складі можна позбутися річного запасу ЗІП і витратних матеріалів. Ще небезпечніше перспектива переходу вогню з допоміжних приміщень в машинний зал або кімнати з інженерними системами. Проектуючи систему пожежогасіння, не забудьте про складах і допоміжних приміщеннях.

Помилка №2. Сирени/гучномовці не чути в машинних залах. Служба експлуатації при прийманні дата-центру перевіряє систему оповіщення у порожніх залах, і сигнал на евакуацію лунає практично в повній тиші. Коли машинний зал заповниться, запрацюють всі стійки і кондиціонери, то гучності сирен може не вистачити. У проекті закладайте таку потужність гучномовця, щоб у разі пожежі він зміг «перекричати» заповнений зал.

Помилка №3. Спрацьовування датчиків по температурі в контейнері ДГУ. Якщо використовуєте ДГУ контейнерного типу, переконайтеся що температурний пожежний датчик не перегрівається від ДГУ. З-за перегріву вони будуть помилково спрацьовувати.

Схожа проблема виникає при попаданні всередину контейнера вихлопу від сусідніх ДГУ: датчик помилково спрацьовує на вихлоп. На етапі проекту визначте оптимальну відстань між ДГУ в групі і висоту вихлопної труби кожного дизель-генератора.

СКС І ТЕЛЕКОМ
Помилка №1. Недостатня ємність магістральних кабельних лотків і вводів у зали. Закладіть в проекті резерв по кабельних вводів у машинний зал і проходи між поверхами. Свердлити нові отвори стінах або міжповерхових перекриттях у вже працюючому машинному залі буде складно.

ДОПОМІЖНІ ПРИМІЩЕННЯ ТА ТЕРИТОРІЯ
Помилка №1. Дуже маленькі двері й коридори. Так, смішно. Але тільки до тих пір, поки не доведеться розбирати стіну, щоб винести зламався кондиціонер або ДБЖ.
Порада від кэпа: двері по висоті повинна бути такою, щоб у неї проходило найвище обладнання, а по ширині — найширше. Для машинного залу це стійки і кондиціонери.

Помилка №2. Пороги, перепади висоти підлоги в ЦОД. Бажано уникати в проекті дата-центру великих перепадів висот підлоги. Важке обладнання (ДБЖ, СГД) складно тягнути через поріжки. Деяке обладнання і зовсім не переносить нахилів: вендор відмовить у гарантійному обслуговуванні, якщо вбудований в обладнанні рівень зафіксує нахили при транспортуванні.

Помилка №3. Утруднений під'їзд і розвантаження для великогабаритних машин. Організуйте зручний і цілодобовий під'їзд для розвантаження/навантаження великогабаритного обладнання. У Москві, наприклад, вдень обмежений в'їзд вантажівок у місто. Місце розвантаження обладнайте підйомним столом для розвантаження обладнання з машин будь-якої висоти. Без нього кожен раз доведеться замовляти навантажувач або кран.

Помилка №4. Відсутність вантажних ліфтів і підйомників. Для багатоповерхового дата-центру передбачте ліфти та підйомники. Їх габарити розраховуємо виходячи з самого великого обладнання, яке нам доведеться доставляти на верхні поверхи.

Помилка №5. Недолік допоміжних приміщень. Якщо в дата-центрі не передбачені склади, то дуже скоро весь ЗІП, коробки з обладнанням переберуться в коридори, машинні зали і самі стійки. Бажано, щоб складу було два:

  • оперативний з витратними матеріалами та інструментами;
  • склад тривалого зберігання для великого ЗІП і порожніх коробок з-під обладнання для гарантийки :)
Переконайтеся, що всередині дата-центру є майданчик для розпаковування устаткування, приміщення, де обладнання, привезене з морозу, може вистоятися до кімнатної температури.

Помилка №6. Не передбачені місця для роботи з обладнанням. Інженери вам скажуть «спасибі» за окрему зону для роботи з обладнанням. У машинних залах жарко/холодно і шумно. Обладнайте цю робочу зону столом, електричними і мережевими розетками, щоб можна було зібрати сервер (додати жорсткий диск, прикрутити санчата тощо) в більш комфортних умовах.

МАРКУВАННЯ ОБЛАДНАННЯ
Так, вона теж розробляється на етапі проектування. Якщо по-іншому, то швидше за все, вийде наступне: один підрядник проектує електропостачання, інший — холодопостачання. Кожен користується тільки йому відомої маркуванням. У будівельників будуть свої позначення. Коли дата-центр буде зданий, розібратися з цим спадком та зрозуміти, де і що знаходиться, буде складно.

Щоб такого не сталося, на етапі проектування створюється єдина маркування, яка узгоджується зі службою експлуатації. Принцип маркування повинен бути прозорий: наприклад, літера — тип елемента, перша цифра – номер дата-центру, друга – номер залу, третя — номер елемента. Тоді будь інженер служби експлуатації буде зрозуміло, що під К1.3.4 ховається 4 кондиціонер в третьому залі в дата-центрі 1.
Маркування кожного елемента повинна бути унікальною.

На цьому все. Всіх поворотів долі в проекті не передбачити, але сподіваємося, що цей список помилок виявиться корисний тим, хто збирається проектувати серверну або дата-центр.

Поділіться в коментарях, з якими проектними помилками дата-центрів або серверних стикалися ви.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.