ЦОД без «міді»

Стаття підготовлена Всеволодом Воробйовим, керівником напряму ЦОД Центру мережевих рішень компанії «Інфосистеми Джет»

Навесні цього року ми простроили великий дата-центр для одного з найбільших вітчизняних банків – ВТБ24. За один рік ми виконали повний комплекс робіт: від формування технічного завдання та розробки проектної документації до виконання пуско-налагодження і здавання ЦОД. Дата-центр площею 400 м2 (без урахування гідромодуля) розрахований на 92 серверних/мережевих шафи. Його загальна потужність – 1600 кВт, максимальна корисна потужність – 800 кВт.

Малюнок 1 Загальний план ЦОД


Малюнок 2 Машинний зал ЦОД


Після проведення будівельних робіт ми реалізували такі інженерні системи:
  • система фальшпідлог;
  • структурована кабельна система, в тому числі cross-connect;
  • система безперебійного електропостачання;
  • система розподілу електроживлення;
  • система електроосвітлення;
  • система кондиціонування та підтримання вологості;
  • система вентиляції;
  • система гарантованого електропостачання (ДГУ);
  • система автоматичного газового пожежогасіння;
  • система моніторингу та аварійної сигналізації параметрів (електропостачання, ДБЖ, ДГУ, кондиціонер, температура в залі);
  • система охоронного відеоспостереження;
  • система контролю і управління доступом;
  • автоматизована система диспетчерського управління.

Будівельні роботи

Перед початком робіт виділені площі під ЦОД представляли собою звичайні офісні приміщення з офісними меблями. В першу чергу потрібно було демонтувати всі перегородки і покриття підлоги і стін, зняти бетонну стяжку до бетонної плити, вирівняти підлогу, загрунтувати і пофарбувати у фарбу світлих тонів.

Паралельно йшов демонтаж існуючих конструкцій в приміщеннях, а саме:

  • у приміщеннях, що плануються для розміщення Цод і ВРУ, заглушили і демонтували всі інженерні комунікації та інше обладнання інженерних систем, не відносяться до систем серверної кімнати, демонтували фальшпотолок, короби системи вентиляції;
  • демонтували елементи існуючих розподільної і слабкострумової електромереж;
  • прибрали радіатори і стояки системи опалення, фанкойли.
Перепланування приміщень реалізували в наступному обсязі:

  • виконали споруда стельового перекриття (воно захищає від затоплення зверху);
  • у виділених приміщеннях змонтували фальшпотолок, причому його конструкція включила в себе металізовані плити;
  • існуючі віконні прорізи приміщення заклали цеглою;
  • у приміщеннях Цод і ВРУ встановили фальшпол (його висота – 1000 мм). Для занесення обладнання на рівень фальшпола передбачили підйомний стіл.

Малюнок 3 Каркас стельового покриття


Система електропостачання ЦОД

Система електропостачання ЦОД виконана повністю дзеркальної схемою 2N (починаючи з трансформаторів і закінчуючи PDU в шафах). Спеціально під ЦОД була побудована нова трансформаторна підстанція. Комплекс ДБЖ для ІТ-навантаження складається з двох запараллеленных моноблоків по 500 кВА в кожному плечі. Для насосів та інших споживачів системи кондиціонування передбачений окремий комплекс ДБЖ. Час автономної роботи всього комплексу ДБЖ – 20 хв. У приміщенні щитової для ДБЖ спроектована і змонтована спеціальна розвантажувальна рама. Вся силова розводка в машзалі виконана в лотках у просторі фальшпола.

Встановлені ДГУ вуличного виконання в шумозащищенном морському контейнері, оснащеному повним комплексом інженерної інфраструктури. Для зменшення шкідливого впливу викидів на навколишнє середовище використовуються каталізатори з срібним фільтром.

Малюнок 4 Контейнер з ДГУ


Система кондиціонування

Основна особливість даного проекту – характеристики системи кондиціонування. Ми використовували потужні енергоефективні чиллери, здатні відводити до 1МВт тепла. У машзалі ЦОДа застосовані як шафові кондиціонери, які стоять по периметру, так і внутрирядные, утворюють так звані гермозони, в яких можна встановлювати обчислювальне обладнання потужністю до 30 кВт на стійку.

Система холодопостачання одноконтурна. Для того щоб заощадити простір у самому приміщенні, для обладнання гідромодуля була змонтована прибудова до будівлі. У гидромодуле перебуває насосна група, гребінки, баки-акумулятори, розширювальні баки і т. д.

Вся трубна розводка зроблена не у просторі фальшпола, а в підвальному приміщенні, що потенційно зменшує наслідки протікання, а також підвищує зручність в обслуговуванні. Схема резервування та ремонтопридатності системи повністю відповідає TIER III від Uptime Instituite.

Теплоносієм в контурі холодопостачання є розчин пропіленгліколю (42%) з параметрами 10/15 °С. Циркуляція теплоносія в магістральних трубопроводах передбачена одночасно з основним і резервним трубопроводу.

Система холодопостачання оснащена автоматичною системою захисту від протікання. При падінні тиску в контурі холодопостачання перекривається автоматична запірна арматура, розділяючи його на дві незалежні ділянки.

Насосна група зовнішнього контуру складається з 2-х насосів (схема резервування «1+1»).

Для підтримки працездатності системи у разі збоїв в електропостачанні передбачені 4 бака-акумулятора за 5000 літрів кожен. Час автономної роботи – 20 хв.

Для підвищення надійності функціонування системи використаний подвійний введення кабелів електропостачання.

Малюнок 5 Чиллери


Малюнок 6 Шафові кондиціонери


Малюнок 7 Внутрирядные кондиціонери


Малюнок 8 CFD модель ЦОД


Малюнок 9 Акумуляторні баки


Малюнок 10 Гребінки


Структурована кабельна система

СКС в даному проекті не зовсім звичайна. Замовник прийняв рішення організувати топологію з центральним кросом без проміжних вузлів. Причому нова СКС охоплює ще три майданчики. Схема реалізації центрального кросу – cross-connect. Ця схема, хоч і володіє деякою надмірністю, зате повністю універсальна. На станційну частина кросу розшиваються відразу всі порти центральних комутаторів LAN і SAN. Шафи з комутаторами замикаються, і до них має доступ тільки висококваліфікований персонал. На лінійну сторону кроса приходять лінки від всіх серверних шаф. Проектна ємність кросу становить близько 18000 портів! Нашим інженерам було поставлено завдання оптимізувати дане рішення. Цікавим способом організації кросу стало використання MTP-панелей (касет). Кросування між полями здійснюється теж 12-волоконними МТР-шнурами. Таким чином, нам вдалося знизити кількість шаф під крос майже в 5 разів (з 18 до 4 шаф). Ця перша інсталяція такого рішення в РФ.

Ще одне велике перевага такого підходу – безболісний перехід на технологію 40G, так як вся лінія між комутатором і сервером може бути виконана 12-волоконними МТР-кабелями. У разі застосування обладнання 10/16G з боку сервера, комутатора використовуються гідри MTP-LC.

Вся СКС даного проекту побудована виключно на оптиці ОМ4/OS2. Розводка повністю виконана в сітчастих лотках у просторі фальшпола.

Малюнок 11 Структурна схема СКС


Готові відповісти на додаткові питання.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.