Як ми будували свій міні ЦОД. Частина 2 — Гермозона

продовження Частини 1 — Colocation
Здрастуйте друзі! Перш за все дякую Вам за коментарі та інтерес до минулого нашої статті. Як ми вже говорили, при будівництві нашого цода, ми взяли з хабра дуже багато корисної інформації, яка за підсумком нам дуже знадобилася. Тому даний цикл статей — своєрідна вдячність майданчику і авторам за їх статті, без них було б в рази складніше. Спасибі!

Отже, минулої частину ми закінчили на моменті з пошуком нового приміщення для «будівництва» власного Цод. Як ми вже писали це було життєво необхідно для нашого молодого проекту, який відчував труднощі в моменти серйозних проблем в дата-центрі. Покажу кілька кадрів будівлі Цод. При цьому хочу сказати що з власниками ми працюємо досі в інших напрямках і розлучилися добрими друзями. Зараз (за чутками від колег які там розміщуються) — все відмінно.

Увага! Багато зображень. Є не стислі фото панорам, бо при їх стисненні — дуже сильно втрачається якість.



Сам будинок, як бачите я не брехав, це дійсно колишній виробничий комплекс. Я спеціально вставлю достатньо фотографій, щоб Ви розуміли всю необхідність переїзду. До речі гермозона зовсім не погана, як і технічний підхід в цілому, хороший ремонт тощо



Це дві фотографії сходи в ЦОД і двері нижнього поверху (занедбаного).




Загалом, як вийшло так вийшло, ми почали пошук приміщення. Були деякі вимоги які ми повинні були задовольнити.

— приміщення виведене з житлового фонду (важливо для офіційної діяльності).
— бажано перший або цокольний поверх (нам дуже набридло носити на горбу залізо на п'ятий поверх).
— доступ до операторів зв'язку (в радіусі 2-3 км).

Інші пункти, такі як ремонт або щось ще нас хвилювали менше, ми розуміли, що роботи буде достатньо. Ми переглянули близько 20 різних об'єктів і в кожному були якісь проблеми. Зупинили свій вибір на декількох невеликих об'єктах і вибирали найкраще. Ми розуміли що коштів орендувати ангар і робити з нього промисловий ЦОД у нас немає, а значить потрібно економити. Але економія повинна бути економною, а значить нам потрібно зробити все максимально професійно (нехай і в малих масштабах, під розширення), щоб потім не виникало проблем.

Був знайдений варіант у центрі міста (на шостому поверсі якщо не помиляюся), але з вантажними ліфтами. ЦОД був вже підготовлений і зроблений дуже серйозно (розміщувався колишній смугастий оператор зв'язку). Там зроблено і посилення підлоги під зал ДБЖ і підведення електрики і все інше.

Шафа ДБЖ:



Машинний зал:



Але на ділі виявилося все гірше ніж нам малювали. ДБЖ залишився 1 шафку і той, дохловатый. ДГУ відвезли, вводи відрізали. А ціну за оренду заламали як за космічний корабель, плюс — обов'язкове підключення до одного з операторів зв'язку, який і володіє (орендує поверх) цим приміщенням. В цілому і це б нас не відштовхнуло якщо б не одне АЛЕ. Власники будівлі, за будь-яку дію хочуть грошей, причому формату «вставити нам вікна на поверсі за це» і т. п. І так абсолютно за все, будь то прокласти оптику або підвести живлення. Це нам не сподобалося, залежати від чиїхось примх не хотілося, та й дорого чесно кажучи. Шукали далі.

І тут, зовсім випадково, по сусідству з моїм офісом (для іншого виду діяльності) бачу оголошення про здачу в оренду приміщення. Район житлової, тихий. Перший поверх, два входи, пандус, виведено з житлового фонду, на довгий термін і за осудні гроші. Оглянули, прорахували — вирішили брати. Дане приміщення хоч і не велике, але на початковому етапі задовольняла наші вимоги повністю.

Нам передали ключі (як же довго ми розбиралися що до чого), ключів дійсно не мало:



Спочатку приміщення виглядає ось таким чином (окрім пожежної та охоронної сигналізації і дрібниць, їх ми вже встановили). Панорами.

Майбутній машинний зал:



Майбутній офіс для чергових:





Отже, відлік пішов, і у нас було вже менше двох тижнів на весь переїзд. А у нас не було, рівним рахунком нічого. Першим ділом ми почали робити кімнату в якій будемо знаходитися на момент дрібного ремонту в приміщенні Цод.

Розклали ковролін і давай його вимірювати:



Купили різні дрібниці, наклейки, таблички, замочки:





І ще пилосос і різні корисні дрібниці:



Приступили до укладання килимових покриттів і плінтусів. Робили все самі:







Прекрасна половина теж з нами і допомагає:



Привезли куллер для води, затягли столи, привезли IP-телефони Cisco:





За підсумком було приблизно так. Спасибі хлопцям, дуже допомогли:



Ремонтні роботи в машинному залі
Один з основних критеріїв який був для нас Важливий це шумоізоляція Цод. Довго вибирали як правильно зробити, радилися, але вирішили все-таки вчинити так. Розбивати старий гіпс (дуже шкода але потрібно), укладати 100мм. вату, проклеювати всі металеві стики, профілю спеціальної вібро-ізоляційною стрічкою і тільки потім вже все заново збирати. Те ж саме стосується і стелі. Процес пішов. Вату, до речі, обрали спеціально негорючу.

Перша закупівля буд-матеріалів:



Рушимо стінку (на жаль знімав тільки першу). До речі знайшли потайні проводку минулих власників приміщення. Обрізали:







Укладаємо вату і гіпс:







Укладаємо вату під весь стеля:



Власне ці ж операції були виконані і з іншими стінами і всім стелею. Шумоізоляція важливий момент. Далі перейшли до фарбування і різного роду завершальним робіт:



Інфраструктура ЦОД
Тепер, коли брудна частина робіт позаду, ми можемо подумати і про обладнанні, яке ми плануємо ставити і про повну інфраструктуру для його розміщення. Скажу відразу, кондиціонер в приміщенні був, що нам дуже допомогло. Промисловий, справжній, величезний кондиціонер. Їсть правда більше, ніж нам потрібно, але це дрібниці. Ми виділили важливі пункти в нашому плані і приступили до їх реалізації.

Почали ми з електроживлення. Ми прагнули до ідеального, щоб вийшло — хоча б добре. Підключили введення електроживлення від різних підстанцій, зробили розводку, поміняли кабелі живлення, проклали кабелі в машинний зал:



Був також встановлений перемикач фаз (на випадок якщо 1 фаза зникає система сама перемикає на інший):



ДБЖ. Тут було складніше. Ми розглядали абсолютно різні рішення, але необхідної потужності або не було, або вона коштувала більше, ніж ми могли собі дозволити. Нам також було важливо, щоб це рішення можна було масштабувати, адже для початку нам потрібно не багато, але важливо, щоб це було і виконувало свої функції добре.

Так ми і знайшли інвертор на 5 кВт, який працює від акумуляторів (ланцюги акумуляторів 48 вольт) і може працювати навіть від сонячних батарей. Якщо чесно — намучилися ми з його підключенням добре, навіть думали їхати здавати, як в один момент знайшли кнопку яку потрібно «затиснути» для включення. При цьому в магазині цього теж ніхто не знав (в інструкції про це забули сказати) і пропонували повернути товар. Але ми не здалися. Підключили АКБ.

Тут теж свої моменти: АКБ по 12 вольт. Їх можна підключити або паралельно або послідовно, з чого отримуємо або 48 вольт замість 12 або помножений ампераж. Нам потрібні були 48 вольт, тому підключили як на фото нижче. Акумулятори до речі, ми могли вибрати двох видів. Автомобільні та спеціальні. У перших вище пусковий струм, але їх не можна розряджати в нуль, у других — навпаки, менший струм, але розрядки не боятися. Вибрали автомобільні, ціна сильно відрізнялася, а різниці для нас не було (все одно їх міняти через рік):





Напевно заслуговує окремого поста поличка під акумулятори та ДБЖ. Як Ви розумієте все це важить пристойно. Вибрали дорогу полку в одному лад-мага, на ній було ясно написано, збирається за 15 хвилин. Ми проклинали цю полицю пів дня, поки не зібрали. За фактом виявилося, що деталей менше ніж потрібно і доводилося постійно вигадувати. Полицею ми були не задоволені, але що є — то є:



Встановили ДБЖ:



Підключили ДБЖ. Підключення просте. 220 входить в ДБЖ, він його випрямляє і пускає на шафу вже з виходу. У разі падіння основної лінії — він подає 220 з батарей. Працює миттєво, вимикали, включали, тестували:



Приїхав генератор. Розрахункова потужність 5 кВт. Бензиновий. В генератор вбудована система АВР (автоматичне введення в резерв), тобто при зникненні світла, він автоматично запускає себе. Так-же додається пульт, якщо хочеться погратися. Здавалося б найскладніше вже позаду, що може бути простіше — затягнути, перевірити і підключити, але не так сталося як нам здалося на початку…





Найскладніше для нас — виявилося його підключення разом з ДБЖ і основним введенням. Адже за фактом що ми отримуємо. 220 вхідного напруги, напруги 220 від ДБЖ (припустимо воно його видає ТІЛЬКИ при зникненні світла) і 220 від генератора. І тут ми зробили фатальну помилку. Моделюємо ситуацію:

— пропадає світло
— інвертор підтримує обладнання поки заводиться генератор
— генератор заводиться і дає напругу на шафи
— інвертор не знає що подається напруга на шафи і виходить встречка
— включається основне живлення 220 і виходить встречка і з генератором

Як би ми не намагалися, підключити в інвертор і генератор і мережа — не виходить, десь так виходить зустрічне напруга. А в мережу підключити генератор — будемо живити увесь будинок.

Щоб такого не сталося і у нас ніколи не зустрілися дві 220 (від дбж, генератора або мережі) — ми розробили систему магнітних пускачів, скажу чесно, це був величезний геморой, тому що фахівців знайти за кілька годин не просто, а переїзд просто «на носі».

Ось як це вийшло в результаті:





І тут під'їхали шафи. Шафи ми взяли такі-ж як у дата-центрі де розміщувалися на colocation, компанії APC. На те було кілька причин. Перша те, що вони дійсно дуже зручні. Друга — у них ідеально стають наші керовані розетки. Третя — щоб швидко переїхати, т. к. в однакові шафи простіше переїжджати.

Ще 1 момент, який ми не врахували, це доставка шаф. Вона вийшла приблизно 50% їх вартості (ми брали для початку 2 шафи). І ще один важливий момент, як ми раділи нашому пандусу коли затягували шафи (вони на коліщатках), все-таки для ДЦ це важлива частина інфраструктури. Шафи до речі не стільки важкі скільки не зручні:











Патч-панелі і комутація — приємний бонус до шаф від постачальника:



Розрахункова потужність
За нашими розрахунками в ЦОД стає мінімум 10 шаф висоти 42U загальною потужністю 25-40 кВт. На наші шафи ми закладали за 2,5 кВт резервної потужності. В цілому, навіть зараз коли у нас заповнено досить простору, ми споживаємо не більше 3,5 кВт на обидва шафи.

ЦОД був спроектований з можливістю розширення (оскільки ми хотіли зробити якісний проект, але з обмеженими фінансами), а саме:

— є сусіднє приміщення яке можна викупити/орендувати, за розмірами приблизно таке ж
— є можливість оперативно додати ДБЖ + АКБ, вся настройка не займе більше години
— є можливість збільшити потужність генератора шляхом його заміни.

У наступній, заключній частині нашої розповіді буде і підключення оптоволоконних кабелів (інтернет), з якими було дуже багато проблем, переїзд разом з серверним обладнанням (як же не легко його було тягнути) і настройка, укладання СКС, підняття BGP тунелів з провайдерами, тестування iLO/KVM перемикачів, закупівля десктопного обладнання, його порівняння з HP, виклик швидкої медичної допомоги нашому співробітникові під час підключення і багато багато іншого. Так-же окремо ми приділимо час і системи відео-спостереження, її реалізації в нашому випадку.

Буде цікаво! Дякую за увагу.



Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.