Як ми будували свій міні ЦОД. Частина 1 — Colocation

Доброго дня колеги і жителі Хабра. Хочемо розповісти Вам історію однієї невеликої компанії від початку її становлення до поточних реалій. Хочемо відразу сказати, що даний матеріал зроблений для людей, яким цікава ця тематика. Перш ніж це написати (і задовго до цього) ми переглянули безліч публікацій на Хабре про будівництво Цодів і це дуже допомогло нам у реалізації наших ідей. Публікація буде розділена на кілька етапів нашої роботи, від оренди шафи до фіналу будівлі власного міні-цод. Сподіваюся ця стаття допоможе хоча б одній людині. Поїхали!



Поїхали
У 2015 році в Україні була створена хостинг-компанія з великими амбіціями на майбутнє і фактичною відсутністю стартового капіталу. Обладнання ми орендували в Москві, у одного з відомих провайдерів (і по знайомству), це і дало початок розвитку. Завдяки нашому досвіду і частково везінню, вже в перші місяці ми набрали достатньо клієнтів, щоб придбати власне обладнання і обзавестися хорошими зв'язками.

Ми довго вибирали обладнання, яке нам потрібно для власних цілей, обирали спочатку за параметрами ціна/якість, але на жаль більшість відомих брендів (hp, dell, supermicro, ibm) все дуже непогані за якістю і схожі за ціною.

Тоді ми пішли іншим шляхом, обирали з того, що є в Україні в наявності у великих кількостях (на випадок поломок або заміни) і вибрали HP. Супермикро (як нам здавалося) дуже непогано конфігуруються, але на жаль їх ціна в Україні перевищувала всякий адекватний сенс. Та й запчастин було не так багато. Так ми і вибрали, те що вибрали.

Перше залізо
Ми орендували шафа в Дніпропетровському дата-центрі і придбали Cisco 4948 10GE (на виріст) і перші три сервера HP Gen 6.







Вибір обладнання HP, згодом нам дуже допоміг, за рахунок свого низького енергоспоживання. Ну а далі пішло-поїхало. Придбали керовані розетки (PDU), вони нам були важливі для відліку енергоспоживання і управління серверами (авто-інсталл).

Вже потім ми зрозуміли що взяли не ті PDU які управляються, а просто вимірювальні. Але благо HP має вбудоване iLO (IPMI) і це нас врятувало. Ми зробили всю автоматизацію системи за допомогою IPMI (через DCI Manager). Після був придбаний певний інструментарій для прокладки СКС і ми потихеньку почали будувати щось більше.

Тут ми бачимо APC PDU (які виявилися не керованими), підключаємо:



Ось так, до речі, ми встановили третій сервер і PDU (праворуч і ліворуч). Сервер довго служив нам підставкою під монітор і клавіатуру з мишею.



На наявному обладнанні ми організували якийсь сервіс Cloud за допомогою VMmanager Cloud від компанії ISP Systems. У нас було три сервера, один з яких був майстром, другий — файловим. Фактичне резервування у нас було на випадок падіння одного з серверів (за винятком файлового). Ми розуміли що 3 сервера для хмари це мало, тому дод. обладнання вже було в дорозі. Благо «доставляти» хмара його можна було без проблем і особливих налаштувань.

При падінні одного із серверів (майстра, або другого резервного) — хмара спокійно мігрувало туди і назад без падінь. Ми спеціально тестували це перед введенням в продакшн. Файловий сервер у нас був організований на непоганих дисках в апаратному RAID10 (для швидкості і відмовостійкості).

На той момент у нас було кілька нсд в Росії на орендованому обладнанні, які ми дбайливо почали переносити на наш новий сервіс Cloud. Дуже багато негативу було висловлено підтримку компанії ISP Systems, т. к. адекватної міграції з VMmanager KVM в VMmanager Cloud зроблено ними не було, а за підсумком нам взагалі сказали що цього і не повинно бути. Переносили ручками, довго і ретельно. Зрозуміло перенесли лише тих хто погодився на акційну розміщення і перенесення.

Приблизно так ми працювали ще близько місяця, поки не заповнили обладнанням підлогу шафи.



Так ми зустрічали другу партію нашого обладнання, знову ж HP (не реклама). Просто краще мати сервери які взаємо-замінні, ніж навпаки.



Виходячи з того, що ні в кого з нас немає величезного досвіду прокладки СКС (крім адміністраторів, які зазвичай не там де треба) — доводилося вчитися всьому на льоту. Так у нас лежали проводу перший час (близько дня) коли ми встановлювали сервери.



Приблизно так — стало вже після установки прийшов обладнання та прокладання.





У міру зростання компанії ми все частіше стикалися з певними труднощами. Були і проблеми з обладнанням (відсутність у швидкому доступі кабелів SAS-SATA), його підключенням, різними тонкощами і з DDoS атаками на нас (прилітали і такі що клали весь ЦОД). Але одна з головних, на нашу думку — нестабільність Цод в якому ми орендували шафа під обладнання. Ми й самі були, не дуже стабільні, але коли падає і цод в якому ти розміщуються — це зовсім погано.

Виходячи з того, що ЦОД знаходився в старому підлозі-покинутій будівлі виробничого комплексу — працював він відповідно. І незважаючи на те, що його власник прикладав всі зусилля, щоб він працював стабільно (а це щира правда, Олександр дійсно молодець і багато в чому нам допоміг з початку) — відключали світло, то інтернет. Напевно це нас і врятувало. Це стало причиною, яка спонукала нас (без наявних на те фінансів) приступити до пошуку приміщення для власного дата-центру та організувати переїзд в нього менш ніж за 14 днів (з урахуванням підготовки приміщення, протяжки оптики і всього іншого) Але про це вже в наступній частині нашої розповіді. Про спішному переїзді, пошуку приміщення та будівництво міні-цод в якому ми зараз і живемо.

P. S. У наступній частині багато цікавого. Від складнощів з переїздом, ремонтом, протяжкою оптики по житлових кварталах, встановленням автоматики, підключенням ДБЖ і ДГУ і т. п.




Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.