Як ми будували свій міні ЦОД. Частина 3 — Переїзд

продовження Частини 1 — Colocation
В продовження Частини 2 — Гермозона
Доброго дня! Судячи з відгуків, листів і коментарів до минулим двом частинам нашої статті — Вам сподобалося, а це головне. Нагадую, побудовою власного міні-ЦОДа ми зобов'язані саме «жителям» Хабра, саме Ви допомогли нам з реалізацією наших ідей — своїми статтями. Тому даний цикл статей подяку користувачам і коментаторам, з ідей яких ми і «черпали» натхнення.



Відразу хочу сказати. Ми не претендуємо на сертифікацію по класу TIER (ми просто не можемо), ми не говоримо що зробили щось нове або ідеальне, ми оповідаємо лише про те, що у нас вийшло, за короткий термін не менш ніж 14 днів з нашими потребами і можливостями. Поставтеся до цієї статті як до «наочної їжу для мізків», це не ідеал, це лише досвід одного проекту, який, можливо, допоможе Вам уникнути помилок в своєму бізнесі. У нас їх було допущено не мало.

Отже, почнемо. У нас залишалося буквально кілька днів до фізичного переїзду всього обладнання, в нашому міні дата-центрі було готове практично всі, крім основного — інтернет-каналів. Ми спішно домовилися про підключення двох незалежних провайдерів, але як ми і писали раніше — вони ставили нереальні для нас терміни, аж до 6 місяців. Так вийшло що ми вибрали місце дислокації поряд з групою провайдерів і ускладнювало протяжку лише узгодження з власниками колодязів/опор.

Поговоривши з технічним директором першого провайдера, ми все ж переконали його зробити «швидко» і подати лінк в найкоротші терміни. Бригада виїхала і буквально на наступний день підписання договору простягнула нам оптику (тягнути їм було, до речі, метрів 100). Весь процес фотографувати я не міг, їздив між дата-центами, вирішував супутні питання.



Другий же провайдер мав центральний офіс у Києві і це пов'язувало нас по руках і ногах. Вибачте за подробиці, але вони без центрального офісу навіть «чхнути» не можуть, не те що протягнути кабель. Нам був озвучений остаточний термін до 11 місяців і ми остаточно заціпеніли. Поговоривши з провайдером, менеджер підказав вихід із ситуації. А саме — підрядники. Вони можуть протягнути швидко і якісно без додаткових паперів (т. к. у них дозволу вже є). Зв'язалися з ними.

На відміну від першого провайдера (каналізація), вони запропонували протягнути по «воздушке». В цілому — нам все одно, це резервний канал і ми на нього особливо не розраховували, але все-ж його відсутність не давала нам можливості старту, т. до. все повинно бути «по розуму». Заплатили, домовилися — пішла робота. Спочатку пропонували тягнути через вдома, потім через стовпи, потім через те й інше, в результаті з-за створення ОСББ змушені були робити тільки через стовпи (на даху не потрапити і не погоджувати), по кронах дерев, стрибаючи з гілки на гілку. Дійсно, цю протяжку треба було бачити, хлопці ризикували життям буквально кожну секунду, прокидывая кабель через дерево, залазячи на нього без страховок і стрибаючи при цьому на сусідню. Потрібно віддати належне, хлопці — професіонали.




І ось здавалося б все, оптика прокладена по першій провайдера є лінк, по другому вони ще стверджують і чекають людей на «базову станцію» щоб включитися там, заявили, що це питання 1-2 днів. Ми в цілому задоволені і думаємо про переїзд.

День переїзду
Напевно найскладніше для нас — це було продумати, як з мінімальним даунтаймом переїхати. Так вийшло що ми переїжджали в п'ятницю. Одна із самих складних речей це підняти BGP тунель. Постараюся пояснити що це таке на пальцях. BGP — Border Gateway Protocol, протокол за яким один провайдер зі своєю AS (автономної мережі) обмінюється інформацією з іншим провайдером і з його AS (автономної мережею). Грубо кажучи це стик, який дозволяє передавати трафік від одного провайдера іншому і так по ланцюжку.



Складність у цій ситуації виникла в тому, що у нас на той момент була одна AS на яку були прив'язані наші IP. Щоб змінити дані з одного провайдера на іншого — потрібно для початку переналаштувати основний маршрутизатор (нашу Cisco), а потім ще і внести зміни в RIPE і у провайдера. Таким чином зробити це до переїзду — не можна, зляже все. А робити під час — є ризики великого даунтайма. Виходячи з того, що ми переїжджали планово — ми попередили всіх користувачів заздалегідь розсилкою, в твіттері і на форумах. Тому ми вирішили змінювати налаштування вже після переїзду. Але про це трохи пізніше.

Отже, ми почали відключати обладнання. Витягуємо залозки.







Протираємо від пилу.



Враховуючи що ми заїжджали туди з трьома серверами і додавали їх потроху (носячи на руках на 5-6 поверх) — ми не знали скільки не просто буде це все відключати і носити, т. к. серверів на момент переїзду вже було 14 штук, плюс IP-KVM IBM. Але благо ми прихопили з собою хлопців на допомогу і ще одну машинку (т. к. в мій легковий автомобіль все б не влізло).

Кілька разів побігавши між поверхами, ми зрозуміли що на руках ми це все не спустимо, і попросили включити вантажний ліфт (щоб його включити потрібно шукати власника будівлі, брати ключі, домовлятися тощо), загалом це був якраз той випадок, коли це було потрібно. Спасибі за це хлопцям.

Мотлоху накопичилося не мало, 14 серверів, 1 клієнтський, PDU розетки, диски і інше барахло для укладання СКС. Вантажимося і в шлях.



Їхати не так далеко, близько 5-8 КМ, тому їдемо не поспішаючи, акуратно. У нашому новому міні-цоді нас вже чекають колеги для розвантаження і підключення. Приїхали, розвантажили залізо на стіл.



Почали займатися установкою мережевого обладнання, його підключенням, протяжкою і укладанням кабелів. Для цієї справи так-же прикупили хомутики. З ними дуже зручно.



Монтуємо APC PDU (благо одну саме керовану ми вже прикупили).





Починаємо наповнювати шафа.



Вставили залозки, циску, поки тестово кинули кабель тільки до циске.


Приступили до налаштування циски. Це були ще ті збочення.Монітор на підлозі, системник на стільці, усі в «підвішеному» стані. Так, буває і таке :)





Поки налаштовували циску, почали перепис обладнання, портів Cisco і портів APC PDU. Це дуже важливий момент, нам це потім допомогло не раз.





Вже вечоріло, 4 години, може половина п'ятого… здавалося б основна робота зроблена.., але якщо б ми знали як помилялися… Приступили до підняття BGP тунелю (заздалегідь отримали налаштування) — а фіг… Лінк є, а працювати він не хоче. Проблема виявилася швидко і вийшла з-за нашої недосвідченість. Нам підключили гігабітний лінк через оптоволокно. Наша Cisco підтримує 2x10GB. Ми сміливо вставили оптику в неї (власне це мій косяк, не порадився з нашими адмінами, вони ще довго мене лаяли) — і нічого. Виявилося що якщо гігабітний порт, а модуль у нас 10 гігабітний він працювати не буде. Почали терміново телефонувати провайдера, з проханнями про допомогу, як і що робити… але тут виявилося що всі пішли додому (п'ятниця, перед 3-ма вихідними і святом)… і ми стали в ступор.

Був варіант підключити все через медіаконвертер (як ми і зробили в перспективі), входить оптика — виходить вита пара, але його у нас не було, а магазини були всі закриті, і почнуть працювати лише через 3 дні. Довелося через знайомих видзвонювати тех. директора компанії, зривати його співробітника з дому, щоб він в офісі взяв модуль 10G для їх сайту і підключив. І тільки тоді, наша циска почала сприймати лінк адекватно і все запрацювало (стик).

Ми закінчили всі роботи і стали чекати… коли оновляться запису, маршрути і все запрацює. Вже було 8 вечора, всі втомлені, одному хлопцеві навіть швидку викликали, один з наших подряпав руку, а інший з хлопців, яких ми покликали на допомогу як фіз. сили — плюхнувся від виду крові носом об поріг і розсік собі підборіддя.

Приблизно в 3-4 години ночі у нас потихеньку почав підніматися трафік. Все запрацювало, ми бігали і усували неполадки «на ходу». Але IPv6 так і не запрацював. Ні вранці, ні через день… При спілкуванні з провайдером, з'ясувалося що менеджер уклав договір (у тому числі на IPv6) не знаючи що провайдер фізично не має IPv6 мереж, і тим більше можливості їх спрямовувати. Це був колапс. Але завдяки знову зв'язку з тех. директором провайдера, він знайшов спосіб як «прокинути» трафік повз них через сусіднього провайдера з IPv6 і у нас все запрацювало, правда, було вже трохи запізно, частина клієнтів нас покинула.

По завершенню всіх робіт наш дата-центр выглядил приблизно ось так:

















На цьому і закінчився наш переїзд. Як бачите, було багато дрібниць про які ми не подумали відразу, зробили багато помилок, за які потім і заплатили. Ми щиро сподіваємося, що дана стаття допоможе уникнути наших помилок — іншим людям які шукатимуть щастя в подібній справі.

Ну і як завжди, є один приємний бонус. Ми плануємо написати окрему статтю по фінансовій частині нашого проекту (можливо без конкретних цифр, але в порівняльному аналізі буде зрозуміло). З неї Ви зрозумієте що рентабельно, що ні, на чому можна заощадити і багато іншого.

Ми також будемо продовжувати публікувати статті на Хабре про роботу нашого міні дата-центру, про які складнощі виникають і про наших нововведення. В одній з найближчих статей Ви побачите як ми підбирали «самосборное» обладнання для специфічних цілей і що в підсумку вибрали. Спасибі за увагу!
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.