Як ми піднімали IT-інфраструктуру [з дна]

Всім здрастуйте!

Рівно рік після написання статті «Досвід роботи эникейщиком/системним адміністратором в бюджетній організації» і 2,5 років після написання моїм заст. директора підрозділу статті «Реанімація ІТ інфраструктури» я хотів би продовжити цей розповідь.



Пам'ятаю, в одному з коментарів я зустрів фразу:
Тому все ж пораджу обом хабраюзерам з цієї смітника зібратися з духом і звалити — нічого ви в цьому болоті не разгребете і ще через два роки, а сидіти страждати фігньою за 12 тисяч — це дуже ідіотський спосіб убити час.
Але, як не дивно, з того, що ми робили все-таки щось вийшло, і я хотів би розповісти як далеко ми зайшли:
  • створений домен Active Directory Domain Services з автоматичним управлінням обліковими записами і підрозділами (OU);
  • впроваджено Office 365;
  • розгорнуто Spacewalk (для управління *nix операційними системами);
  • створений HA MySQL Server master-master (Active-Passive);
  • розгорнута хостинг-панель Ajenti;
  • налаштований SSL доступ до веб-ресурсів компанії;
  • мигрирован VMware vCenter 4.0 на 5.1U3;
  • впроваджено ESET NOD32 Business Edition ver. 5;
  • впроваджена авторизації в мережі на базі МСЕ Cisco ASA 5525-X NGFW c CDA;
  • вирішені проблеми з кондиціонуванням в серверній.

За минулий рік ми з новим колегою ( astrike — у нього Read-only аккаунт, тому статтю пишемо разом), про який йшлося в минулій статті, розмежували зони компетенцій і стали приводити ІТ інфраструктуру до пристойному вигляді. Він займається написанням сценаріїв автоматизації (в т. ч. і на PowerShell), налаштуванням синхронізацій, розгорткою і підтримкою *nix серверів і всього, що з ними пов'язано. Я ж займаюся продуктами Microsoft Windows, MS SQL, Office 365, віртуалізацією та мережами передачі даних (Ethernet, SAN).

Короткий опис ІТ інфраструктури компанії
Активне мережеве обладнання Cisco:
  • core: Catalyst 6509;
  • access: Catalyst 35XX;
  • WLAN — controller: 4404 і 50 AP.
До всіх комутаційних йде 1G оптоволоконний кабель, який, в кращому випадку, підключений до кожного комутатора в стійці, в гіршому — до половині комутаторів в стійці (залишилися комутатори підключені каскадно).

Серверна інфраструктура:
  • дві 42U стійки з 11 серверами Sun Fire X4170M2, об'єднаних у кластер ESXi;
  • СГД Hitachi AMS 2100;
  • 2 рядних кондиціонера APC InRow (без резервування), виносні блоки яких у спеку охолоджуються проточною водою з садових розпилювачів.


AD DS і Office 365(Azure)
Основним завданням на момент впровадження була автоматизація життєвого циклу електронної поштової служби. Для цих цілей ми скористалися вже частково розгорнутим на підприємстві програмним продуктом Office 365. Співробітники стали користуватися корпоративною поштою, при чому досить багато і часто (особливо, після підписання наказу про корпоративної поштової системи).

Спільно з нашим 1С-ніком ми налаштували автоматичне створення облікових записів в AD. Даний процес ми організували наступним чином:
  1. сервер 1С вивантажує дані про працівників і структуру організації (OU) в файл з певною структурою.
  2. скрипт на PowerShell забирає дані і формує файл з патчем (різницею між поточним станом AD і вивантаженням з 1C). Зведення з цього патча розсилається зацікавленим особам (дії, що зачіпають деякі керівні посади, вимагають ручного підтвердження). Потім вночі патч застосовується: створюються нові та обновлюються існуючі OU; додаються, актуалізуються, активуються і деактивуються облікові записи (природно, по підрозділам). Такий підхід гарантують, що випадково не будуть (наприклад, при помилці в 1C) деактивовані всі облікові записи (окрема перевірка на кількість змін в патчі) або облікові записи керівних посад і системних адміністраторів;
  3. після заклади локальних облікового запису DirSync синхронізує (взагалі, він синхронізується раз в півгодини) локальний ОГОЛОШЕННЯ з хмарним Azure AD (AAD);
  4. потім скрипт ліцензує і налаштовує параметри облікових записів в хмарному AAD в залежності від їх групової приналежності.
  5. тепер користувачеві потрібно отримати пароль від свого облікового запису. Для автоматизації видачі паролів був написаний спеціальний PowerShell скрипт і доданий пункт меню «Роздрукувати новий пароль» AD. При натисканні на нього автоматично роздруковується пароль користувача та інструкція по використанню інформаційних служб на принтері «за замовчуванням» для даного користувача (малюнок нижче). Після друку всі файли видаляються.


В даний час триває процес введення ПК в домен. На поточний момент в домені вже більше 150 ПК під управлінням OC Windows 8.1. В подальшому планується розгорнути Windows 10 на всіх ПК компанії.Для іменування ПК ми використовуємо наклейки з шаблонним ідентифікатором комп'ютера (наприклад, COMP-00045), які клеїмо на ПК і реєструємо в домені.

ОС *nix і Spacewalk
У зв'язку з наявністю зоопарку *nix серверів, деякі з яких вже вийшли з підтримки (наприклад, Ubuntu 10.04), а інші просто зіпсовані, наприклад, збірками пакетів черезmake installбуло вирішено створити свій «золотий образ», на основі якого розгорталися б нові *nix сервера. Ми вирішили, що для наших цілей краще всього підходить дистрибутив CentOS, так як у нього є велика кількість структурованих мінлива, термін підтримки, а також досить консервативна політика. Для адміністрування цих серверів було вирішено використовувати Spacewalk. Spacewalk — це система управління *nix з операційними системами з підтримкою проксі серверів репозиторіїв (як WSUS на Windows), управління конфігураційні файли, встановленими пакетами і можливістю виконання команд на підключених серверах.

У підсумку, в VMware vSphere був створений шаблон (template) зі скриптом, який вводить сервер домену для DNS і авторизації), налаштовує конфігурацію мережі і користувачів. Таким чином розгортання нової системи звелася до наступного:
  1. створення віртуальної машини з шаблону в VMware vSphere;
  2. підключення до віртуальної машинці і запуск скрипта розгортки (на bash), який призначає системі IP (на вибір статичний або DHCP) і інші інші параметри (у т. ч. hostname), вводить сервер домену AD, підключає сервер до Spacewalk, який відразу ж встановлює необхідні пакети і розгортає конфігураційні файли;


Таким чином, виходить новий *nix сервер з доменними політиками доступу (вхід до доменної облікового запису), автоматичним оновленням Errata, налаштованим моніторингом Zabbix, центрально-керованими репозиторіями і конфігураційними файлами (Spacewalk).

Завдяки уніфікації дистрибутива сильно спрощено адміністрування серверів (однакові команди, розташування конфігураційних файлів, єдині репозиторії і пакети). А завдяки централізований системі управління ОС Spacewalk конфігураційні файли не втрачаються (і є можливість оновлення конфігураційних файлів відразу на всіх серверах з підстановкою змінних), завжди видно які сервера потребують оновлення, а критичні оновлення автоматично встановлюються.

В даний час здійснюються роботи по перенесенню додатків (в основному, веб-додатків) на нові сервера і розгортання нових сервісів.

HA MySQL DB
Для безперервної роботи практично будь-якого додатка потрібно безперебійна робота БД. А так як більшість існуючих в компанії додатків використовують MySQL, то був розгорнутий MySQL сервер (не MariaDB, так як в момент розгортання у неї була якась помилка, про який мені повідомив наш розробник).

Безперервність роботи БД забезпечується master-master реплікацією по стратегії Active-Passive (балансування навантаження поки не актуальна), тобто один сервер завжди є основним (Active), але при його падінні (або падінні MySQL сервера на ньому) всі запити переходять на Passive сервер. При піднятті Active сервера всі запити знову переходять на нього.

Таке перемикання (failover) досягається завдяки використанню віртуального IP (VIP), яке забезпечує демон keepalived. Використання даної технології дозволяє (на відміну від proxy-серверів) обмежувати доступ до схем по IP і не створює зайвого хопу, отже й зайвої затримки.

З основних налаштувань БД, на мій погляд, залишилася тільки налаштування LDAP авторизації. Звичайно, можна і налаштувати SSL, але це вже після розгортання центру сертифікації (CA).

vCenter і бекапи
Так само за минулий рік ми змогли мігрувати кластер VMware vSphere з більш ніж 100 віртуальними робочими машинами і налаштувати функції HA, DRS, SDRS і DPM, а на всі гостьові операційні системи було встановлено ПО VMware Tools, що дозволило використовувати віртуальну інфраструктуру на повну потужність.

Надалі була налаштована система бекапів з використанням засобів Veeam Backup and Replication, які на даний момент розгорнуті в пробному режимі, але вже налаштовані такі функції, як автоматична перевірка бекапів у віртуальній лабораторії, служба VSS для Windows додатків. Як показала практика бекапи копії VM консистенты і стартує без проблем (тьху, тьху).

Так тепер виглядає процентне співвідношення вирутальных машин у нашому кластрере. До кінця року ми плануємо повністю вивести з експлуатації Windows Server 2003, а так само замінити старі Debian і Ubuntu на CentOS 7.

Захист робочих станцій і серверів Windows
Для захисту робітників станції ми використовуємо антивірус ESET. За кілька років експлуатації досить добре себе зарекомендував, а найголовніше, що у нього є хороший централізоване управління на комп'ютерах поза домену. Ми розгорнули версію 5, так як приблизно 400 комп'ютерів звертаються до managment-сервера ERA без встановлених агентів (як це треба у версії 6), а для їх установки бажано мати домен для установки на них агентів ESET.

Як ми вирішили проблему з кондиціонуванням серверної
Ми створили в серверній холодні і гарячі коридори з мінімальними витратами: стійки були накриті монолітним полікарбонатом, а з допомогою направляючих були зроблені двері для входу в коридори.

В результаті температура в серверній знизилася до 18 градусів у холодному і до 23 — в гарячому, а також на 40% знизилася навантаження на кондиціонери.

Створення авторизації для доступу до глобальної мережі
Для обмеження доступу в інтернет зараз развертываем систему авторизації в мережі на базі Cisco ASA 5525-X і CDA сервера. Але поки все це в процесі. Звичайно, хотілося б зробити це з використанням IEEE 802.1 X для всіх пристроїв в мережі, але як вийде в підсумку — невідомо.

Підбиваючи підсумки
Як не дивно, але за цей рік ми з другом змогли реалізувати досить багато великих і цікавих проектів, попутно закінчивши Університет. Зараз йде процес причісування різних речей, а так само написання регламентів і наказів по використанню мережі, домену і т. д.

Після цього залишиться вибрати і впровадити рішення для організації HelpDesk'a, а так само розгорнути деякі продукти з лінійки System Center Configuration Manager, Operations Manager і, можливо, Service Manager. Тоді майже всі проблеми будуть вирішені, крім відсутності великих фінансових вливань в ІТ-департамент, які тягнуть за собою відсутність грошей на модернізацію серверів, комутаторів і т. д, і підвищення зарплат, але це вже зовсім інша історія…

Якщо вам буде цікаво, то ми можемо більш детально описати свій досвід впровадження для будь-якої з вищеописаних програмних продуктів, де вже будуть конкретні технічні подробиці.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.