Про HPE Synergy

Спочатку я планував написати одну невелику статтю, але, у міру занурення в тему зрозумів, що швидше за все знадобиться серія з 5-6 статей, щоб розкрити суть досить повно.

Про що піде мова? Про продукті компанії Hewlett-Packard Enterprise (далі – просто HPE) – Synergy.

В силу своєї роботи я щільно пов'язаний з обчислювальними комплексами, тобто з тими залозками, які працюють з базовими властивостями інформації – інформацію можна передавати, зберігати і обробляти.

Передача інформації – це, власне, різні мережі передачі даних; зберігання даних – різні системи зберігання: апаратні СГД, програмні СГД, і SAN; ну і обробка – різні серверні системи. HPE Synergy, на перший погляд, потрапляє в категорію систем обробки інформації, тобто в категорію «різні типи серверів».

На Хабре я знайшов дві статті зі згадуванням (хоча б!) цього продукту:

Друга стаття більш цікава, в ній написано з чого Synergy буде складатися, але рішуче не зрозуміло навіщо весь комплекс потрібен. Тобто, особисто я бачив весь комплекс як заміну блейд-шасі HPE с7000, але навіщо? Шасі ультра-успішне, продаватися буде ще довго (обіцяли до 2020 року), навіщо потрібен новий комплекс? З іншого боку, очевидно, що у HPE є своє бачення (vision), яке обґрунтовує вкладення в розробку нового продукту десятки мільйонів USD, і яке я поки зрозуміти не можу.

В лютому я потрапив на HPE Summit 2016 у Франції, де залізяку дали помацати руками, пару фото покладу тут для затравки:

Вид спереду праворуч. Нормально фотографувати було неможливо, тому що фотографували все.



Вигляд ззаду.



У підсумку, для того, щоб зрозуміти навіщо може бути потрібен новий продукт, я вирішив зробити цю замітку.

По-перше, для того, щоб побачити призначення Synergy, має сенс звернутися до історії появи блейд-систем взагалі, для розуміння того, які процеси викликали розвиток цих систем (та й в принципі, як вчить наука історія, якийсь факт можна розглядати тільки в його історичному контексті).

Отже, у 1999 році жила-була в штаті Техас компанія Compaq — найкращий друг і конкурент багатьох ІТ-компаній на ринку США. До 1999 року ця компанія вже існувала 17 років на ринку і продавала ПК, ноутбуки, сервери, мережеве обладнання (тісно співпрацювала з Microsoft). Цікава вона в контексті статті тим, що в ній довго працював архітектором серверів Крістофер Хіпп (сподіваюся, що пишу прізвище правильно, на всякий випадок оригінал — Christopher Hipp), але як раз в 1999 році, на піку краху дот-комів (крах завдав дуже сильний удар по продажам Hi-End рішень), він залишив компанію Compaq і заснував свою компанію – RLX Technologies. А Compaq, в підсумку, купила компанія Hewlett-Packard.

Далі, RLX Technologies на чолі з Крістофером Хиппом зайнялася розробкою блейд-серверів. Спонуканням до розробки було розуміння того, що основна цінність сервера – його обчислювальна потужність, тоді як блоки живлення, наприклад, або конструктив корпусу, або система управління, вторинні щодо головної функції – обробки математичних операцій. Логічним розвитком цієї думки стала ідея, що весь не основний функціонал сервера можна винести в окремий конструктив – шасі, у яке згодом можна встановлювати сервера без блоків живлення і іншого. Перші блейд-сервера і шасі були випущені вже в 2000 році, а в 2002 році був зареєстрований патент US6411506 «High density web server chassis system and method» – рекомендую пройти за посиланням і ознайомитися, дуже цікаво. Далі справи пішли по різному, блейд-сервера продавалися, але було і кілька невдалих ініціатив, і в 2005 році компанію RLX Technologies придбала (сюрприз!) компанія Hewlett-Packard. Крістофер Хіпп зайнявся розробкою квантового комп'ютера, але помер 14 липня 2009 року від серцевої недостатності, катаючись на велосипеді в Кремнієвій долині.

Після кількох років експериментів з різними шасі – e-сlass (дуже схоже на патент, зазначений вище), p-class(вже не так схоже), в 2007 компанія Hewlett-Packard випустила першу ревізію шасі c-class — c7000, таким чином, наступного року буде вже 10 років, як це рішення продається на ІТ-ринку – свого роду рекорд. Стало ясно, що новий тип серверів припав дуже до душі великим замовникам, так як дозволяв встановити в стандартну стійку більше серверів (більше серверів для бога серверів!), наприклад, у звичайну стійку висотою 42U влазить 40 одноюнітових плюс два комутатора ToR (Top of the rack), тоді як якщо набити стійку чотирма шасі c7000 по 16 серверів, то в стійці можна акумулювати 64 сервера (в 1,6 раза більше). До речі, саме тому висоту шасі намагаються зробити 10 юнітів, щоб в стійку можна було вставити 4 шасі. Таким чином, за 5 років, тобто до 2010 року, блейд-рішення зайняли 40% всього ринку серверів.

Ось така еволюція обчислювальних систем сталася з 2000 року і, очевидно, призвела до подальшого появи Synergy.

Перейдемо до «по-друге». Щоб зрозуміти для чого щось потрібно, треба подивитися на внутрішню структуру. Подивимося, з чого складається Synergy:

1. Базова одиниця стоечное шасі Frame 12000 висотою 10 юнітів. Вміщує, правда, вже не 16 серверів, а всього 12 (більшість картинок в мережі — рендери 3D-моделей, на першому фото добре видно шасі — воно зовсім не таке барвисте).

2. Сервера, як сказано вище:

  • a. або до 12 штук двопроцесорних (Xeon E5-2ххх v4) HPE Synergy 480 Gen9,
  • b. або до 6 штук чотирипроцесорних (Xeon E7-48xx і Xeon E7-88xx) HPE Synergy 620 Gen9;
  • c. або до 6 штук четырепроцессорных (Xeon E5-46xx) HPE Synergy 660 Gen9;
  • d. або до 3 штук монструозных чотирипроцесорних (Xeon Xeon E7-48xx і Xeon E7-88xx) HPE Synergy 680 Gen9 – це фактично «склеювання» двох 620-х серверів. Сервер підтримує фантастичні 6 Тб пам'яті DDR4.
3. Модуль зберігання HPE Synergy D3940 – до 40 дисків SFF HDD або SSD. Цей модуль зберігання — фактично JBOD (від англ. Just a bunch of disks, просто пачка дисків), своїх контролерів зберігання модуль не має. Спочатку наявність такого дивного модуля викликало одне велике питання – НАВІЩО? Але, мені здається, я почав здогадуватися для чого він потрібен. До речі, в блейд-сервер для роботи з модулем зберігання треба встановлювати RAID-контролер Smart Array P542D/2GB FBWC 12Gb. На першому фото цей модуль встановлений в зону №1, займаючи відсіки № 1 і №2.

4. HPE Synergy Composer – сервер моніторингу та управління з передвстановленим OneView. Про нього доведеться писати окрему статтю. На першому фото вгорі — лежить на столі витягнений з шасі.

5. HPE Synergy Frame Link Module(FLM) – модуль, що підключається до HPE Synergy Composer. Я так розумію, передає інформацію з інших шасі, коли в інсталяції більше одного шасі. Спробую розібрати його в тій же статті, що і композер.

6. HPE Synergy Image Streamer – модуль для зберігання і розгортання операційних систем з потрібними в даний момент налаштуваннями. Такого модуля я ще не зустрічав, мабуть, йому теж доведеться присвятити окрему статтю в рамках огляду.

7. Мережева частина представлена поки не дуже багато, однак, перш ніж перейти до перерахування доступних зараз модулів, хочеться окремо відзначити, що в шасі відразу закладена розводка пасивної комутації у вигляді оптики, а заявлена доступна швидкість внутрішньої комутації – до 100 Гбіт/с. Мабуть, це одна з причин заміни попереднього шасі с7000 – там мідь і максимум 20 Гбіт/с.
Отже, що можна встановити:

Ethernet/CNA:

  • a. HPE Virtual Connect SE 40GB F8 Module for HPE Synergy — на другому фото видно, він встановлений у відсік 3, над верхнім рядом блоків живлення;
  • b. HPE Synergy 10Gb Interconnect Link Module;
  • c. HPE Synergy 20Gb Interconnect Link Module;
  • d. HPE Synergy 10/40Gb Pass Thru Module.
SAS-підключення:

  • a. HPE Synergy 12Gb SAS Connection Module with 12 Internal Ports — на другому фото видно, він встановлений у верхній відсік;
  • b. HPE Synergy D3940 Redundant I/O Adapter.
  • Виглядає так, що диски з модуля з дисками, розташованого в одному шасі (нехай буде шасі 2), можна підключати до серверів в іншому шасі (наприклад, шасі 1).
SAN-мережа:

  • a. Brocade 16Gb/12 Fibre Channel SAN Switch Module;
  • b. Brocade 16Gb/24 Fibre Channel SAN Switch Module;
  • с. HPE Virtual Connect SE 16Gb Fibre Channel Module — мені здається, що на другому фото він встановлений у відсік 6, над нижнім рядом блоків живлення.
З боку серверів можна встановити 4 типи адаптерів:

  • a. HPE Synergy 3820C 10/20Gb Converged Network Adapter(CNA);
  • b. HPE Synergy 3830C 16Gb Fibre Channel Host Bus Adapter;
  • c. HPE Synergy 3530C 16Gb Fibre Channel Host Bus Adapter;
  • d. HPE Synergy 2820C 10Gb Converged Network Adapter(CNA).
Як видно (сюрприз!), чисто Ethernet мережевих карт немає взагалі.

8. Вентилятори та блоки живлення – в теорії 10 вентиляторів завжди в комплекті, БП — два по 2650 Вт в комплекті, максимум 6 шт, додаються парами. В теорії, тому що в конфігураторі функція за зміни кількості БП є, але на даний момент заблокована, за замовчуванням стоїть 6 штук.

По енергоспоживання і тепловиділення можна пройтися окремо. Я зробив дві приблизно однакові конфігурації серверів (два процесори Intel Xeon E5-2660 v4 (14C), 4x16 Gb DDR4 PC4-2400, два диска 300 Gb 10k, мережа 20 Gbit) у програмі, що моделює інженерні дані «HPE Power Advisor 7.9», вийшло наступне:
Для шасі Synergy 12000 Frame з дванадцятьма серверами 480 G9, одним композером, одним стриммером, парою комутаторів:



Для шасі BladeSystem с7000 з 16 серверами BL460c G9, двома модулями управління Onboard Administrator, парою комутаторів (чому не зазначений в цьому вікні вага – 219 кг):



Видно, що при одному об'ємі(10U) шасі с7000 важче (вище щільність серверів), але Synergy Frame їсть більше електрики і виділяє більше тепла, приблизно в 1,2 рази. З чим пов'язано – поки не дуже зрозуміло.

В цілому, вище перераховані основні компоненти. Що можна сказати? Спочатку конструкція здається безглуздою: серверів менше, ніж у с7000, жере електрики більше, якісь полиці дискові, які містять просто набір дисків без якоїсь структури, SAS комутатори. Навіщо городити такий город, коли є нормальний працює шасі с7000? Так я думав приблизно півроку, до тих пір, поки не посипалися завдання на проектування інфраструктур на BigData і Hadoop. Виявилося, що для цих завдань звичайна інфраструктура, типу шасі з серверами+SAN мережа+ СГД, практично не застосовується. Якщо з серверами особливо немає проблем, то внутрішній інтерконект та СГД – вузьке місце таких систем. Основне гідність Hadoop – можливість лінійного нарощення обчислювальних потужностей до величезних масштабів (я бачив опис рішень для 2000 вузлів), що очевидно неможливо для архітектур типу «блейды+СГД», по-перше, в с7000 — максимум 20 Гбіт/с (скоріше, це симетрична десятка), по-друге, СГД має обмеження за кількістю дисків на контролерну пару і, коли потрібно цю кількість збільшити, доводиться міняти СГД, а це дуже затратно, плюс міграція даних – це технологічно складний процес. Гарний опис вузьких місць знайшов тут – глава «Blades, SANs, and Virtualization».

Так от, якщо подивитися на Synergy під цим кутом, то платформа виглядає дуже вигідно: поставив на сервер потрібний контролер, вставив сервер в шасі, через Composer віддав у модулі зберігання потрібне число дисків нового сервера, через Image Streamer швидко накотив з готового образу який-небудь «unmodified Debian 7.3» або RHEL з потрібними параметрами, і нова обчислювальна нода готова. Враховуючи, що однією парою композеров можна управляти 20-ю шасі (5 повних стійок, до 240 серверів) – це просто ДУЖЕ круто. У цій парадигмі Synergy – практично ідеальне рішення, реальна альтернатива стоєчних серверів, з яких зараз збираються ферми для BigData. Беручи до уваги, що прогноз для ринку аналізу «Великих Даних» — 50 мільярдів USD до 2020 року, розробка Synergy – це дуже сильна заявка на лідерство в цьому сегменті.

В подальших статтях хотілося б розглянути компоненти Synergy окремо:

  • 1. Саме шасі і сервера.
  • 2. Модуль зберігання з дисками і SAS комутатори.
  • 3. Мережа.
  • 4. HPE Synergy Composer.
  • 5. HPE Synergy Image Streamer.
Далі цікаво? )

p.s. — Взагалі оригінальний заголовок я планував такий — Хочу побачити ховраха! («Бачиш ховраха? А він – є!» к/ф ДМБ)
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.