Про HPE Synergy – частина IV. Наші мережі

Початок:
Частина I (Вступ) — habrahabr.ru/post/308224
Частина II (Шасі і сервера) — habrahabr.ru/post/310092
Частина III – Дискове сховище D3940 і SAS-комутатори — habrahabr.ru/post/310564

Цю частину логічно розділити на два шматки – мережеві карти в серверах і комутатори в шасі. Про карти вже говорили у другій частині, але цікаво обговорити деталі окремо. Крім цього, треба зазначити, що модулі SY Composer, Image Streamer і FLM мають свій бекплейн, окремий від загального, і з цього бекплейну інформації немає.

Карт для серверів не сказати щоб багато – 5 штук, але в цілому – досить. Три карти – Eth+Fco, дві карти – чистий Fibre Chanel. Як писав раніше, просто Ethernet-карти як клас не існують. Всі карти з PxE, тобто сервера з ними, можуть завантажуватися з мережі. І будуть завантажуватися, для цього там Image Streamer'и.
  • SY 2820C can – контролер QLogic, два порти по 10 Гбіт/c; недешево, але вже сердито. Не підтримує RDMA (remote direct memory access) – це взагалі не частий гість в ІТ-інфраструктуру, хоча і передової – дозволяє прямо адресувати пам'ять процесора одного сервера через мережу процесору іншого сервера. Вельми вимоглива до ресурсів сервера: одна карта від'їдає 2 Гб оперативної пам'яті сервера, хоча на самій карті коштує 1 Гб, з яких доступно для операцій 900 Мб. Підтримує Jumbo-фреймів – 9К. Так як від кожного мезанин-слоти йде по 4 доріжки до комутаторів, при агрегації портів можна вичавити 40 Гбіт/с Ethernet;
  • SY 3820C 10/20Gb CNA – родич попередньої карти; контролер QLogic, два порти по 10/20 Гбіт/c (тобто симетрична десятка – uplink 10, 10 downlink) – «проходимо, не штовхаємося». Також потребує 2 Гб оперативки на карту. При агрегації вже можна вичавити 80 Гбіт/с. Різниця між старшою і молодшою картою в GPL – приблизно 200 USD.
  • SY 3520C 10/20Gb CNA – тут контролер від Emulex, в інших характеристиках, як попередня карта. Цікавий момент, в конфігураторі HPE була, але зараз вже немає, в статтях згадується, але, наприклад, на сайті HPE її не знайти, так само її немає в HPE Product Bulletin, при цьому гугль або яндекс без проблем знаходить її на тому ж сайті HPE. Зате є 4 топіка про проблеми, що виникли при її використанні – може, тут собака зарита?
Підтримувані операційні системи:
Microsoft:
  • Microsoft Windows Server 2012 and 2012 R2;
  • Microsoft Hyper-V Server 2012 and 2012 R2.
Linux:
  • Red Hat Enterprise Linux x64 6.7, 6.8;
  • Red Hat Enterprise Linux x64 7.2;
  • SUSE Linux Enterprise Server 11SP4 x64;
  • SUSE Linux Enterprise Server 12 & 12SP1 x64.
Virtualization:
VMware ESXi 5.5 U3, 6.0 U2 (тут трохи лякають — vSphere 6.0 U2 is the minimum version of VMware for UEFI Fco Boot from SAN support. Boot from SAN via the iSCSI offload path is not supported for VMware).
Також у всіх серверах є 1 шт. 1 Гбіт/c мережева карта для iLO (дистанційне управління).
Цікава фішка всіх карт – підтримка HPE Sea of Sensors 3D; в кожному блейд-сервері є 32 температурних сенсора, які шлють свої дані через мережеву карту (а не через iLO) на блок управління шасі, яке оцінює розподіл температури в об'ємній моделі.
Нижче табличка порівняльних характеристик, мабуть трохи застаріла, так як сервера SY 620 Gen9 теж підтримуються.

Характеристики мережевих карт


Карти мережі зберігання даних:

  • SY 3530C 16 Gb FC – назад сумісна з 8 Gb FC, здатна обробляти до 600 000 IOPS'ів на кожному порту або 1,2 млн на одному, якщо другий відключений. Контролер від Emulex.
  • SY 3830C 16 Gb FC – все те ж саме, тільки контролер від QLogic (мабуть для тих, хто не любить Emulex).
За вартістю GPL карта від Emulex на 400 баксів дешевше – це не мало. Крім цього, у наведеній нижче таблиці зазначено, що термін гарантії на картки – 1 рік, а не 3 роки, більше ніде згадок про цьому чудовому факт я не знайшов, так що в майбутньому варто мати цей момент огляду.

Характеристики SAN HBA


Переходимо до комутаторів, в такі записані:
  • HPE Virtual Connect SE 40 Gb F8 (master module, тобто основний);
  • HPE SY 40 Gb F8 switch module;
  • HPE Virtual Connect 20 Gb interconnect link module;
  • HPE Virtual Connect 10 Gb interconnect link module;
  • Brocade 16 Gb Fibre Channel SAN switch module;
  • HPE SY 10 Gb pass-thru module.


Комутатор HPE Virtual Connect SE 40 Gb F8 – це один з ключових елементів Synergy, в якому закладена чимала частина нового функціоналу (і дрібним шрифтом – конкурент Cisco UCS Director). Пара комутаторів працює в режимі ad-passive.
Кожна пара комутаторів надає для кожного серверного відсіку 16 downlink'ів (14 Ethernet і 2 FC), якщо у сервера поставлені карти 10/20 Gb CNA. Якщо поставлена 2820С, то можливі варіанти – або 6 шт. Ethernet, або 4 шт. Ethernet плюс 2 шт. FC. Ці лінки можна з допомогою технології Virtual Connect додатково нарізати на FlexNIC' і FlexHBA'шки.



Порт RJ-45, по центру, найцікавіший, тому що підписаний як «for future use». Два порти праворуч (L1 і L2) і два порти зліва (L3 і L4) – порти зв'язку між комутатором і Interconnect Link модулями (про них нижче). Порти G7 і G8 – порти кластеризації між комутаторами в шасі. Інші порти (G1 – G6) — це 40 Гбіт/с QSFP+ аплінки.
Купувати такий комутатор в кожне шасі не обов'язково, до трьох (або п'яти, але про це нижче) шасі можна розгорнути використовуючи пару VC SE 40 Gb F8, і далі встановлюючи модулі HPE 10/20 Gb ILM (Interconnect Link Module).
Про технологію HPE Virtual Connect можна прочитати тут — HP Virtual Connect FlexFabric Cookbook (313 сторінок) – тема дуже об'ємна, і розкриття її цей метою статті не є. Або, якщо цікавлять ази, тут можна безкоштовно завантажити Virtual Connect for Dummies — перед публікацією перевірив — мені прислали =))

Далі — HPE Synergy 40 Gb Switch Module.


Основна відмінність між модулями HPE Virtual Connect SE 40Gb F8 і HPE Synergy 40 Gb Switch Module, власне, підтримка першим модулем технологій Virtual Connect і наявність в першому ж ліцензованої функції підтримки FC. З цікавинок – підтримка пристроями Super Jumbo-фреймів – 12 Кб, які поки не підтримують CNA — чекаємо-чекаємо.

Таблиця з характеристиками комутаторів




Модулі HPE Synergy Interconnect Link 10G І 20 G – додаткові модулі в додаткові шасі.



Підключаються вони в два лівих та/або в два правих порту на HPE Virtual Connect SE 40Gb F8. В чому особливість: модуль з одного «діркою» (10G) дозволяє підключити до головного шасі SY 12000 до 4-х додаткових шасі (тобто всього в одній сутності буде 5 шт. SY 1200 Frame), а з двома дірками «20G» (тобто всього в одній сутності буде 3 шт. SY 1200 Frame) — до 2-х додаткових шасі, але на більш високій швидкості. У разі підключення до основного шасі додаткових шасі є особливість – комутатори HPE Virtual Connect SE 40Gb F8 не встановлюються парою в головний шасі, а розносяться по 1 шт. між основною (першим) і додатковим (другим) модулем. Приклад підключення з 5 шасі представлений на картинці:



Що ще можна відзначити? Архітектура неблокована, без перепідписання; табличка нижче каже, що RTT (round trip time latency) менше 8 наносекунд, більш свіжа документація (29 липня 2016 р.) пише вже про «менше 5 наносекунд». Для того, щоб таке чудо працювало – з'єднують модулі спеціальними кабелями: або мідними – кабель прямого підключення (DAC – Direct Attach Copper Cable) максимальною довжиною 2,1 метра (тобто тільки всередині стійки), або активними оптичними кабелями, максимальна довжина – до 15 метрів. За GPL ціннику найдовший оптичний кабель приблизно в 6 разів дорожче самого довгого мідного.

Характеристики ILM 10/20 G


Комутатор мережі зберігання даних – неблокируемый, на поточний момент єдино можливий до застосування. Випускає комутатор шановна компанія Brocade, в комутаторі 48 портів з автовизначенням 4, 8 або 16 Гбіт/с FC (до речі, можна увіткнути в порти 25-31 модулі 8 Гбіт/с SFP+), частина портів агрегується. 12 портів до серверних відсіках, 8 портів зовнішніх, і 4 групи аплінк QSFP(Quad Small Form-factor Pluggable).



Є опція POD (ports on demand, ліцензування відкритих портів у міру виникнення потреби) – хитра функція витягання грошей з користувача — «заплати за залізо, а потім ще за те, щоб воно цілком працювало». Тобто, можна придбати з 12 «відкритими» ліцензованими портами (в будь-якій комбінації зовнішніх і внутрішніх портів), а якщо знадобитися більше, то докупити ключик на ще 12 портів або PowerPack (ліцензії на додатковий функціонал). Дві ліві і дві праві групи портів дозволяють встановити в них QSFP — для символів 4х16 Гбіт/с FC. Ці порти можуть використовуватися як індивідуальні порти 16 Гбіт/с, 64 Гбіт/с FC ISL, або як 128 Гбіт/с транк для підключення до SAN-директору. Для віртуальних середовищ підтримує NPIV.
Мінімальна версія FabricOS з якою поставляється комутатор – FOS 7.2.0 a.

До чого можна підключати.
16 Гбіт/с FC комутатори і SAN-директора:
  • SN8000B Director Switch (Enterprise);
  • SN6500B Fibre Channel SAN Switch;
  • Brocade 16Gb SAN Switch for HPE BladeSystem c-Class;
  • SN6000B Fibre Channel Switch (Midmarket);
  • SN3000B Fibre Channel Switch (Entry);
  • Brocade 16 Gb SAN Switch for HPE c-Class BladeSystem;
  • Brocade 16Gb Fibre Channel SAN Switch Module for HPE Synergy (до таким же комутаторів в інших шасі).
8 Гбіт/с FC комутатори:
  • 8/24 SAN Switch;
  • 8/8 SAN Switch;
  • Brocade 8 Gb SAN Switch for HPE c-Class BladeSystem.
Комутатори Virtual Connect:
  • HPE Virtual Connect 8Gb 24-port Fibre Channel Module;
  • HPE Virtual Connect 8Gb 20-port Fibre Channel Module;
  • HPE Virtual Connect 16 Gb 24-port Fibre Channel Module;
  • Virtual Connect FlexFabric 10Gb/24-Port Module for c-Class Blade System;
  • HPE Virtual Connect FlexFabric-20/40 F8 Module for c-Сlass Blade System.
Мультипротокольные рутерем і шлюзи:
  • Multi-protocol Extension Blade;
  • SN4000B FC SAN Extension Switch;
  • 1606 SAN Extension Switch.


Нижче таблиця з можливими варіантами придбання комутатора:

Характеристики SAN-комутатора



Ну і наостанок — улюблений модуль сб. Передає дані від 12 відсіків з блейд-серверів, автовизначення швидкості, максимально – 10 Гбіт/с. Своїх мізків немає ніяких, автообнаружается, діагностується, моніториться і все інше через Composer.



Таблиця відповідності портів підключення і відсіків, куди встановлено PTM (PTM – Pass-thru Module, CM – Compute Module):



щоб освіжити пам'ять — image
З якихось нюансів можна відзначити оригінальність підтримки – окремо на модуль її немає, тільки в складі шасі SY 12000.

На цьому опис блоку «Обчислення-Зберігання-Передача Інформації» можна вважати завершеним, наступна стаття буде присвячена Composer'у і Image Streamer'у. Окремо хочу передати привіт російській маркетингу виробника – Composer – це в перекладі «композитор», а не «компонувальник», а про переклад Image Streamer взагалі говорити страшно.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.