Огляд серверів Quantа: цікаві рішення, blade-кошики розміром з стійку, вулики мікросерверів та HPC-ферми


Трей з дисками виїжджає з корпусу, а сервер залишається в стійці
На ринку серверів знайти щось нове — це велика удача, тому що велика частина еволюції крутиться навколо відомих технологій, просто роблячи їх сильніше, вище, швидше і дешевше. Коли до нас привезли сервери Quantа, я чекав усього звичного, але з іншим інтерфейсом. Однак залозки, які привезли в КРОК на тестування, змогли мене здивувати.

Першим сюрпризом були тонкі SSD-диски «в дупі» серверів, їх зручно використовувати для ОС або кешування даних. Другим — на одній з моделей зручно виїжджають з сервера приймачі для HDD. Ну і ще купа різних дрібниць, які говорять про реально продуманої збірці, в якій, здається, брав участь не тільки інженерний мозок виробника, але і люди, які знають не з чуток, як админить ферми і дата-центри. По мірі огляду покажу ще кілька прикладів.
Примітно, що Quantа не стала випускати клони того, що є на ринку. Почну з розповіді про незвичайні моделях, потім детальніше розповім про приїхало залізо. Висновки, як завжди, в кінці.

Цікаві дрібниці

Отгибающиеся ручки на комутаторах і такі ж на блоках живлення


Управління 2 нодами многонодового сервера з одного морди

Зручна заміна кулерів, всі інструкції додаються

Зазвичай у сервера цілісна кришка, при її відкритті сервер може перегріватися. У випадку з Quantа кришка сервера розділена на сегменти


Засувки для утримання кабелів на блоках харчування

Тепер давайте подивимося на самі сервери Quanta
Є кілька груп за технічним особливостям і призначенням. Також для серверного обладнання є два види додаткового ПО:
  • Quanta System Manager (QSM) — система управління ЦОДом з інтуїтивно зрозумілим графічним інтерфейсом. По суті — система управління залізом Quanta.
  • Quanta Datacenter Manager — це Quanta System Manager з додатковими можливостями. Може не тільки керувати залізом, але і отримувати інформацію від різних датчиків, вносити зміни в роботу зовнішніх систем, таких як кондиціювання. За рахунок цього передбачається оптимізувати витрати електроенергії, правильно працювати з охолодженням і т. д.


У продажу QuantaGrid і QuantaPlex — нові сучасні моделі. STRATOS — старе залізо, навряд чи його можна купити в Росії.

Серверна стійка з обладнанням Quanta

Стандартні стійкові сервери
Так, є в лінійці і такі. Це ті варіанти залозок, які закриють 90% потреб клієнта, стандартні робочі конячки. Сервери виконані в 1U/2U/4U форм-факторі, в стоєчном виконанні. Побудовані на базі Intel x86. Багатий вибір компонентів, таких як мезанин-карти і RAID-контролери, різні варіанти конфігурації дискової (диски 3.5 або 2.5 дюйма). Для деяких моделей є можливість установки NVMe PCIe SSD-карт з можливістю гарячої заміни. NVMe — це спеціальний протокол, який створений для роботи з SSD-носіями інформації, що містить купу оптимізацій і поліпшень. Він забезпечує кращу продуктивність і мінімальний час відгуку для SSD-накопичувачів за рахунок застосування нового набору команд і механізму обробки черг, оптимізованого для роботи з сучасними багатоядерними процесорами.
Багато серверів у додаток до дисків на лицьовій панелі мають 2-4 додаткові слоти для SSD-дисків. Диски можуть об'єднуватися в raid. Їх зручно використовувати для ОС або для кешування даних. Диски дуже тонкі (десь в 2 рази тонше дисків 2.5 дюйма), часто їх розміщують з задньої сторони сервера. Виглядає це приблизно так:


GPGPU-сервери
Це такі ж сервери для монтажу в стійку. Їх ключова відмінність — наявність одного або декількох GPU-прискорювачів GPU/Xeon Phi. Основна функція GPU — HPC обчислення. У той час як CPU включає кількох ядер, оптимізованих для послідовної обробки даних, GPU складається з тисяч дрібних і енергоефективних ядер, створених для обробки декількох завдань одночасно. Він містить більший, ніж CPU, обсяг пам'яті, але не такий швидкий, і величезна кількість виконавчих блоків. По суті, робота GPU зводиться до оперування величезною кількістю незалежних між собою завдань. Таким чином, сервери цієї серії ідеальні для таких завдань, як:
  • HPC (High Performance Computing) / technical computing (різні математичні паралельні/розподілені обчислення, природно, код програми повинен бути написаний з урахуванням обрахунку даних на GPGPU);
  • 3D Rendering.


Мікросервери
Це рішення містить велику кількість обчислювальних нод у відносно невеликій кількості юнітів. При цьому досягається велика густина CPU і пам'яті на юніт в стійці. Може містити до 24 нсд в 3 юніти, в кожну ноду можна встановити 2 або 4 диска (в залежності від моделі сервера) для ОС. Диски можна об'єднати в raid. Виглядає це приблизно так:

Моделі на 12 і 9 нсд в 3 юніти
Сервер відмінно підходить для:
  • виділеного хостингу;
  • хмарних обчислень;
  • обробки великих даних;
  • мережі доставки контенту;
  • в якості сервера для розміщення веб фронт-енду.


Многоузловые сервери (кластер в коробці)

Многоузловые сервери — це 2 або 4 сервера в одному 2U-корпусі. Висока щільність і єдині блоки живлення дозволяють економити місце в стійках і електроенергію на харчування та охолодження заліза. В кластерних конфігураціях диски в передній частині сервера видно 2 нодам одночасно. Сервери відмінно підійдуть для:
  • реалізації 2-нодовых кластерів і кластерів з більшої кількості вузлів (пошукові і контекстні механізми багатьох високонавантажених веб-сайтів);
  • віртуалізації (VMware, Microsoft тощо);
  • рішень під Hadoop;
  • клієнтів, яким необхідна максимальна щільність обчислювальних ресурсів з розрахунку на 1U серверної стійки;
  • економії електроенергії.


Сервери зберігання даних
Це сервери з максимальною щільністю дисків на юніт. Моделей багато, суть одна. Ось кілька прикладів:
  • QuantaPlex T21P-4U — вміщує до 78 дисків формату 3.5 дюйма і 2 SSD-диска для ОС. У стійці займає 4 юніта. Сервер призначений для монтажу в глибоку стійку. З стандартної стійки буде стирчати задня частина.
  • QuantaGrid D51PH-1ULH — сервер з 12 дисками 3.5 дюйма і 4 SSD. У стійці займає 1 юніт. Сервер кілька довше стандартних серверів, але заміна всіх hot-plug компонентів здійснюється без витягування з стійки. «Як же міняти 12 дисків?» — запитаєте ви. А ось так, як я вже показував на самому верху:

Сервер в стійці, трей у нас в руках
В наш час велику популярність на ринку зберігання даних набувають SDS-рішення, так що в доповнення до очевидних способів застосування сервери цієї лінійки — відмінний кандидат для SDS-рішень.

Елементи систем зберігання даних (JBOD)
Моделей представлено небагато, але вони виявилися дуже конкурентні за ціною. На мій погляд, варто виділити JBOD QuantaVault JB4242 з 32 дисками, встановленими з фронтальної і задньої сторони сервера і QuantaVault JB4602 з 60 дисками вертикальної завантаження. Обидва JBOD-а виконані у форм-факторі 4U.

QuantaVault JB4602

Мережеві комутатори
Quanta пропонує багатий вибір Bare Metal комутатори з портами 1G/10G Ethernet. Є моделі з аплінку 40G. Лінійка комутаторів покриває всі потреби клієнта: від комутаторів початкового рівня з портами 1G до комутаторів Top-of-Rack. Bare Metal — це голе залізо. Всередині немає ОС. Різні варіанти можна знайти на сайті Quanta або завантажити з сайтів компаній, які займаються розробкою таких Firmware.
Природно, голе залізо цікаво не всім клієнтам, тому Quanta пропонує моделі з уже встановленою ОС. Такі, щоб встромив — і працює.

QCT Rackgo
QCT Rackgo — рішення, засновану на специфікаціях OCP Open Cloud Server (OCS), внесених Microsoft, є інноваційним для забезпечення роботи бізнес-додатків, що створюються для інтеграції сервера, сховища даних і мережевого функціоналу з технологіями обміну даними та ефективним управлінням.
Виглядає як 42-юнитовая стійка з блоками живлення і охолодженням, але є і половинчастий варіант (напевно, його передбачається використовувати для віддалених офісів). В стійку вставляються леза, які не мають своїх блоків живлення або кулерів. Є лезо зберігання (JBOD), лезо обробки даних і мережеві комутатори. По суті, це рішення — одне велике blade шасі. Заявлена виробником економія енергії — 35%.
До речі, виробник заявляє, що QCT Rackgo можна охолоджувати повітрям з вулиці без його попереднього охолодження (фактично брати його зовні і туди ж повертати). Таким чином, можлива додаткова економія на охолодження заліза. Рішення відмінно підходить для нових проектів, які потребують великої кількості обчислювальних ресурсів та зберігання, а також для проектів, що передбачають швидке зростання хардварной складової.

Тестування обладнання
На тестування КРОК доставили кілька моделей серверного обладнання. Ось список:
  • QuantaPlex T21P-4U;
  • QuantaGrid D51PH-1ULH-1U Server;
  • мережевий комутатор QuantaMesh T3048-IZ1.
Надалі я більш детально розповім про кожну з них, але спочатку…
Загальні враження
Сервери зроблені добротно, немає задирок і бовтаються проводів. Все залізо виглядає логічно і гармонійно, легко відкривається і розбирається. Працювати з ним приємно.
У кожному сервері є консоль віддаленого управління. Може працювати як через окремий мережний порт, так і нишпорити мережеві порти для даних з ОС. Такий функціонал дозволяє скоротити кількість комутації всередині стійки і звільнити мережеві порти в комутаторах. По функціоналу консоль нічим не відрізняється від аналогічних консолей інших вендорів. Працює швидко, без гальм. Є можливість оновлення біоса і IMM з цієї консолі, а не з завантажувального диска.
ОС встановлюється за допомогою завантажувального диска Універсальний Deployment Kit. Здивував мене список підтримуваних ОС:
  • Windows 2008 R2 \ 2012 \ 2012 R2;
  • Rhel 6.5 & 7;
  • Sles 11 SP3;
  • Ubuntu 14.04 & 14.04.1.


Де, питається, все інше?

Насправді список підтримуваних ОС (тих, які можна встановити на сервер) набагато ширше, але встановлювати їх доводиться як є, додаючи драйвера після установки ОС. На сайті виробника є розділ з драйверами для Linux/Window/ESX, звідти можна скачати все необхідне. У лабораторії ми використовували Ubuntu і SLES останніх версій, працювало відмінно.
На сайті дуже мало документації. Фактично немає нічого, крім даташита. Через це виникають деякі незручності. Щоб об'єднати додаткові SSD-диски в raid, довелося писати виробнику. Виявилося, що для того, щоб отримати таку можливість, треба залізти в BIOS і поміняти пару налаштувань. Далі вже все очевидно. Як, цікаво, люди знаходять це без документації?
Тепер більш детально по кожному сервера:

QuantaPlex T21P-4U
Це 4-юнитовый сервер, доступний в декількох конфігураціях.
  • нода і 78 дисків;
  • 2 ноди і 70 дисків. 2-я нода і трей на 8 дисків — взаємозамінні компоненти, кожному серверу доступно по 35 дисків.
У кожну ноду можна додатково поставити по 2 SSD-диска гарячої заміни. Диски об'єднуються в Raid1. На цих дисках зручно розміщувати гостьову ОС.
Контролер дисків дозволяє створити тільки 2 Raid групи, що мало для 70 дисків, тому диски повинні збиратися в Raid групи на рівні.
Довжина сервера відповідає довжині стандартної стійки, рукав з неї стирчить. Таким чином, сервер призначений для монтажу в глибоку стійку.
QuantaPlex T21P-4U можна використовувати для будь-яких завдань, які потребують великої кількості дисків. Це може бути:
  • архівне зберігання;
  • відеоспостереження;
  • файлові сховища;
  • SDS і розподілене зберігання даних (CEPH або EMC ScaleIO).

QuantaGrid D51PH-1ULH-1U
Сервер займає 1 юніт. Як і в попередній моделі, його довжина відповідає довжині стійки, але все hot-plug компоненти цього сервера можна поміняти, не дістаючи його з стійки. Таким чином, йому не потрібен рукав, і сервер може бути встановлений в стандартну стійку.
На сервері встановлено 12 дисків 3.5 дюйма і 4 SSD-диска. Raid контролер підтримує різні типи Raid груп. Піддон з дисками 3.5 дюйма висувається з лицьової сторони сервера.
Сервер добре підходить для SDS і розподіленого зберігання даних (CEPH або EMC ScaleIO), для зберігання і обробки великих даних (Hadoop).
Мережевий комутатор QuantaMesh T3048-IZ1
До нас на тестування, крім серверного обладнання, надійшло ще й мережне, а саме QuantaMesh T3048-IZ1. Рішення цікаве і виділяється із загального ладу, але про все по порядку.
Ось так комутатори виглядають спереду:

А ось так ззаду:

Зібрано все якісно і добротно. Зазначимо власники кабелю і ручки на передній панелі — дрібниця, а приємно.
Але найцікавіше, звичайно ж, всередині комутатора. Побудований він на платформі Intel ONP (Open Network Platform) — це відкритий референсний дизайн для високопродуктивних мережевих платформ і дата-центрів, який був закладений з думками про SDN (Software Defined Networking) і NFV (Network Functions Virtualization).
Це означає, що даний комутатор на рівні заліза підтримує OpenFlow пакети та готовий до роботи з Open vSwitch.
Зазначимо, що сама платформа Intel ONP з'явилася неспроста і являє собою спробу потіснити Broadcom, яка зараз відмінно відчуває себе в мережевому сегменті.
Так як рішення стандартизовано, то в будь-якому світчі Intel ONP ви знайдете комутаційну матрицю Intel Ethernet Switch FM6000 і серверну частину на основі процесора x86. У нашому комутаторі пліч-о-пліч трудяться Intel Ethernet Switch FM6764 і Intel Core i3-2115C з 2 GB DDR3 і 32GB SSD. Така конфігурація забезпечує пропускну здатність 1.28 Тб/з або 960 мільйонів пакет/с при затримці <1 мкс, при цьому ми отримуємо 48 портів 1/10GbE SFP+ і 4 порти 10/40GbE QSFP+.
Розповівши про залізо, перейдемо до софту. Intel і тут підійшла ґрунтовно і розробила цілу платформу Intel ONS (Open Network Software), яка ґрунтується на Wind River Linux. Цікава ця операційна система тим, що має всередині себе ядро реального часу і просунуті мережеві інтерфейси із збільшеною швидкістю роботи.
Сама Wind River була недавно куплена Intel і займається винятково операційними системами реального часу, як приклад їх роботи — ОС марсохода Curiosity, тому підстав не довіряти такій ОС немає. Для самої платформи випущені SDK і API, а також різні налагоджувальні утиліти, що дозволить доопрацювати ОС під себе або додати якісь додаткові можливості аж до власних протоколів. Якщо ж і цього недостатньо, то на самому світчі встановлений відкритий завантажувач, а завдяки архітектурі x86 доступна будь-яка інша ОС.
Окремо перерахуємо доступні функції:
Рівень Можливості
L2 Port-based VLAN, 802.1 Q VLAN, IGMP snooping, LACP, Storm Control, STP/RSTP/MSTP, Q-in-Q, QoS/DiffServ, L2/L3/L4 ACL, LLDP (802.1 ab)
3 VLAN routing, OSPF, ECMP, ARP, IGMP, PIM-SM, VRRP, OSPF, BGP
На рівні ЦОДа 802.1 Qaz (ETS), 802.1 Qbb (PFC), DCBX, VM Tracer, EVB/802.1 Qbg, OpenFlow v1.0, VXLAN, NVGRE


Вартість
Зрозуміло, що за прайсом вважати не можна взагалі і ніколи, зрозуміло, що сервери для різних завдань різні. Але прокоментую, що в профільних випадках (мікросервери, GPU-ферми, дискові ферми) Quanta дешевше аналогів на 10-15 відсотків, в інших варіантах в паритеті або трохи дорожче тих же HP/DELL/Huawei.

Корисні посилання:
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.