Бюджетний «датацентр» на Nutanix CE



Читають наш блог не перший місяць знають, що рік тому ми випустили спеціальну версію З Nutanix, Nutanix Community Edition, яке, на відміну від наших «дорослих» систем, що продаються разом з апаратною платформою, і стоять досить відчутних грошей, можна завантажити безкоштовно встановити на своє залізо підходящої конфігурації, і користуватися. Так, на яке немає нашої класної (і навіть російськомовної!) підтримки (тільки наш англомовний community-форум, втім, досить активний і помогабельный), зате безкоштовно, Карл! І хоча спочатку ми планували, що СЕ буде застосовуватися в якості навчальної лаби, для експериментів, знайомства з продуктом, і тому подібного, не секрет, що є чимало користувачів, які вирішили взяти CE і застосувати його в продакшне. Що ж, це можливо, ми розуміємо, що часи для IT бюджетів в країні важкі, було б нерозумно відмовлятися від такої можливості.
Але залишається питання: як і з чого побудувати «ідеальну платформу» під Nutanix CE, та так, щоб і грошей не витратити даремно, і отримати на виході те, на що буде не страшно поставити продакшновые завдання. Тому в цій статті я спробую спроектувати таку dream-платформу під Nutanix CE з прикидки на використання її не в домашній лабі (про такому варіанті я вже нещодавно писав у своєму блозі), а для більш або менш «бойових» завдань.

Що ж, почнемо. Будувати нашу «бойову» платформу під Nutanix CE ми будемо навколо материнської плати добре відомою у вузьких колах» серверних збирачів компанії SuperMicro, напевно, самого відомого і популярного вендорів Tier-2 розробника серверних платформ.

Ми, в Nutanix, самі вибрали SuperMicro в якості постачальника платформ (не секрет, що готові бандли Nutanix NX це платформи Supermicro визначеної нами конфігурації, з нашим софтом на них), та досвід роботи з SM у нас цілком позитивний. Отже, беремо Supermicro, тим більше, що у величезному арсеналі виробленого SuperMicro серверного хабара знайшлася ідеально підходить для Nutanix CE система, ось вона:
Supermicro Mini-ITX 2133/1866/1600MHz ECC DDR4 Single socket FCBGA 1667 Motherboard (X10SDV-TLN4F-O)



Це материнська плата формату Mini-ITX (що вже незвично для серверного рішення), на базі цікавого CPU, випущеного Intel в минулому році: Intel Xeon D-1541.

Це низкопотребляющий (всього 45W) серверний процесор сімейства Xeon, націлений на SoC (System-on-Chip) платформи. По продуктивності він приблизно відповідає, наприклад, E5-2620v4, тобто цілком нічого собі серверний Xeon початкового рівня для однопроцесорних систем.

Він також включає в себе два інтерфейсу 10G, які є і на нашій материнці. Процесор має 8 фізичних ядер (16 c HT), 2,1 GHz частоти, 12MB кеша і підтримує до 128GB ECC RAM.

З вартості материнки приблизно 600$, в результаті, становить якраз він.

Також під цю mini-ITX материнку SuperMicro випускає симпатичний корпус, що нагадує форматом добре і справедливо улюблений багатьма HP MicroServer, називається він: Supermicro Superchassis CSE-721TQ-250B Mini-Tower with 250W Power Supply.



Давайте розрахуємо, у що обійдеться нам платформа для Nutanix CE, якщо ми вирішили на базі цього безкоштовного рішення побудувати платформу для серйозних «бойових» сервісів в компанію.
Я буду брати ціни Amazon.com, валідні на момент написання тексту. Хитрі технології просування товару на Amazon використовують той факт, що товар піднімається у видачі після того, як ціна на нього знижується продавцем, що провокує «оптимізаторів» постійні «гойдалки» з пониженням (і підвищенням позиції у видачі), потім поверненням в колишній ціні вище, і знову «знижкою», з попаданням в список «кращий вибір». Так що якщо ви не побачите по моєму посиланню наведеної ціни, то, швидше за все, це воно. Почекайте кілька годин, або пошукайте за назвою товару іншого розміщення (часто від того ж продавця, під трохи відрізняється ім'ям).

Отже, почнемо. Беремо в кошик материнську плату X10SDV-TLN4F-O
Це дає нам материнську плату з процесором (він розпаяний на материнській платі, так як це SoC), кулером, мережевими портами, але без пам'яті і дисків.

Supermicro Mini-ITX 2133/1866/1600MHz ECC DDR4 Single socket FCBGA 1667 Motherboard (X10SDV-TLN4F-O)
$899

Джерело: www.amazon.com/Supermicro-Mini-ITX-1600MHz-Motherboard-X10SDV-TLN4F-O/dp/B010W32T62

Додаємо до неї корпус CSE-721TQ-250B



Supermicro Superchassis CSE-721TQ-250B Mini-Tower with 250W Power Supply
$185.99

Джерело: www.amazon.com/Supermicro-Superchassis-CSE-721TQ-250B-Mini-Tower-Supply/dp/B00REWHHNU

Додамо пам'ять. Ця материнка підтримує до 128GB DRAM DDR4 планками виду ECC RDIMM (реєстрової) і 64GB ECC UDIMM (нерегистровой). Цілком солідна ємність для Mini-ITX сервера. Пам'ятаю, що в Microserver навіть з бубном більше 32GB не лізло.
Поставимо 64GB двома планками по 32GB, з запасом на розширення в майбутньому. Ось така пам'ять нам точно підійде (Amazon її навіть часто пропонує бандлом з нашої материнкою):



Samsung DDR4-2133 32GB/4Gx72 ECC/REG CL15 Server Memory M393A4K40BB0-CPB
$156.98 x2

Джерело: www.amazon.com/Samsung-DDR4-2133-Server-Memory-M393A4K40BB0-CPB/dp/B00X04FO9K

Тепер треба визначитися з SSD і HDD.

Наша материнка має один слот стає все більш популярним формату M. 2, не буду зупинятися на тому, чому це хороший вибір, коротко — це, фактично, PCIe, підтримує NVMe. Зараз Nutanix не підтримує NVMe як такої, тільки SSD, але ми працюємо в цьому напрямку, слідкуйте за новинами.
Раз вже у нас є цей інтерфейс, давайте не будемо жмотиться і поставимо SSD саме в нього.
SSD цього формату істотно дорожче звичним всім SSD на інтерфейсі SATA, але не просто так. Тому, раз вже ми збираємо dream car, беремо M. 2 SSD, наприклад, такий:



Samsung 950 PRO Series — 512GB PCIe NVMe — M. 2 Internal SSD (MZ-V5P512BW)
$317.99

Джерело: www.amazon.com/Samsung-950-PRO-Internal-MZ-V5P512BW/dp/B01639694M

Втім, якщо хочеться варіант побюджетнее, то можливий і він, наприклад, з таким SATA SSD:



SanDisk X400 SSD SATA 2.5" 7mm 512G SD8SB8U-512G-1122
$135.29

Джерело: www.amazon.com/SanDisk-X400-SATA-512G-SD8SB8U-512G-1122/dp/B0196FPT1Y

UPD: Обговорення статті в нашій публічної групі в Telegram дало ще один варіант: SATA SSD Intel S3610 на 480GB, практично за ті ж гроші, що Samsung, але, орієнтовно, більш високою стійкістю до записів (ми його, до речі, використовуємо в «великих» Nutanix NX)

Intel SSDSC2BX480G401 DC S3610 Series 480GB 2.5 inch SATA 6Gb/s 7mm MLC SSD Bulk OEM
$337.75

Якщо ви очікуєте дуже високу інтенсивність навантажень на запис, то беріть його.

Джерело: https://www.amazon.com/Intel-External-Solid-State-SSDSC2BX480G401/dp/B00Q86RDNM

Вибір SATA SSD зараз досить широкий, обирайте на свій смак, Nutanix тут не диктує вибір моделі, хіба що не забувайте, що «багато ємності SSD не буває», і я рекомендую вам розглядати ємність SSD для Nutanix щонайменше від 480GB (незважаючи на те, що в мінімальних вимогах зазначено 200GB, частина SSD також займають дані самої системи Nutanix, і вашим даними залишиться на 200GB зовсім трохи).

Одного SSD, особливо такого швидкого, нам поки достатньо. Додамо до нашого сервера ще пару HDD, наприклад, добре себе зарекомендували 2TB WD Red:



2TB WD Red NAS Hard Disk Drive — 5400 RPM Class SATA 6 Gb/s 64MB Cache 3.5 Inch — WD20EFRX
$89.99 x2

Джерело: www.amazon.com/Red-4TB-Hard-Disk-Drive/dp/B00EHBERSE

Зверніть увагу, ми не беремо WD Black і RE, просто тому, що від швидкості HDD в нашому випадку нічого не залежить. Вони зберігають холодні блоки, тому висока продуктивність саме SATA HDD нам не потрібна, продуктивність буде забезпечуватися hot tier-му SSD, так що вваливать грошей в дорогі HDD ми не будемо, виграшу ви від цього особливо не отримаєте. В іншому ж вибирайте той HDD, який вам здається більш правильним і надійним, спеціальних вимог з боку Nutanix тут також немає.



Майже готово. Підсумуємо все, щоб отримати підсумкову ціну:

899 + 186 + 157*2 + 318 + 90*2 = 1897 USD

Можна сюди додати 70 доларів на доставку яким-небудь майлфорвардером (я користуюся для себе Бандеролькой, підсівши на їх мармеладкі;D, так і їх пункт видачі у мене поруч, але вибір на ринку є, дивіться самі що вам до душі).

Отже, за ~1900 USD (тобто, фактично, дешевше, наприклад, 15" MacBook Pro!), ви отримуєте сучасний, якісний, компактний, з малим енергоспоживанням сервер (8 фізичних ядер, 64GB RAM, 2x10G, SSD), на який ви можете поставити наш Nutanix CE, і розгорнути в ньому віртуальні машини вашої компанії.
По суті, ми зараз зібрали приблизний еквівалент самої молодшої моделі Nutanix, щось типу NX-1065S, односокетного сервера з одним і 64GB SSD RAM на CPU типу E5-2620v4. CE буде повільнішим на дискових операціях, це пов'язано з тим, що ми дещо по-іншому, ніж в «великому Nutanix» працюємо з дисковими пристроями (це було зроблено для того, щоб збільшити число підтримуваних CE платформ), що наводить на тій же платформі до погіршення продуктивності дискової відсотків на 30, напевно. Але і це дуже непогано.

Які у нас є далі варіанти?
По-перше, на одному сервері у вас не буде відмовостійкості. Для серйозної системи це неприйнятно, тому відразу забиваємося на кластер. Nutanix CE підтримує варіанти з одного, трьох та чотирьох серверів кластера. Зверніть увагу, варіанти з двома серверами немає, як немає варіанту і з великим числом, ніж чотири. Два не дозволяє забезпечити потрібну відмовостійкість і логіку роботи кластера, а якщо вам потрібно більше чотирьох серверів в кластері — ласкаво просимо в світ «великих хлопців» :), ви переросли CE.
Сервера в кластер з'єднуються за допомогою мережевих ethernet-інтерфейсів. У нас їх, нагадаю, на нашій материнці з надлишком. Пара 10G Base-T і пару гігабітних. Будемо використовувати 10G раз вже він у нас є. Але куди їх будемо підключати?

Ось вже пару років як на ринку присутній цікавий продукт, який розвіює міф про те, що 10G — це супер-супердорого, і взагаліце для гігантських энтерпрайзов, типу Газпрому, а ми не газпром, тому будемо колгоспів LACP на гигабитках Реалтек. Геть ось це ось все! :)
Докидываем в кошик ось це:



NETGEAR ProSAFE 8-Port 10-Gigabit Ethernet Web Managed Switch (XS708E-200NES)
$749.99

Джерело: www.amazon.com/NETGEAR-ProSAFE-10-Gigabit-Ethernet-XS708E-200NES/dp/B01GTWPTJY

Так, це воно, 8-портовий (а є варіанти і на більше портів: 12, 16 і більше) керований 10G світч.
Я не стану говорити, що це вбивця Нексусов, Аріст, і що це найкращий у світі світч. Ні звичайно. Але він є, він 10G, у нього достатньо паспортного bandwith на свитчинге для роботи портів без oversubscribing-а, і він працює. Якщо у вас є гроші на краще — беріть це краще. Але на сьогодні ці нетгиры — лідери Price/Performance. Пошукавши по базару можна знайти і варіанти трохи дорожче (і трохи цікавіше), від того ж Netgear, від Dell Networks, Mellanox. Але раз вже ми майструємо «бюджетно-бюджетно», візьмемо цей Netgear.
Для відмовостійкої світч-фабрики беремо їх два, кожен з них піде один кабель з пари портів 10GBase-T нашого сервера, і у нас ще залишаться за 4 порти на світчі для якихось зовнішніх серверів, наприклад, щоб включити кластер у зовнішню мережу компанії.

Далі, ми можемо додати пам'яті (не забувайте, що сам Nutanix CE приблизно 12GB візьме з хоста собі під свої потреби), у нас на це залишилися два слоти в кожному сервері, ми можемо поставити ще два HDD для зберігання холодних даних, або додати SSD, або зробити AllFlash (зверніть увагу, що AllFlash хост не можна змішувати в одному кластері з хостами з HDD, але можна змішувати в кластері різні хости гібридної конфігурації, наприклад з різним числом і об'ємом дисків).

У підсумку, за суму менш 10K USD ми отримали высокодоступный гиперконвергентный віртуальний датацентр з чотирьох серверних хостів віртуалізації зовсім неслабкою конфігурації, 10G мережевим бэкбоном, з прекрасними перспективами розширення (якщо виникне така необхідність), і повністю безкоштовною софтверної гипервизорной частиною. І все це в обсязі 19" стійки близько 8U.

По-моєму, дуже вражаючий результат.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.