Недорога 10GbE інфраструктура для кластерів

Ми в HOSTKEY регулярно стикаємося з необхідністю організації VLAN на швидкості 10гбіт для кластерів віртуалізації – своїх і клієнтських. Ця технологія необхідна для взаємодії з СГД, для резервного копіювання, для доступу в БД і для забезпечення живої міграції віртуальних машин. Завжди виникає питання — як зробити це надійно і з мінімальними витратами?

До останнього часу мінімальні витрати для такого рішення були істотними. Найменший комутатор 10GbE був на 24 порти, а сама проста карта – Intel X520 за 500 доларів. Бюджет на порт становив близько 700-1000 доларів, а вхідний квиток був дуже високий. Ми спостерігали, як будували кластери на старих картках Инфинибэнд та інших нетрадиційних рішеннях. За результатами спостережень ми відмовилися від цих варіантів і не рекомендуємо їх використовувати нашим клієнтам.

Прогрес не стоїть на місці, на початку 2015 року з'явився новий клас пристроїв 10GbE за прийнятні гроші зі складу в Москві і під гарантією.
Так як ми в HOSTKEY регулярно будуємо на їх базі виділені сервера і приватні хмари, то хочемо поділитися досвідом.

Отже, у нашого Клієнта 5 машин в кластері і йому потрібен 10GbE VLAN – там 2 файлера, одна машина для резервного копіювання і кілька нсд. На гигабите все повільно і не хочеться ставити машини гігабітні четырехпортовки в тиминге. Треба 10GbE і бюджет обмежений. Звучить знайомо, чи не правда?


Вибір 10GbE контролерів

Вибираємо мережні плати для серверів – щоб нові, зі складу і гарантією. Є три варіанти, і всі вони на PCIe x8:

1) Старий перевірений Intel X520-DA2.
2 порти SFP+, вже 5 років на ринку. Ціна близько 30 000 рублів (~$450). Зверніть увагу, модулі треба брати рідні 15.000 рублів або замовляти в НАГе із зазначенням, щоб їх прошили під цю модель, інакше він їх не побачить. Це ж стосується DAC (мідних кабелів прямого з'єднання з інтерфейсами SFP+ — раптом хто не знає), то ми ж думали що будь підходить і були змушені заходити на друге коло.

2) Новачок Asus PEB-10G/57811-1S
1 або 2 порти SFP+ на чіпсеті BCM 57811S.
Вперше ми їх помітили в продаж навесні. Ціна питання 10 000 рублів за штуку з одним портом і 16 000 за 2-х портовий PEB-10G/57840-2S. Модулі будь, контролеру не принципово. Хустки на подив маленька, трохи більше долоні. Зверніть увагу – драйверів під VmWare там немає в коробці (ми спробуємо вирішити цю проблему в одному з наступних постів).


3) Новий Qlogic QLE3440-CU-CK
Один або два порти SFP+ під DAC, як ми і шукали.
Однопортову версію вдалося купити 16 000 рублів. На Амазоні ціна для QLE3440-CU-CK становить 250 баксів, тобто це не сток за старою ціною — новье. Всі драйвера на місці, в тому числі і під ESXI. Картка трохи більшого розміру. Модулі DAC/SFP+ спеціально шити не треба — він всеїдний.

Вибір 10GbE комутатора

Тепер треба вибрати комутатор, нам потрібно щось на 8-12 портів з управлінням на рівні L2 без особливих наворотів. Нексус і Екстрим не розглядаємо, не той розмір. Знову ж, шукаємо нове і зі складу. Старі Меланоксы з Ebay, Циски на xenpack не розглядаємо, хоча багато хто так і надходять.
Вибір ще скромніше:

1) Netgear XS708E на 8 мідних портів, ціна 72 000 рублів в Регарде та інших місцях. L2 є, все управляється. У нас мідних портів немає на картах, в цьому випадку доведеться брати щось інше.


2) Netgear XS712T-100NES на 12 мідних портів, ціна 142 000 рублів в Регарде.

3) SNR-S2970-12X– 12 портовий комутатор від NAG.
У нього 12 SFP+ портів, 8 просто гігабітних портів і повний контроль в L2. Ціна близько 100 000 рублів, тобто 8333 рублів за 10Г порт і ще 8 гигабитников на халяву – ми ще VLAN управління на ньому ж зберемо. Читаємо форум і гілку з обговоренням пристрою — нам для кластера це годиться, а для опорного комутатора рівня ЦОД він точно не піде.

DAC нам подобаються більше, вони мають затримку в 0,3 мкс проти 2-3мкс у 10GBase-T. На рівні мережевої агрегації ЦОД це не так важливо, а для підключення файлеров нічого немає важливіше маленької затримки.
Запитуємо колег про досвід експлуатації і замовляємо в НАГ.ру, через кілька днів комутатор вже у нас в Москві на столі. Інтерфейс комутатора простий, є веб-інтерфейс, IOS-подібний CLI і все управляється по SNMP. Нам не потрібно нічого складніше, ніж нарізати VLAN і поставити на моніторинг в CACTI, хоча у нього набагато більше функцій. Він може шейпить, може робити транки, може затискати MAC на портах, може робити port mirror на 1/10Г, підфарбовувати трафік QOS і все інше, що пристало L2 перемикач в 2015 році.

Снапшоти веб-інтерфейсу SNR-S2970-12X:
Перший екран:


Управління портами:


МАС-адреси:


Налаштування портів:


Налаштування шэйпинга і лімітів pps:


Управління дзеркалювання портів:


Управління VLAN і транками:


Тестування



Збираємо стенд з двох серверів і комутатора – дві машини на s1366, супермикра і інтел. Ставимо картки, ставимо на SSD серверів Windows Server 2012 (як треба клієнту) і з'єднуємо все це DAC між собою. Для довідки (як тут люблять) DAC кабель на 2 метри коштує близько 2000 рублів.



Драйвера встають без проблем, все заводиться майже з ходу. Ніяких помилок, все працює з коробочки. Qlogic вміє робити з себе віртуальні адаптери, це зручно для віртуалізації інтерфейсів в кластері – наприклад один для heartbeat, другий iscsi, третій для live migration, четвертий для Інтернету і п'ятий для управління всім цим. З Qlogic все можна розібрати ще на рівні віртуальних адаптерів.

IPERF
IPERF у всіх режимах показує 8,5 Гбіт для Асус і близько 8Гбит для Qlogic. Ми пробували в різній кількості потоків, включали offload, крутили розмір jumbo frame – різниця в межах статистичної похибки.
ASUS:


Qlogic:


Включаємо прямо сервера друг у друга – ті ж цифри, комутатор не вносить затримки. Це простіше простого – просто переставляємо кабель з комутатора в сервер і все включається.

10G контролери і ширина шини PCIe
Зверніть увагу – ми спочатку помітили, що Asus не розганяється вище 6 Гігабіт. Виявилося що в Интеловской матері один із слотів восьмого розміру насправді на чотири лейна. Переставили в PCIe з вісьмома лэйнами – стало відразу 8,5 Гбіт. На таких швидкостях це вже важливо, впирається в будь вузьке горлечко.


Передача файлів по SMB
Тестуємо роботу звичайної SMB-кулі в Windows – без особливих заморочок, пост не про це. Спочатку отримуємо швидкість близько 300Мбайт передачі — SSD через SATA2 більше не тягне. На матері немає SATA3, тому ставимо RAM Disk і заливаємо все туди. Тому роздаємо по мережі і картинка відразу змінюється – 609МБ в секунду. 4,7 Гб інсталяційний образ копіюється за менш ніж 8 секунд. Судячи з того, що на графіку рівна полку, ми вперлися в обмеження, і це не мережа. Розбиратися вже не будемо, 600Мб в секунду більш ніж достатньо – типова 10Гб віртуальна машина тепер зможе бути мигрирована за 16 секунд з ноди на ноду.

Висновки



Що виходить – все працює, швидко і просто. Швидкість передачі у такому рішенні близько 8,5 Гбіт/с — для більшості завдань більш ніж достатньо. Для створення 10Г мережевої інфраструктури на кластер з 10 машин треба всього 200 000 рублів або 3000 доларів, сума більш ніж підйомна. Якщо комплектувати двухпортовыми платами і двома комутаторами для резерву, то ціна питання 360 000 рублів або близько 5500 доларів.

Ми в HOSTKEY спеціалізуємося на оренді для клієнтів великих кастомних виділених серверів і кластерів на їх базі. 10GbE порт для організації VLAN на виділений сервер обійдеться всього в 2100 рублів в місяць. Якщо комутація на 10G Ethernet робиться без участі комутатора, наприклад, два сервери дивляться в один файлер з двох-портової платою – то це додасть лише 1200-1600 рублів на сервер в місяць. Зверніть увагу – в однопроцесорний 1U сервер складно одночасно поставити 10G контролер і апаратний RAID-контролер. В двопроцесорних машинах зазвичай є WIO опція, коли ставиться дві плати один над одним через райзер або одна плата ставиться попереду, як у HP DL160 або Деллах.

ПРО HOSTKEY

HOSTKEY здає виділені сервера в оренду в Москві і Нідерландах з 2008 року. Загальний парк власних серверів зараз становить 1300 фізичних машин на 5 майданчиках. Ми працюємо в сертифікованих за TierIII Московських ЦОД Датапро Авіамоторна, Даталайн Норд і на декількох майданчиках простіше. У Нідерландах стійки орендуються Serverius.nl, сервера там всі наші власні нікого не ресейлим. У цих ЦОД ми розміщуємо на коло сервера наших клієнтів і надаємо виділені сервера зі всієї мережевою інфраструктурою. Ціни – розумні, ми робимо все, щоб знизити свої витрати і запропонувати клієнтам економічно доцільні умови в цей непростий час. Якщо потрібно щось особливе – звертайтеся, ми завжди допоможемо.

Промокод на 10% знижки до кінця серпня 2015 року для читачів — HABR170815

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.