Чому ми вибрали InfiniBand?



Передмова

Пропускна здатність всередині хмари — цей пункт дуже важливий з технологічної точки зору. Це делікатний момент, дуже багато постачальники неохоче говорять на цю тему. Вони не хочуть розкривати структуру своєї мережі. Але якщо подивитися на суть питання, то від цього залежить наскільки якісну послугу ви купите у провайдера. Це багато в чому залежить від швидкості всередині хмари. Як ноди з'єднані між собою? На яких швидкостях? За якими протоколами? Сервіси багатьох підприємств цілком можуть працювати на 1 гигабите, але потрібно врахувати, що більшість провайдерів використовують 10G, і тільки самі просунуті будують свої хмари на 40G або InfiniBand 56G.

Під катом кілька думок про те, чому для нашого хмари ми вибрали саме InfiniBand.

Технологія InfiniBand сама по собі існує вже давно, її розробили і почали застосовувати в середовищі суперкопьютеров. У середовищі високопродуктивних систем, потрібно було об'єднати великі кластери сполучною шиною для швидкого обміну даними.

Завдання InfiniBand в інфраструктурі
Самому инфинибенду стільки ж років, скільки і ethernet. Цей протокол розроблявся в надрах суперсистем, відповідно, його завдання під які він проектувався, вимоги до продуктивності, затримок і архітектурі диктувалися кластерними системами. З подальшим розвитком інтернету, InfiniBand розвивався не так бурхливо, швидше за все з тієї причини, що цей стандарт досить нішевий.
Зараз, із зростанням хмарних технологій, які вже вийшли так сказати «до народу», коли хмари вже використовуються не тільки в высоковычислительных системах, але використовуються на споживчому рівні – тут InfiniBand знайшов друге дихання.

Цей протокол не тільки виріс в продуктивності, але і став вже досить масовим, раніше навіть у високопродуктивних середовищах швидкість обміну даними була значно меншою — 4, 8 гігабіт. На сьогоднішній день 56 гігабіт – це поточний стандарт, який вже став поширеним. Зараз виробники InfiniBand обладнання, такі як Mellanox, продають обладнання з пропускною здатністю 100 гігабіт.

Такими темпами InfiniBand вендори найближчий рік можуть випустити ще більш швидке обладнання. Основні переваги протоколу InfiniBand – це велика пропускна швидкість, і, найголовніше, — низькі показники затримки. Сам стандарт і обладнання дозволяють передати пакет у 10 швидше ніж ethernet. Для високопродуктивних комп'ютерів і сучасних систем передачі даних це зіграло велику роль.



Наступним важливим моментом є те, що ця технологія вже вдосконалена в тих середовищах, де вона була розроблена. Цей стандарт вже має, так би мовити, «правильну» архітектуру plug-in-play – все досить автоматизовано: побудова дерева, інфраструктури і т. д. Тому від інженера не потрібно великої кількості рухів по налаштуванню. Крім того, в самому протоколі вже закладено запас відмовостійкості.
Звичайно, Ethernet всі ці можливості також присутні, але реалізується цілою пулом технологій – які все треба налаштовувати окремо, і які потрібно перевірити і відтестувати на сумісність. Інженеру, при роботі з Ethernet необхідно враховувати більшу кількість частин інфраструктури.



Melanox також позиціонують обладнання InfiniBand гиперконвергентное — все їхнє обладнання можна використовувати як для InfiniBand мережі так і для ethernet-мережі Ethernet реалізується поверх InfiniBand мережі. Це означає, що не буде необхідності ставити різні комутатори для різних мереж – ми ставимо одне пристрій і виділяємо групу портів як san, другу групу портів буде Ethernet 40 гігабіт. Ця тенденція йде з середовища народження протоколу — гиперконвергентных інфраструктур. Таким чином в одному пристрої поєднується максимальна кількість ролей — обладнання уніфікується. Разом з тим, потрібно сказати, що при всіх інших рівних, InfiniBand – як технологія, проста, в ній немає безлічі інших функцій, які є у стандарту ethernet.

Зараз протокол InfiniBand активно використовується на рівні san мережі в хмарних середовищах.
В даний момент ми проектуємо і плануємо впровадити другу архітектуру нашого хмари, де будемо повністю переходити на гиперконвергентную інфраструктуру – InfiniBand буде і на рівні san-мережі і на рівні wan-мережі. Якщо порівнювати це обладнання з звичайними комутаторами – швидкість вище з меншими затримками (що дуже актуально для високонавантажених додатків). Якщо говорити в цифрах, то при використанні ethernet-протоколу затримки йдуть порядку 20-30-40 мілісекунд, то в InfiniBand – затримка 1-2 миллсекунды.



У своїй хмарної інфраструктури, в наших дата-центрах, ми використовуємо обладнання Mellanox 56 гігабіт. Поки що ми не розглядаємо переходу на 100 гігабіт, так як для наших завдань 56 гігабіт – вистачає з запасом, і є резерв на майбутнє. Ми вибрали саме цей протокол з кількох причин:
  • універсальність;
  • гиперконвергентность;
  • вартість;
  • можливість зростання.
Mellanox, як виробляти InfiniBand обладнання робить, на наш погляд, найбільший внесок у розвиток цього протоколу: впроваджує багато нових функцій, і покращує сам протокол. До речі сказати, багато виробників або просто брендують платформу Мellanox, або беруть чіпи меланокса, і впаюють їх у своє обладнання.



На даний момент на ринку присутні системи all-flash, побудовані на швидких флеш-дисках. Але для такого роду систем необхідна швидка середовище для передачі даних. При недостатній швидкості обміну між сховищами, споживачі послуги не отримають дані на хорошій швидкості, тоді втрачається весь сенс у швидкій флеш-пам'яті (подібно до того, як для дуже швидкої машини, потрібна дуже хороша дорога). Часто лунають думки про те, що 50% завдань ІТ досі не вимагають таких божевільних швидкостей. Флеш-накопичувачі добре себе показують там, де є великі бази даних, і потрібна висока продуктивність для швидкої вибірки даних, там, де адміни найчастіше скаржаться – «потрібно більш потужні процесори… швидше диски...». Також великій швидкості високопродуктивного сховища потребують вирішення типу DaaS, VDI, наприклад, коли всі віртуальні машини звертаються до сховища, що призводить до т. зв. бутсторму і зависання сховища. Для інших завдань, як-то: термінальні сервери, поштові сервери – там вистачає швидкості дисків SSD і SATA. Тому ми вважаємо, що платити за непотрібну швидкість – немає необхідності.

Чому ми вирішили використовувати InfiniBand?
У нас стояло завдання побудувати досить масштабоване сховище – і був варіант класичного сховища – FiberChannal + звичайні стореджи. Або ж можна було дивитися в бік новомодних SDS (Sofware Define Storage) – більш детально вивчаючи цю технологію стало очевидно, що при цьому варіанті побудови інфраструктури важлива не скільки пропускна здатність (в середньому вистачає і 15 гігабіт на канал), але потрібні були дуже низькі затримки передачі пакетів. Так, є ethernet-комутатори, які вміють робити затримки, як і у InfiniBand – але це такі великі «комбайни» – які нам ні за ціною, ні за потрібним завданням не підходили (на наш погляд це обладнання не зовсім підходить для сторедж-мережі, а більш зручно для використання в van-мережі. Було прийнято рішення взяти на тест обладнання InfiniBand Mellanox. Після успішних тестів, обладнання було встановлено в нашій ІТ-інфраструктурі.

Nota Bene: Під час тестів, відзначили, що в презентаціях Mellanox не було «чистого» маркетингу – всі характеристики обладнання повністю відповідали заявленому функціоналу.

Корисні посилання:
InfiniBand в питаннях і відповідях (eng)
Як ми переводили хмара з 10G Ethernet на Infiniband 56G
Infiniband: матриця для даних
Про InfiniBand: як ми зменшували пінг з 7 мкс до 2,4 мкс (і результати тестів)


SIM-Networksнадійне хмара в Німеччині, SSD хостинг і VPS
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.