чи Є майбутнє у InfiniBand на Hadoop?



Hadoop був створений для запуску на чіпах комп'ютерів широкого вжитку з мережевим підключенням з низькою швидкістю. Але Hadoop кластери стали більше і організації перевищили ліміт потужності. Для вирішення проблеми були знайдені спеціалізовані рішення такі як твердотільні накопичувачі та мережі InfiniBand, у яких є запас зростання.

InfiniBand світу був представлений в 2000 році як мережевий протокол, який був швидше ніж TCP/IP — початковий мережевий протокол в мережах Ethernet. Завдяки використанню прямого доступу до пам'яті (Remote Direct Memory Access (RDMA) InfiniBand дозволяє безпосередньо записувати/копіювати дані з пам'яті віддаленого комп'ютера, обходячи операційну систему і можливі затримки.

Ви можете отримати 40гигабит/с пропускної здатності на порте InfiniBand QDR (Single Data Rate), який зараз найбільш широко використовується. Це в 4 рази більше стандартної ширини каналу в 10Gigabit Ethernet (10GbE). Ви отримуєте зростання у швидкості при агрегировані портів (в тому числі і Ethernet).

Протокол Ethernet спочатку займав домінуючу позицію при виборі для переважної більшості ентерпрайз-мереж. В цей час InfiniBand поступово впроваджувався на ринку високопродуктивних комп'ютерних систем, супершвидкість InfiniBand і відсутність затримок давали перевага цього протоколу у великих масивах паралельних кластерів. Більше ніж 50% суперкомп'ютерів з ТОП 500 минулого року використовують InfiniBand. Цей протокол люблять високошвидкісні біржі, різні фінансові сервіси та інші великі користувачі портів InfiniBand, найчастіше використовується обладнання InfiniBand виробників Mellanox і Intel.

Але коли протокол InfiniBand був впроваджений на Hadoop, він показав меншу продуктивність, в порівнянні з показниками InfiniBand в середовищі суперкомп'ютерів. Цьому є кілька причин. Багато рішень були спозиционированы в бік Ethernet на більшості ентерпрайз-ринків. Також зіграло свою роль сприйняття InfiniBand як чогось екзотичного і дуже дорогого (що не завжди правда).

Це не новина, що InfiniBand на Hadoop далеко не мейнстрім. У всіх розповсюджувачів платформи Hadoop є підтримка Hewlett-Packard, IBM і Dell. Ці вендори також підтримують InfiniBand у відповідних впроваджень. Якщо ви подивіться на чому побудовані впровадження, які використовують близько 20% інтеграторів Hadoop, ви дізнаєтеся, що і Teradata, Oracle і підтримують InfiniBand

Чому обирають InfiniBand
Кілька цікавих моментів, на що варто звернути увагу при використанні InfiniBand через 10GbE. Є одна людина, хто може бачити зсередини багато моментів використання InfiniBand-on-Hadoop. Це Панда Дабалесвор, професор Школи комп'ютерних наук та інжинірингу Університету Огайо і глава дослідницької групи Network-Based Computing Research Group.



Архітектура високопродуктивних систем обробки даних (HiBD) для бібліотек InfiniBand для розподіленої файлової структури Hadoop (HDFS)

Панда керує проектом HiBD в університеті Огайо, де розробляє, розвиває та підтримує проект бібліотек для Hadoop версії 1 і 2 (HDFS і MapReduce). Вони підтримують нативний RDMA, що використовуються для обміну даними в InfiniBand. Apache Hadoop і Hortonworks зараз підтримуються в плагіні для Cloudera. Дослідники також написали код для підтримки InfiniBand в БД з підтримкою кешування оперативної пам'яті. Цей код також працює в бібліотеках, підтримують Apache Spark і HBase.

Панда проводив дослідження в середовищі комутованих суперкомп'ютерів протягом 25 років і працював з InfiniBand з тих пір, як він з'явився, підтверджує, що InfiniBand не сильно поширений в середовищі платформи Hadoop, але він очікує, що це зміниться в найближчому майбутньому.
«В середовищі суперкомп'ютерів стався технологічний прорив. Але в середовищі enterprise у них є деякі недоліки», — сказав Панда порталу Datanami. «З т. з. ентерпрайза вони його наздогнали. Так що нам потрібно почекати 1-2 роки, щоб побачити більш широке використання InfiniBand так сказати «в народі».

З тих пір як архітектура HiBD інтегрувала першу бібліотеку InfiniBand кілька років тому, пакет був викачаний більше ніж 11 000 разів. За даними сайту групи, його використовують більш ніж 120 організацій по всьому світу.

Також він зазначив, що загальна тенденція у всіх впровадження InfiniBand — це бажання домогтися максимальної масштабованості та продуктивності уникаючи вузьких шийок введення-виведення. «Традиційно [Hadoop] розроблявся Ethernet, але навіть якщо у вас буде 10GbE, особливо у великих масивах даних, ви будете шоковані. Це саме та інфраструктура, де вигоди нашого проектування стали явні, так що ви дійсно можете максимально гнучко масштабувати ваші програми та отримати максимум продуктивності і скалируемости від них» — сказав дослідник.

«Загальне оману в співтоваристві Hadoop щодо InfiniBand, що він занадто дорогий і дуже «хороший» для кластерів в недорогих, найбільш поширених пристроях. Це так, якщо у вас маленькі складання. Але для кластерів побільше InfiniBand економічно набагато вигідніше ніж Ethernet

«Якщо ви йдете в зовсім великі кластерні системи, InfiniBand FDR набагато ефективніше і вигідніше ніж 10GbE» — сказав професор. – «Якщо у вас кластер з 4 або 16 нод, ви не побачите різниці, але якщо у вас 1000 нод, 2000 або 4000 нод, ви побачите суттєву різницю у вартості».

«Як і в гонці машин, де загальну швидкість уповільнюють самі повільні машини, в Hadoop, кластери можуть працювати не швидко через повільних частин структур», – сказав Панда. «У вас може бути дуже хороше обладнання, але якщо у вас слабкі шини, ви не отримаєте всіх вигод технології. Ми бачимо, що введення/виведення і мережу повинні бути збалансовані для отримання найкращої продуктивності».

Застереження щодо Hadoop
Досі змінна швидкість в мережі відіграє головну роль для продуктивності Hadoop, є й інші не зовсім очевидні фактори. Як завжди, диявол криється в деталях.
У липні цього року Microsoft і Barcelona Supercomputing Centre запустили проект Aloja для того, щоб встановити специфікацію для продуктивності платформи Hadoop. Цей проект визначив більш ніж 80 параметрів Hadoop, які впливають на продуктивність. Включаючи фактори, пов'язані з фізичним обладнанням: таким як розмір пам'яті, тип сховища і швидкість мережі, так софтверні фактори: кількість менеджерів пам'яті і перетворювачів даних, розмір блоку HDFS і розмір віртуальних машин.

Дослідники проекту побачили, що просте додавання InfiniBand в структуру ніяк не впливає на продуктивність Apache Hadoop, яку вимірюють в бенчмарк-тестах. Однак, додавання InfiniBand в диски SSD в тій же мережі показує приріст продуктивності в 3,5 рази в порівнянні з SATA і Gigabit Ethernet. У теж час, просте додавання дисків SSD в гігабітної мережі Ethernet, збільшує продуктивність лише в 2 рази.

Це перегукується з думкою професора Панди: — «Що вийде, якщо ви будете використовувати диски SSD? Ваша швидкість вводу-виводу збільшиться, але це також означає, що у вас повинна бути високопродуктивна мережу. При використанні Ethernet від 1 до 10 гігабіт вигоди очевидні, але з InfiniBand ви отримуєте більше переваг, так як в самій основі цієї технології є можливість більше навантажувати вашу мережу. Це означає, що ви отримаєте найкращі рішення, такі ж як, наприклад, RDMA, які будуть краще працювати на мережах такого типу».
Не всі піддаються «чарівності» InfiniBand. Ерік Самер, нинішній CTO і співзасновник Rocana, у своєму пості на сайті Quora наводить аргументи на користь 10GbE.

Ерік вважає, що InfiniBand сильно перевищує вимоги звичайних користувачів – «Факт в тому, що як тільки ми переходимо до більшості всіх сумісних рівнів ІТ-інфраструктури, з'являється перевитрата потужності. У ряді багатьох причин я даю не втішні прогнози, актуальна ширина смуги пропускання закінчиться в районі 25Gb на одну IP-адресу, через порт 4X QDR 40Gb». (Чесно кажучи, ті бібліотеки, які розвиває Панда в середовищі HiBD, вже спочатку підтримують InfiniBand, що виключає службовий потік даних).



Порівняння продуктивності Hadoop на 10GbE, і InfiniBand через IP і бібліотеку HiBD для нативного InfiniBand QDR.

Саммер говорить про своєму розгорнутому Hadoop 10GbE (можливо через виту пару). «Повсюдність Ethernet – це факт, від якого не відмахнутися, і з такими платформами, як Hadoop, я схильний говорити про те, що краще робити ставку на ті технології, які розвивають мережеві технології і полегшують передачу даних (Cloudera Impala, відбуваються зміни Tez в Apache Hive тощо). Я твердо впевнений у тому, що ті ж самі дані з кеша можна використовувати при передачі в більшій кількості пакетів, і це оптимізує передачу моїх даних з датацентру до одержувачу на тій стороні».

Заявка RoCE
Також InfiniBand конкурує з новою технологією, яка претендує дати ті ж вигоди що і InfiniBand, але через Ethernet. Називається це RDMA через конвергентну мережу Ethernet (RDMA over Converged Ethernet — RoCE) і показує більш швидку пропускну здатність і менші затримки ніж традиційний Ethernet.

Група дослідників професора Панди також розвиває бібліотеки RoCE для свічів та мережевих Hadoop пристроїв і для рішень, які підтримують кешування пам'яті. Mellanox підтримує протокол RoCE і протокол InfiniBand у своїх пристроях.

Яку технологію для з'єднання не вибрали користувачі, професор Панда радить добре подумати і зважити всі за і проти різних варіантів – «Питання в тому, яке необхідно якість маршрутизації і управління. Якщо організація відчуває себе комфортно з хорошим сисадміном, який розбирається в Ethernet, варіант з RoCE для них краще. Але якщо деякі організації мають хорошу компетенцію InfiniBand, то тут не може бути мук вибору між InfiniBand або RoCE».

Зростає обсяг даних, і у компаній виникає необхідність у більш швидкому аналізі цих даних. Це змушує їх будувати нові кластери – великі і швидкі — з дисками, SSD і багатоядерними процесорами. Стає очевидним, що підхід RDMA – або InfiniBand або RoCE – повинен бути адаптований організаціями, що займають великими даними з високим ступенем навантаження.

Посилання по темі:

» Unravelling Hadoop Performance Mysteries (EnterpriseTech)
» Why Big Data Needs InfiniBand to Continue Evolving
» Hadoop: що, де і навіщо
» найпопулярніша мережа для суперкомп'ютерів або Чому ми вибрали InfiniBand?



SIM-Networksнадійне хмара (InfiniBand) в Німеччині, SSD хостинг і VPS.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.