Віртуальний суперкомп'ютер на вимогу

Віртуальний суперкомп'ютер (vSC) — це сучасна альтернатива використанню власних суперкомп'ютерних потужностей для наукомісткого бізнесу і наукових груп при вирішенні ресурсномістких завдань. У процесі бурхливого розвитку хмарних технологій клаудизация почала проникати в найбільш складні IT-сфери — суперкомпьютинг та розподілені обчислення. Один з можливих підходів до задачі клаудизации HPC реалізований компанією HPC HUB.

КДПВ

Введення
Високопродуктивні обчислювальні кластери (ВВК) застосовуються як в чистій науці, так і в наукоємний бізнес в різних сферах:

  • біоінформатика (розшифровка та аналіз геномів, системна біологія, розробка нових ліків, у т. ч. індивідуальних);
  • моделювання родовищ і обробка сейсмічних даних у Oil&Gas і майнинге;
  • ресурсномістка аналітика і BigData;
  • у промисловості для вирішення завдань гідро — і аеродинаміки, хімічної промисловості, розробки нових композитних матеріалів і т. д.
ВВК почали інтенсивно розвиватися в кінці 90х як коммодити-альтернатива великим суперкомпьютерам (мэйнфреймам), що поставляються провідними фірмами IT ринку, такими як IBM, SGI, DEC, Sun, HP, Cray, NEC, Hitachi, Siemens, Bull і т. д. Найбільш яскраве відміну ВВК від традиційних суперкомп'ютерів в кінці 90х — це відсутність єдиної ОС і, як наслідок, інша структура організації обчислювальної системи.

NSCC
Незважаючи на відносну дешевизну ВВК (в середньому в десятки разів при інших рівних) порівняно з традиційними суперкомп'ютерами, ці системи є дуже дорогими у використанні:

  • Вони вимагають обслуговування командою висококваліфікованих фахівців, спеціального майданчика з охолодженням, безперебійним живленням, високошвидкісним мережевим підключенням.

  • Інтеграція лічильного ЗА і установка супроводжуючого софта (перемикання оточення, компілятори, бібліотеки, планувальник і т. д.) на кожен конкретний ВВК — це окрема непроста задача, яка часто виявляється набагато складніше, ніж уявлялося спочатку (що взагалі типово для інтеграції).

  • Вартість ліцензій комерційного кластерного може багаторазово перевищувати вартість самих кластерів (наприклад, в геофізиці вартість ліцензії на комерційне може починатися з US$ 40 тис. за 1 обчислювальний вузол на рік).
Таким чином, навіть відносно невеликі ВВК з десятком-другим вузлів, мережею малої латентності і системою зберігання даних є вкрай дорогими інструментами доступні компаніям з солідними IT бюджетами (для прикладу типовий кластер на 1000 ядер може коштувати близько US$ 500 тис. при річному обслуговуванні в US$ 100-150 тис.). Але навіть у разі великих IT бюджетів купівля та запуск кластера займають місяці, а на ВВК загального користування виникають проблеми налаштування та організації доступу до нього.

Сучасні хмарні провайдери орієнтовані, як правило, на продаж одиночних віртуальних серверів, або на невеликі їх групи, але ніяк не на здачу в оренду часу на ВВК або їм подібних систем. У результаті сформованих тенденцій, динамічні малі та середні компанії практично позбавлені можливості короткострокової оренди ВВК для своїх потреб (наприклад, апробації та впровадження пілотного обчислювальних технологій, систем моделювання в свій бізнес, зняття пікових навантажень в разі наявності невеликих власних потужностей тощо).

logo
Віртуальний ВВК від HPC HUB
Ми HPC HUB вирішили спрямувати свої зусилля на вирішення завдань нішевого споживача, яким потрібен невеликий ВВК на 10-20 вузлів з мережею малої латентності і системою зберігання даних терабайтного класу в короткострокову оренду (доба, тиждень, місяці), у монопольному режимі. Основною послугою є здача в оренду віртуального ВВК (друга назва: віртуальний суперкомп'ютер — vSC). З точки зору користувача vSC являє собою звичайний кластер, що складається з головного керуючого вузла, кількох оснащених мережею малої латентності обчислювальних вузлів і сховищем об'ємом від 50ГБ до 10ТБ, реалізованим на GFS2. Вузли мають доступ в Інтернет через NAT, доступ на керуючий вузол ззовні відкрито по 22 порту, який направляється на порт тунельної віртуальної машини.

scheme
Різні vSC ізольовані один від одного, таким чином користувач має повний контроль над установленим у vSС, тобто може його налаштовувати і модифікувати на свій розсуд. Базові образи vSC побудовані на CentOS 7.1, використовують драйвера IB OFED 3.3 і систему управління завданнями SGE 8.1.3. Після закінчення роботи користувач може зробити снапшот стану керуючого вузла і одного з обчислювальних вузлів. Даний снапшот може бути використаний для запуску наступного примірника vSC користувача. При цьому снапшот vSC може масштабуватися на будь-яку кількість обчислювальних вузлів.

Реалізація vSC побудована на базі хмарного ЗА OpenStack і системи зберігання даних Ceph. Віртуальні машини користувальницьких вузлів управляються гіпервізором KVM. Для віртуалізації мережі малої латентності використовується технологія SR-IOV. У віртуальні машини рахункових вузлів імпортується одна з віртуальних функцій Infiniband адаптера.

room
Такий підхід дозволяє досягти мінімального зростання латентності виртуализированного Infiniband – 1.09 мкс латентність IB VF проти 0.85 мкс у Infiniband без віртуалізації. Топологія і характеристики процесорів віртуальних рахункових вузлів зроблені якомога більше схожими на фізичні вузли, підтримуються NUMA розширення. Типові узагальнені для всіх вузлів примірника vSC швидкості обміну c GFS2 складають 1.5-2 Гб/с для читання, 350-450 Мб/с на запис, 10,000-12,000 IOPS.

Оренда і розгортання vSC може бути здійснена протягом декількох хвилин з сайту hpchub.net. Мінімальний період часу оренди становить одну добу, але ми плануємо здійснити перехід на більш дрібні періоди тарифікації найближчим часом у міру росту нашого хмари. Таким чином знімається неприємне обмеження пов'язане з великим часом організації доступу до суперкомпьютерным потужностей.

Висновки
Віртуальний обчислювальний кластер HPC HUB надає користувачам можливість доступу до ВВК терафлопного класу без істотних тимчасових витрат і необхідності початкових інвестицій. При цьому користувач може настроювати ЗА даного ВВК виключно під свої задачі, що набагато простіше аналогічних процедур на системах загального користування. Крім свого прямого призначення – виконання обчислень, наш віртуалізований ВВК відкриває для низку суттєвих, раніше відсутніх на ринку можливостей:

  • використання виртуализированного ВВК для розробки і тестування програм;
  • використання ВВК як швидкого і легко масштабується демо майданчика;
  • використання ВВК для продажу кластерного ЗА «вроздріб» (короткострокова оренда).
areasВіртуальний суперкомп'ютер буде особливо корисний для розповсюдження та продажу кластерного ЗА його виробниками в раніше недоступних сегменті малих і середніх підприємств. Такі можливості як:

  • гнучкість,
  • легке масштабування,
  • передвстановлене складне кластерний з можливістю оренди ліцензій на дане ПЗ з малим квантом часу

Допоможуть охопити виробникам кластерного не тільки користувачів з великими ІТ бюджетами в пікових навантаженнях, але і різних користувачів з разовими проектами, включаючи стартапи, венчурні підприємства, і навіть користувачів з академічного середовища та державних установ.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.