Хмарні обчислення другого покоління: Система CLAVIRE

Під катом у цьому матеріалі — розповідь про те, що таке AaaS, чому модель Application as a Service вважається більш перспективною, ніж знайомі нам SaaS, PaaS і IaaS, і як розробники і вчені Університету ІТМО реалізують таку модель в рамках проекту CLAVIRE.


Torley / Flickr / CC

AaaS: хмарні технології другого покоління
Сьогодні технології хмарних обчислень дають користувачеві можливість отримувати мережевий доступ до масиву інформаційних ресурсів (мереж, віддалених серверів, додатків і сервісів), які можуть бути швидко зарезервовані і надані провайдером з мінімальними зусиллями.

Для розвинених хмарних середовищ характерна інтеграція різних бізнес-моделей, що пов'язано з орієнтацією на конкретні потреби користувачів в різних областях діяльності. Для їх класифікації та аналізу використовується модель становлення хмарних обчислень Cloud Computing Maturity Model (CCMM), яка включає в себе п'ять рівнів розвитку, представлених на схемі нижче.



Хмарні технології I і II покоління в логіці CCMM. Джерело: Хмарні обчислення другого покоління: композитні програми, інтерактивні системи та семантичні технології / А. В. Бухановский, С. В. Ковальчук

Згідно CCMM виділяють хмарні обчислення першого і другого поколінь. Технології першого покоління відповідають рівням I—III і покривають три відомі бізнес-моделі — це IaaS, PaaS, SaaS. Технології другого покоління включають в себе рівні IV і V і орієнтовані не тільки на надання користувачам окремих сервісів мережі інтернет, але і на управління цілої екосистемою обчислювальних, програмних і інформаційних ресурсів.

Це дозволяє вирішувати комплексні завдання, пов'язані зі спільною діяльністю декількох користувачів. Технології хмарних обчислень другого покоління реалізують перспективну модель хмарних обчислень AaaS (Application as a Service), основною послугою у межах якої виявляється розробка і використання композитних додатків (це сукупність взаємодіючих хмарних сервісів, спрямованих на вирішення однієї задачі).

Така концепція втілена у багатофункціональної інструментально-технологічної платформі (МІТП) CLAVIRE (CLoud Application VIRtual Environment), розробленої НДІ Наукомістких комп'ютерних технологій Університету ІТМО в рамках реалізації проекту постанови Уряду РФ, пов'язаного з підтримкою розвитку кооперації вищих навчальних закладів та організацій.

Основні завдання МІТП — ефективне управління обчислювальними, інформаційними та програмними ресурсами розподілених неоднорідних обчислювальних інфраструктур, а також побудова корпоративних хмарних інфраструктур.

Що може CLAVIRE
Платформа CLAVIRE забезпечує доступ до пакетів прикладних програм, що функціонують на віддалених обчислювальних ресурсах. В даний час в базу пакетів CLAVIRE включені 65 програмних комплексів за такими напрямками як гідроаеродинаміка, нанотехнології і квантова хімія, аналіз і моделювання соціальних систем і транспортної інфраструктури, гідрометеорологія, суднобудування та біоінформатика (це означає, що на платформі CLAVIRE вже можна вирішувати ряд складних багатофакторних задач у цих областях — наприклад, прогнозувати ймовірність настання нагінних повеней у Санкт-Петербурзі).

Крім того, CLAVIRE забезпечує виконання багатоцільових розрахунків в пакетах SciLab, WEKA (демонстраційні пакети, доступні для публічного використання через інтерфейси CLAVIRE, можна знайти на посилання).

Також платформа CLAVIRE дозволяє конструювати композитні програми — комплекси, які взаємодіють для вирішення загальної задачі. Колекція композитних додатків для різних предметних областей надана фахівцями НДІ Наукомістких комп'ютерних технологій НДУ ІТМО і на сьогоднішній день містить кілька моделей.

Серед них слід відзначити додаток для розрахунку розподілу температури та масових швидкостей в обсязі конвекційного шару, композитне додаток для розрахунку характеристик хитавиці судна і додаток для рішення задачі розрахунку динаміки розповсюдження ВІЛ.



Рішення задачі розрахунку розподілу температури та масових швидкостей в обсязі конвекційного шару базується на моделюванні динаміки наночастинок в середовищі методом молекулярної динаміки і чисельному моделюванні процесу конвекції методом кінцевих елементів (використовувані пакети: VMD, NAMD, Comsol, MDlogAnalyst, ComsolInitialise, інтерпретатор Ruby)

Як це працює
Самі обчислення виробляються на потужностях Amazon EC2, OpenStack, з використанням грід-обчислень. Грід-обчислення — це різновид паралельних обчислень, які виконуються із застосуванням звичайних комп'ютерних систем, підключених до мережі і об'єднаних в «віртуальний суперкомп'ютер».

В системі CLAVIRE використовується проект ГридННС (грід-система для «Національної нанотехнологічної мережі», реалізована в російських суперкомп'ютерних центрах). Грід-мережу суперкомп'ютерів управляється базовими грід-сервісами, розташованими в основному і резервному центрах управління, завдання яких — координувати роботу ресурсів системи і в той же час бути прошарком між користувачами і грід-інфраструктурою.



Обчислювальна інфраструктура. Джерело: CLAVIRE Хмарна платформа для високопродуктивних обчислень / А. В. Бухановский

Для керування запуском задач на багатопроцесорних установках використовуються такі рішення як PBS, Torque, Windows HPC та Condor. Доступ до ресурсів здійснюється за SSH або через веб-сервіси, а в якості операційних систем використовуються ОС Windows і Unix-подібні системи. Що стосується інструментів віртуалізації, то в CLAVIRE застосовуються додатки VirtualBox і рішення VMware та KVM.

Організація процесу створення і виконання композитного програми під управлінням МІТП зводиться до послідовної формалізації наборів описів в термінах потоків завдань (workflow, WF). На верхньому рівні опису програми розташовується мета-WF. В ньому окремі блоки містять лише вказівки для виконання розрахункових завдань.

Таким чином, MWF представляет собою формальний опис користувальницької задачі в термінах предметної області, без вказівок на умови її реалізації. Крім опису дій і даних, необхідних для обчислень, користувач має можливість задавати критерії та встановлювати обмеження, за якими буде вестися підбір ресурсів і конкретних сервісів.



Композитне додаток у вигляді WF. Джерело: Хмарна платформа для високопродуктивних обчислень / А. В. Бухановский, С. В. Ковальчук

Проектування композитного програми при указани вихідних даних являє собою процес поетапного уточнення MWF через стадії абстрактного (АВФ) і конкретного WF (cwf українська), аж до створення конкретних сценаріїв запуску сервісів у хмарі. На першому етапі проектування композитного програми формується MWF. Користувач здатний вибирати класи сервісів, які будуть використовуватися при підборі сервісів.



Принципова схема створення і виконання композитного програми. Источник: CLAVIRE: Перспективна технологія хмарних обчислень другого покоління / А. В. Бухановский, Ст. Н. Васильєв, Ст. Н. Виноградов та ін

Далі формується WF, в якому будуть зафіксовані конкретні реалізації обчислювальних сервісів. Наступним етапом проектування є складання розкладу і сценарію виконання в термінах cwf українська. Для блоків дій зазначаються сервіси та сайти для виконання, а для блоків даних — конкретне місце розташування інформації.

На малюнку вище представлена принципова схема створення і виконання композитного програми під управлінням МІТП.

Де це працює
В якості прикладу роботи CLAVIRE можна привести систему, яка моделює поведінку натовпу на стадіоні під час футбольного Чемпіонату Світу або інших масових заходів. Модель враховує особливості натовпу, такі як її соціальна структура, і зовнішні фактори, наприклад погодні умови і політичну обстановку. У результаті вчені бачать наочну картину поведінки людей в заданих умовах:



За допомогою програмної системи можна відтворити будь-яку територію і зовнішні умови, а потім помістити в цю середу певну групу людей. Це відкриває величезні можливості для досліджень. Можна, наприклад, змоделювати землетрус в конкретному сейсмічно небезпечному регіоні під час якогось свята, коли на вулицях міста знаходяться тисячі людей.

Сергій Іванов, керівник міжнародної лабораторії «Міська інформатика» Університету ІТМО пояснив, що для базової роботи моделей вистачить звичайних камер зовнішнього спостереження в різних точках території. Це дозволить налаштувати модель під реальну ситуацію, просто виділивши групи людей з відеоряду і спроектувавши їх на модель.

Польове дослідження з використанням технології не так давно було проведено співробітниками Університету ІТМО спільно з колегами з інших країн. Об'єктом дослідження став релігійний фестиваль Кумбха-мела» в Індії. Протягом місяця дослідники спостерігали за паломництвом близько 70 млн людей до святих місць.



Сфери застосування МІТП. Джерело: Хмарна платформа для високопродуктивних обчислень / А. В. Бухановский, С. В. Ковальчук

Своє застосування комплекс знаходить і в медицині, коли його завданням стає поліпшення системи охорони здоров'я. Системи підтримки прийняття рішень стають програмними асистентами лікарів на всіх етапах роботи з пацієнтами. Вони дозволяють узагальнити величезний звід даних про кращих лікарських практиках і розробити більш ефективні методи лікування і проведення операцій.

P. S. Якщо вас зацікавила система, комплект технічної документації, методики використання комплексу CLAVIRE, програмні та експлуатаційні документи, і початкові навички роботи з платформою можна отримати тут. А познайомитися з CLAVIRE ближче і попрацювати з системою самостійно можна тут.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.