Вебінар: Введення в Singularity



Команда FlyElephant запрошує всіх на вебінар "Введення в Singularity", який проведе
Gregory Kurtzer (HPC Systems Architect і Technical Lead в Lawrence Berkeley National Laboratory).
Вебінар буде проходити завтра, 15 лютого, о 19:00 (EET) / 9:00 am (PST). Мова — англійська.

Читати далі →

Продуктивність мережі малої латентності InfiniBand на віртуальному кластері HPC HUB

areas
Моделювання складних фізичних процесів в наші дні розглядається як важлива технологічна можливість багатьма сучасними компаніями. Широко використовуваним зараз підходом для створення обчислювачів, здатних розраховувати складні моделі, є створення кластерних систем, де обчислювальний вузол являє собою сервер загального призначення, підключений до мережі малої латентності і керований своєї власної ОС (як правило, з сімейства GNU/Linux).

Введення віртуалізаційного шару в системне обчислювальних кластерів, дозволяє протягом декількох хвилин створювати «віртуальний кластер». Такі віртуальні кластера в рамках однієї OpenStack інфраструктури є абсолютно незалежними. Користувальницькі програми всередині них можуть бути змінені так, як потрібно користувачеві без будь-яких погоджень з ким-небудь, а логічні пристрої, на яких знаходяться дані, недоступні іншим віртуальним кластерів.

Підтримка мережі малої латентності виртуализационными рішеннями являє собою окрему складну проблему. Для прикладних програм, в більшості випадків сучасна віртуалізація на основі KVM призводить до мінімальних втрат обчислювальної потужності (<1%). Однак спеціалізовані тести мереж малої латентності показують накладні витрати від віртуалізації не більше 20% на операції синхронізації.

Читати далі →

Конкурс GraphHPC-2017 на найшвидшу реалізацію завдання Betweenness Centrality


Лабораторія DISLab ВАТ «НИЦЭВТ») спільно з НИВЦ МДУ проводять четверту щорічну науково-практичну конференцію з проблем паралельної обробки великих графів з використанням суперкомп'ютерних комплексів і кластерних систем.
Мета конференції — залучення уваги до тематики завдань по суперкомпьютерной обробки графів та надання майданчика для спілкування розробників технологій суперкомпьютерной обробки графів і розробників графових додатків, обговорення перспектив даного напрямку.
Зовсім скоро, в рамках даної науково-технічної конференції GraphHPC-2017, стартує конкурс GraphHPC, присвячений проблемам паралельної обробки великих графів з використанням суперкомп'ютерів. На цей раз учасникам належить отримати найшвидшу реалізацію завдання Betweenness Centrality (Центральність з посередництва) в неориентированном графі.
Читати далі →

FlyElephant святкує перший рік роботи в публічному доступі і анонсує співробітництво з HPC-HUB



У листопаді FlyElephant святкує перший рік роботи в публічному доступі. FlyElephant — це платформа для дата сайнтистов, інженерів і вчених, яка прискорює бізнес за допомогою автоматизації Data Science і Engineering Simulation.

Читати далі →

Застосування FPGA для розрахунку деполімеризації мікротрубочки методом броунівської динаміки

Все готово, щоб розповісти Хабр аудиторії про застосування FPGA у сфері наукових високопродуктивних обчислень. І про те, як на цій задачі треба вдалося значно обскакати GPU (Nvidia K40) не тільки в метриці продуктивність на ват, але і просто з точки зору швидкості обчислення. Як FPGA платформи використовувався кристал Xilinx Virtex-7 2000t, підключений за PCIe до хост комп'ютера. Для створення апаратного обчислювального ядра використовувалася мова C++ (Vivado HLS).
Під катом текст нашої оригінальної статті. Там, як зазвичай буває, спочатку йде довгий опис навіщо це все треба і моделі, якщо немає бажання це читати, то можна переходити відразу до реалізації, а модель подивитися потім при необхідності. З іншого боку без хоча б побіжного ознайомлення з моделлю читач не зможе отримати враження про те, які складні обчислення можна реалізувати на FPGA )
Читати далі →

Створення розділяється сховища на базі CEPH RBD і GFS2

Більшість кластерних систем передбачає наявність файлової системи доступної зі всіх вузлів кластера. Ця файлова система використовується для зберігання, даних, для організації роботи деяких кластерних підсистем і т. д. Вимоги на продуктивність такої FS можуть сильно відрізнятися для різних завдань, однак, чим вона вище, тим вважається, що кластер більш стійкий і універсальний. NFS сервер на майстер-сайті є мінімальним варіантом такої FS. Для великих кластерів NFS доповнюється розгортанням LustreFS — високопродуктивної спеціалізованої розподіленої файлової системи, що використовує декілька серверів в якості сховища файлів і кілька метаинформационных серверів. Однак така конфігурація володіє рядом властивостей, які ускладнюють роботу з нею у разі, коли клієнти використовують незалежні віртуалізовані кластера. В системі HPC HUB vSC для створення поділюваної FS використовується широко відоме рішення CEPH і файлова система GFS2.
main

Читати далі →

Віртуальний суперкомп'ютер на вимогу

Віртуальний суперкомп'ютер (vSC) — це сучасна альтернатива використанню власних суперкомп'ютерних потужностей для наукомісткого бізнесу і наукових груп при вирішенні ресурсномістких завдань. У процесі бурхливого розвитку хмарних технологій клаудизация почала проникати в найбільш складні IT-сфери — суперкомпьютинг та розподілені обчислення. Один з можливих підходів до задачі клаудизации HPC реалізований компанією HPC HUB.

КДПВ

Читати далі →

Відеозапис вебінару «Інструменти для роботи Data Scientist»



Вчора наша команда провела вебінар на тему «Інструменти для роботи Data Scientist». У його рамках ми розглянули, хто такий data scientist і якими інструментами він користується. Поговорили про платформі FlyElephant і чим вона може бути корисною для роботи data scientist'а.

Читати далі →

Вебінар: Інструменти для роботи Data Scientist



Команда FlyElephant запрошує всіх 28 вересня о 16.00 на вебінар «Інструменти для роботи Data Scientist». У його рамках ми розглянемо, хто такий data scientist і якими інструментами він користується. Поговоримо про платформі FlyElephant і чим вона може бути корисною для роботи data scientist'а.

Зміст вебінару:

  • Data Science
  • Data Scientist vs Data Engineer
  • How it works?
  • Notebook / IDE
  • Methods & Algorithms
  • Software
  • Deep Learning Tools
  • Programming Languages
  • Cloud Services
  • Computing power
  • Competitions
  • FlyElephant

Зареєструватися на вебінар можна тут.
Джерело: Хабрахабр

Прискорюємо трафаретні обчислення: збірка і запуск YASK на процесорах Intel

Трафаретні обчислення знайшли широке застосування в наукових і технічних додатках. Їх використовують для розв'язання диференціальних рівнянь методом кінцевих різниць, у завданнях обчислювальної механіки.

Високопродуктивні обчислення (HPC, High Performance Computing), чи йдеться про суперкомп'ютері, або про системі, побудованої на одному-двох багатоядерних процесорах – це паралельні обчислення. Якщо алгоритм піддається розбивку на блоки, які можна обробляти одночасно, це означає, що він здатний ефективно виконуватися в паралельному середовищі. Але не тільки це важливо: не варто забувати про оптимізацію коду, що враховує, крім іншого, особливості роботи з даними на рівні окремих видів пам'яті, доступної процесорам. Зокрема, мова йде про ефективну роботу з кеш-пам'яттю.



При інших рівних умовах, распараллеленный алгоритм, який найкраще враховує особливості кеш-пам'яті, буде працювати швидше за інших. І, природно, якщо говорити про швидкість обчислень, то код, який найбільш повно використовує можливості конкретної платформи, на рівні інструкцій та архітектури процесора, виявиться у виграші. Існують спеціалізовані програмні пакети для підготовки такого коду. Один з них – YASK.

Читати далі →