Суперкомп'ютер в САФУ: освоєння Арктики чисельними методами

У сучасних технічних та інженерних вузах нерідко вирішуються цілком серйозні обчислювальні завдання, такі, що на звичайному комп'ютері будуть вважатися днями і тижнями. Потужні обчислювальні комплекси, «числогрызы», уже створили у себе десятки університетів Росії. Один з них — нещодавно побудований компаніями Fujitsu і Softline суперкомп'ютер у Північному Арктичному Федеральному Університеті в Архангельську.



Для яких обчислень був потрібен суперкомп'ютер?


Цілий ряд завдань набагато простіше розв'язувати числовими методами, ніж аналітично. Зазвичай це прикладні задачі математичного моделювання різних виробничих агрегатів, наприклад, хімічних реакторів, теплообмінників або пальника зварювального апарату. Достовірна модель дозволяє точно прогнозувати поведінку реального апарату в залежності від зміни тих чи інших параметрів роботи і вдосконалювати його. Щоб отримати достовірну модель, зазвичай потрібно не один раз звірити розрахункові дані з даними реального експерименту, внести корективи в модель, перерахувати заново. Це дуже витратним з точки зору обчислень, навіть якщо ви прораховуєте проміжні варіанти моделі з зниженою точністю. Кілька днів або тижнів розрахунків на звичайному комп'ютері — це звичайна реальність.

У САФУ такі ресурсномісткі обчислення використовуються відразу в кількох наукових і прикладних областях.

Перший напрямок — завдання в галузі молекулярної динаміки. Це, наприклад, моделювання дифузії, абсорбції, масопереносу в газових сумішах, все це розраховується з високою точністю — до поведінки сотень і тисяч молекул. На практиці тут вирішуються завдання поліпшення властивостей фільтруючих матеріалів, вдосконалення технологій розділення сумішей і очищення хімічних речовин.

Другий напрямок — гідрогазодинаміка. Це теж прикладні завдання, орієнтовані на виробництво, зокрема машинобудування. Один з прикладів — чисельні розрахунки поведінки полум'я в газовій горілці. Розрахунок швидкостей, тисків і температур у різних шарах газу, завихрень, що дозволяють в результаті удосконалити технологію зварювання, поліпшити інструменти, підвищити якість і швидкість роботи. Подібними завданнями займається філія САФУ в Северодвінську. Це кузня флоту, і там дійсно багато працюють над вдосконаленням виробничих технологій.

Третій напрямок — теплотехніка, розрахунки в області термодинаміки. Саме з кафедри теплотехніки прийшла перша задача, яку вважали на суперкомп'ютері. У студентській роботі на здобуття звання бакалавра була створена математична модель рекуператора — теплообмінника для відбору від промислових печей побічного тепла у вигляді нагрітих газів.

Крім цього, Інститут математики, інформаційних та космічних технологій САФУ активно використовує суперкомп'ютер для навчання і практичної роботи по створенню та оптимізації паралельних алгоритмів.



З чого він складається


Суперкомп'ютер САФУ відносно невеликий — в ньому 20 обчислювальних вузлів, кожен являє собою 2-процесорний сервер з 10 ядрами на кожному процесорі. Разом 40 процесорів і 400 ядер. Це не так багато в порівнянні з 1000-процесорними монстрами, але для університетського рівня дуже непогано, і цілком вистачає для вирішення обчислювальних завдань САФУ.

На восьми з цих 20 вузлів встановлені співпроцесори Intel Xeon Phi — це 60 ядерні «молотарки», схожі по функціоналу на графічні процесори nVidia. Вони дуже швидко вважають ряд специфічних завдань, в першу чергу обчислення з великими матрицями, чисельного рішення систем диференціальних рівнянь. Їх використання дає відчутний приріст продуктивності, особливо на таких специфічних завданнях, для яких вони призначені.

Хоча Intel Xeon Phi — недешеве задоволення, використовувати співпроцесори набагато вигідніше за співвідношенням продуктивність/вартість, ніж вважати ті ж завдання на звичайних обчислювальних вузлах без співпроцесорів.

Крім обчислювальних вузлів, є ще два головних сервера для постановки завдань у чергу на обчислення та адміністрування кластеру. І чотири сервери обслуговують систему зберігання, про неї детальніше трохи нижче.

Комунікації в суперкомп'ютері


В кластерах є два найбільш критичних для продуктивності фактора:

1. швидкість спілкування між вузлами,
2. швидкість доступу до великих файлів.

Сенс в тому, що програма повинна вважати, а не витрачати час на очікування операцій вводу-виводу. Саме тут вузькі місця треба ліквідувати в першу чергу.

Для обміну даними між процесами, що виконуються на різних вузлах, використовується окрема, найшвидша мережу. Це мережа InfiniBand, що має дуже велику пропускну здатність (до 56 гігабіт в секунду) і низьку затримку. Ця мережа використовується з дуже великою інтенсивністю, вона позначена на схемі рожевим.

Друга окрема мережа (позначена на схемі помаранчевим) використовується системою управління завданнями для підключення до сервера, передачі команд і службових повідомлень. Вимоги до швидкості тут набагато нижче, ніж у першій мережі.

І третя мережа, позначена на схемі зеленим, — ця технологічна мережа для обслуговування апаратних компонентів. Сучасні сервери дозволяють керувати собою на апаратному рівні незалежно від встановленої системи. Увімкнути-вимкнути, перевірити параметри роботи апаратних компонентів, запустити діагностику, перезавантажити — все це можливо на апаратному рівні і все це виконується через цю мережу.

Зберігання даних


Мережева система зберігання Fujitsu Exabyte File System (FEFS) ємністю 60 Тбайт забезпечує пропускну здатність 1,7 гігабайти в секунду. Це набагато швидше, ніж будь-який жорсткий диск. Фізично це 2 кошика жорстких дисків, які обслуговує 4 сервера.

Файлова система FEFS містить сервер метаданих, на якому зберігаються метадані про простір імен і кілька серверів зберігання об'єктів з, власне, файлами.

Програмне забезпечення


Операційна система на обчислювальних вузлах — Redhat linux.

Система управління завданнями PBS Professional.

Система управління кластером HPC Gateway від компанії Fujitsu, її завдання — установка та переустановка обчислювальних вузлів, їх вмикання та вимикання і т. д.

З інженерного комерційного «софта» закуплена система Ansys, власне вона і відповідає за самі розрахунки.

Як це все виглядає з точки зору користувача


Є головний сервер, на який користувачі заходять, наприклад, віддалено. Через ssh вони можуть розмістити свої файли, скомпілювати їх і відправити сформоване завдання в чергу на обчислення. Це робиться через PBS Pro. Коли завдання прорахована — ви дивіться результати, і при необхідності повторіть.

І другий спосіб — відправити свої моделі вважати на суперкомп'ютер однією кнопкою з інженерної робочого середовища. Це можна з Ansys робити і з іншого інженерного ПО теж. Необхідно тільки правильно їх інтегрувати з системою управління завданнями

Як все це виглядає фізично


В центральному корпусі університету є досить велика серверна, в ній кілька рядів стійок, обладнання суперкомп'ютера розподілено на три стійки, які завантажені не повністю для оптимізації охолодження.

Обчислювальні вузли — це двопроцесорні (Intel Xeon E5-2680 v) сервери у форм-факторі 1U половинної ширини. Дві моделі: Fujitsu PRIMERGY CX250 S2 і CX270 S2 відрізняються наявністю у другій співпроцесора Intel Xeon Phi.

Стійкові сервери Fujitsu PRIMERGY RX300 і R200 використовуються для обслуговування системи зберігання та в якості головних вузлів.

Електроенергії суперкомп'ютер міг би споживає до 50 кіловат (з урахуванням охолодження і резервування живлення), це багато в масштабах міста Архангельська. На щастя, при підключенні вдалося вбудуватися в наявний резерв та інфраструктуру університету. Але взагалі у вузі велике енергоспоживання може стати проблемою.

Welcome to the club


Свій суперкомп'ютер побудували вже багато вузів Росії, їх об'єднує Суперкомпьютерный консорціум університетів Росії (http://hpc-russia.ru/), в який входить і САФУ. Головне завдання консорціуму — популяризація паралельних обчислень і взаємодопомога учасників. Якщо є необхідність щось порахувати більш ресурсномістке — ми можемо звернутися до партнерів. Результатом спільної роботи стало включення щорічної молодіжної науково-практичної школи «Високопродуктивні обчислення на GRID-системах» (http://itprojects.narfu.ru/grid/), що проходить в САФУ, в список заходів суперкомп'ютерного консорціуму.

До покупки суперкомп'ютера співробітники САФУ вважали свої завдання на кластерах інших університетів як у Росії, так і в сусідніх з північно-західним регіоном країнах — Швеції, Норвегії, Фінляндії. А зараз і колеги з інших місць користуються кластером САФУ.

Ми дякуємо за співпрацю за написання цієї статті Олександра Васильовича Рудалева, провідного інженера — програміста кафедри прикладної математики і високопродуктивних обчислень САФУ.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.