Система Hyperwall від НАСА тепер використовує СГД vFlash

Hyperwall НАСА — це відеостіна, що складається з величезного масиву моніторів і здатна відображати безліч зображень у високій якості одночасно. Ця установка потрібна агентству для візуалізації феноменів, ідей і змін, що відбуваються в світі і мають відношення до астрофізиці, гелиофизике і планетоведению. Для цього використовуються дані, одержувані НАСА з телескопів і супутників.

Обчислювальна ферма НАСА розташовується в Дослідницькому центрі Еймса. Там ведуться роботи над проектом HECC, який дозволяє вченим і інженерам проводити симуляції, моделювання та аналітичні роботи у великих масштабах для розрахунків всіх місій Космічного агентства.


/ Flickr / Steve Jurvetson / CC

Hyperwall була розроблена як частина цього проекту. Стіна складається з 16 колонок і 8 рядків моніторів для відображення результатів симуляцій. Одним із прикладів такої симуляції може служити проект «Схема течій і кліматичних особливостей океану» (Estimating the Circulation and Climate of the Ocean, ECCO), мета якого забезпечити візуальну модель світового океану.

Подібні моделі (приклади яких ви можете знайти на посилання) включають в себе величезні зводи багатовимірних даних, що генеруються суперкомп'ютерами НАСА. Тому перед інженерами встала нетривіальне завдання забезпечення паралельного доступу до даних для всіх 128 обчислювальних вузлів, що обробляють інформацію з невизначеним числом випадкових вхідних і вихідних параметрів. В якості рішення була використана віртуальна система зберігання даних на основі NVMe-накопичувачів.

Інтерфейс NVMe спроектований з метою максимізації переваг твердотільних накопичувачів, які володіють низькою латентністю і дозволяють конвейеризировать операції читання і запису. NVMe містить цілий ряд удосконалень, спрямованих на зменшення паразитних затримок при роботі з даними в порівнянні з інтерфейсом SATA і протоколом AHCI.

Варто зазначити, що технологія NVM придбала на ринку певну популярність. І відразу кілька компаній планують налагодити (або налагодили) випуск накопичувачів класу NVMe для споживчого ринку. Toshiba і Plextor вже випустили своє рішення в маси, а продукт від Western Digital побачить світ на початку 2017 року.

Нові WD Black будуть виконані у форматі M. 2 NVMe, що передбачає використання чотирьох ліній PCI Express 3.0 із сукупною пропускною здатністю 32 Гбіт/с. Характеристики нових WD невідомі, але якщо припущення про використовуваному контролері підтвердиться, від них слід чекати швидкостей, аналогічних тим, які показують продукти інших компаній, а саме Toshiba OCZ RD400 і Plextor M8Pe.

Розробляючи систему, інженери НАСА спершу поместили кожен обчислювальний вузол флеш-накопичувач об'ємом 2 ТБ. Потім програмісти розбили дані на блоки по 2 ТБ та скопіювали їх на кожен диск. Однак потім вони зіткнулися з певними труднощами: подальша обробка повинна була враховувати розташування даних під час обчислень, що ускладнювало процес програмування. Рішенням цієї проблеми стала технологія NVMesh.


/ Flickr / Steve Jurvetson / CC

Все 128 накопичувачів 2ТД були агреговані в пул — віртуальну систему зберігання даних об'ємом 256 ТБ, доступ до якої здійснюється за RDMA. При цьому кожен флеш-накопичувач як би залишився локальним для кожного нода, але це спростило процедуру паралельного доступу до них.

Такий підхід додав 5 мкс затримки (в основному з вини мереж) порівняно з локальним розміщенням, проте виключив складності, пов'язані з програмуванням рішення. Згідно з тестами, пропускна здатність системи склала близько 140 ГБ/с. Такий підхід дозволив проводити вченим і інженерам більш швидкі і «гладкі» симуляції, підвищуючи продуктивність проведених досліджень.

Інші матеріали з блогу ІТ-ГРАД на Хабре:

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.