Квантовий стрибок



Терміном «квантовий стрибок», він же «квантовий перехід», описується стрибкоподібна зміна стану квантової системи. І саме цей фізичний термін асоціюється зі сформованою сьогодні ситуацією, при якій здешевлення flash-пам'яті дозволило створювати надпродуктивні СГД, які не поступаються за ємності систем на жорстких дисках і конкуруючі з ними по сукупній вартості одного терабайта. В цьому році сукупна вартість одного терабайта вперше зробить flash-системи більш вигідними.


Джерело: http://wikibon.org/wiki/v/Evolution_of_All-Flash_Array_Architectures

Важливість цього моменту важко переоцінити, його можна порівняти з швидкою зміною історичної формації. Ера панування HDD стрімко йде в минуле. І одним з вісників цього процесу стала DSSD D5 — високопродуктивне сховище стійкового класу на флеш-накопичувачах (RSF, Rack-Scale Flash).

RSF-система — це сховище спільного використання, призначений для вирішення завдань, які вимагають високої продуктивності та обробки величезних обсягів даних. Рішення подібного класу стали затребувані тому, що, незважаючи на бурхливий розвиток традиційних систем зберігання, вони не встигали встигнути за вимогами до продуктивності робочих навантажень нових типів. Світу програмно-визначаються інфраструктур стало потрібно максимально швидке електронне зберігання, яке тільки може дозволити сучасний технологічний процес. DSSD D5, по суті, і є системою, створеною для вирішення цього завдання.

У максимальній конфігурації показники DSSD D5 такі:

  • Пропускна здатність до 100 Гб/с
  • До 10 млн. IOPS.
  • Затримка ~100 мікросекунд (для додатків з інтегрованим нативним API).
  • Повна ємність до 144 Тб, використовувана — 100 Тб.
Сфери застосування
У високопродуктивних обчислювальних системах вузькими місцями сховищ є кількість операцій вводу-виводу, пропускна здатність і ємність. Головне завдання RSF-систем полягає у нівелюванні цих обмежень.

З точки зору характеру робочих навантажень можна виділити три напрямки застосування D5:

  • Високопродуктивні сховища/бази даних. До них відносяться традиційні БД зразок Oracle, а також БД з масово-паралельною обробкою. Подібні системи використовуються для обслуговування фінансових транзакцій, управління ризиками, запобігання шахрайства, управління поставками і т. д.
    • Для додатків, оброблювальних транзакції, наднизька затримка означає більшу кількість транзакцій в секунду, а отже — більше прибутку.
    • Високий рівень IOPS і пропускної спроможності дозволяє швидше виробляти бізнес-рішення або аналізувати більше даних, а значить бути більш конкурентоспроможними.
    • Виконання всієї аналітики на одному D5 дозволяє істотно економити час на переміщення даних.
  • Високопродуктивні програми на Hadoop. На відміну від традиційної пакетної обробки Hadoop, тут потрібна висока швидкість прийому і обробки даних. Зокрема, для аналізу потокової інформації в реальному часі в сферах біржової торгівлі, рекламних систем, бізнес-звітності та прогнозного моделювання на базі великих наборів даних.
    • Незалежне масштабування обчислювальних потужностей та сховищ Hadoop-інфраструктурі.
  • Високопродуктивні комп'ютерні програми. Робочі навантаження, які передбачають високу продуктивність сховища і обробку даних через швидкий API. У подібних випадках використовуються традиційні файлові системи на зразок XFS, або паралельні кластерні файлові системи. Сфери застосування: торгове моделювання, передбачення погоди, машинобудування, медичні дослідження, фармакологія, аналіз клімату і т. д.
    • Висока пропускна здатність і велика кількість IOPS дозволяють робити висновки на підставі обробки даних протягом хвилин після їх отримання, а не годин або днів.
    • При використанні паралельних файлових систем можна у 20 і більше разів зменшити обсяг інфраструктури.
    • Аналітика в реальному часі дозволяє швидше виводити на ринок нові продукти.
З іншого боку, DSSD D5 в своєму поточному релізі, не призначений для роботи з SAP HANA, оскільки це вимагає відповідної технологічної інтеграції на рівні оперативної пам'яті і подальшої сертифікації в SAP.

Архітектура



В основі DSSD D5 лежить нова архітектура, яка забезпечує більш високу продуктивність, мінімальний рівень затримки і надзвичайно високу щільність розміщення пам'яті. При цьому забезпечується рівень надійності та доступності, характерний для корпоративних систем.

Які особливості архітектури D5?

  • Вперше в індустрії застосований прямий доступ до flash-пам'яті (DMA) з сегментованими рівнями управління і даних.
  • Гнучкий доступ до даних (блок, об'єкт, ключ-значення).
  • Вбудовані комутатори (PCIe Mesh Fabric) забезпечують вкрай низький рівень затримки.
  • Система може одночасно використовуватися декількома обчислювальними вузлами.
  • Відсутня єдина точка відмови.



Блокова діаграма DSSD D5.

Можливість інтеграції в користувальницькі додатки API прямого доступу до пам'яті. Висока продуктивність системи досягається завдяки:

  • API з асинхронною архітектурою без блокувань,
  • відсутності програмних посередників у тракті передачі даних,
  • відсутності взаємодії ядра з використовуваними API і плагінами,
  • і інтенсивному розпаралелювання процесів.




Спочатку D5 буде доступний в чотирьох конфігураціях: з 18 або 36 flash-модулями по 2 або 4 Тб (тисячі мікросхем NAND-пам'яті). Таким чином, повний обсяг сховища може бути 36, 72 або 144 Тб. Всі модулі об'єднуються в RAID-масив. Доступна для використання ємність буде становити приблизно 25, 50 або 100 Тб «типовою робочого навантаження». Точний обсяг пам'яті буде визначатися розміром FLEN: чим він менше, тим більше метаданих буде в сховище. Згідно з нашими вимірами, найвищий рівень IOPS досягається при FLEN-об'єктах розміром 4 Кб, а найкраща пропускна здатність — при FLEN розміром 32 Кб.

Всі flash-модулі енергонезалежними і захищені від збоїв електроживлення. Кожен модуль підключений до PCIe-мережі за допомогою двох роздільних lane-підключень PCIe Gen3 x4, що дозволяє досягти пропускної спроможності до 8 Гб/с.


Flash-модуль DSSD D5.

Завдяки многосвязной PCIe-мережі кожен клієнт має прямий доступ до кожної з NAND-мікросхем. Це дозволило відмовитися від надлишкового копіювання при записі даних у фінальну частину пам'яті. А застосування протоколу NVMe забезпечує паралельність доступу до будь-яких частин пам'яті D5.

На відміну від традиційних архітектур, в яких управління системою здійснює процесор, DSSD D5 тракти управління і передачі даних розділені і мають у своєму управителю модулю. Ці модулі контролюють операції введення/виводу, але самі дані йдуть через модулі вводу/виводу безпосередньо між підключеними серверами і flash-модулями.


Контроллерный модуль DSSD D5.

Підключення D5 до серверів здійснюється за допомогою модулів вводу/виводу, які працюють за схемою active-active. Кожен модуль дозволяє підключити з резервуванням до 48 вузлів через lane-порти PCIe Gen3 x4 (всього 96 портів). Карти для підключення вузлів встановлені в стандартні слоти PCIe Gen3 x8 і з'єднані з модулями вводу/виводу за допомогою здвоєних мідних кабелів PCIe Gen3 x4. В майбутньому планується впровадити підтримку активних оптичних кабелів (Active Optical Cable, AOC).


Модуль вводу-виводу DSSD D5.

Двонаправлена пропускна здатність одиночного порту досягає 3,5 Гб/с, а здвоєних портів — 6,5 Гб/с. Так що теоретична пропускна здатність всієї системи становить 6,5 * 48 = 312 Гб/с. Але з-за обмежень, властивих деяким компонентів, зараз забезпечується 100 Гб/с.

Для доступу до DSSD D5 на клієнтських серверах повинно бути встановлено програмне забезпечення:
  • драйвер клієнтської карти,
  • драйвер блочного пристрою,
  • клієнтський CLI,
  • libflood-бібліотека, що використовується додатками для виклику наших API,
  • документація щодо API та CLI.

Протокол NVMe.

Нарешті, одним з дуже важливих властивостей архітектури DSSD D5 є його «ремонтопридатність»: всі основні компоненти — від карт для підключення клієнтів (серверів) до flash-модулів — резервуються і можуть бути замінені замовником самостійно. Це забезпечує дуже високий рівень доступності і відсутність єдиної точки відмови.

У сухому залишку
Підведемо підсумок всьому вищесказаному. DSSD D5 — це перше рішення в класі RSF (Rack-Scale Flash). Він призначений для вирішення завдань, дуже вимогливих до продуктивності СГД, рівнем затримки і пропускної здатності. При цьому сукупна вартість 1 Тб пам'яті DSSD D5 вже порівнянна з системами на базі HDD, а по ряду показників нове рішення перевершує більшість наявних на ринку all flash-систем з «традиційними» архітектурами.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.