Революція флеш-пам'яті

Революція флеш-пам'яті… Вона триває вже п'ять років. Причому все тільки починається. Настільки радикальних змін у технологіях зберігання, які відбуваються сьогодні, ще не було. Практично всі провідні вендори СГД за останні роки представили власні системи зберігання класу AFA (All-Flash Array), цілком побудовані на флеш-пам'яті. Твердотільні накопичувачі широко застосовуються і в серверах середнього і старшого класу, значно підвищуючи продуктивність систем завдяки низьким затримок і високій швидкодії твердотільних накопичувачів SSD (Solid State Drive) в IOPS (операцій введення-виведення в секунду).



Використання SSD помітно зменшує час завантаження операційної системи сервера, запуску програм і віртуальних машин. Накопичувачі SSD також дозволили значно прискорити роботу чутливих до затримки додатків, таких як транзакційні бази даних. У Росії такі системи успішно впроваджуються, наприклад, у страхових компаніях і банках.

Світовий ринок накопичувачів SSD
За прогнозом Transparency Market Research (TMR), світовий ринок накопичувачів SSD всіх типів до 2022 року буде зростати щорічно більш ніж на 40% і досягне 229,4 млрд. доларів. Найбільш високими темпами розвиватиметься сегмент накопичувачів SSD корпоративного класу – середньорічні темпи зростання складуть 76,3%. У числі виробників SSD різного класу — Lite-on Technology, Kingston Technology, OCZ Storage Solutions, Intel, Western Digital.


Частки вендорів на світовому ринку SSD в одиницях продукції на другий квартал 2015 року (за даними TrendFocus).



Зміна часток ринку виробників флеш-пам'яті NAND за останні шість років.



Поставки накопичувачів SSD на світовий ринок провідними вендорами в млн. штук (дані TrendFocus).


Значний вплив на ринок SSD надала пам'ять 3D NAND, застосовувана в даний час в продуктах Samsung серії 850 і 950. Інші вендори активно працюють в цьому напрямку і в наступному році масове виробництво налагодять флеш-пам'яті 3D — MLC і TLC. За оцінками SMI, вже в 2019 році вся флеш-пам'ять буде проводитися за технологією 3D.

В першому кварталі 2016 року поставки SSD в світі зросли на 32,7% рік до року (дані TrendFocus). Їх загальна ємність склала близько 10 екзабайт, на 77% перевищивши показники однорічної давнини. А середня місткість одного накопичувача збільшилася на 33%.


Частки виробників накопичувачів SSD на світовому ринку за останні квартали (дані TrendFocus).

Пристрої на основі пам'яті NAND активно витісняють традиційні накопичувачі на жорстких дисках (HDD). Продаж останніх за той же період упали на 20%. Поставки флеш-накопичувачів корпоративного класу збільшилися в першому кварталі на 69%. У світі було продано приблизно 4 млн. таких пристроїв.


Постачання продуктів SSD на світовий ринок за останні квартали по видах застосування – клієнтські (синій) і корпоративні (червоний) в млн. штук (дані TrendFocus).

Samsung, Intel і HGST – основні постачальники накопичувачів SSD корпоративного класу. Їх сукупна частка ринку становить 80%. Samsung також залишається лідером світового ринку SSD всіх типів з часткою понад 40%.


Частки виробників SSD на світовому ринку (дані TrendFocus).

У системах для відповідальних додатків триває перехід до дискових накопичувачів 10K/15K HDD на SSD, але, оскільки один накопичувач SSD корпоративного класу замінює продуктивності кілька HDD, постачання флеш-пам'яті з інтерфейсом PCIe і SAS невеликі. У першому кварталі мірою було продано 164 тис. корпоративних PCIe SSD і 590 тис. SSD SAS. Продажі SSD з інтерфейсом SATA за той же період склали 2,95 млн. пристроїв.


Поставки SSD корпоративного класу за типами інтерфейсів (дані Trendfocus). Постачання пристроїв з інтерфейсами PCIe і SAS зростають, але досить низькими темпами.

Підвищення продуктивності SSD за рахунок переходу на форм-фактор NVMe і нові контролери сприяло впровадженню флеш-пам'яті у високопродуктивних системах, де вона продовжує витісняти традиційні накопичувачі на жорстких дисках.

Хоча ціни на твердотільні накопичувачі поступово падають, вартість зберігання гігабайта даних на HDD поки ще значно нижче. Але з появою пам'яті 3D NAND ціни на флеш-пам'ять стали швидко знижуватися, і можна очікувати, що ринок корпоративних HDD, застосовуваних для зберігання основних робочих даних, почне скорочуватися.

В порівнянні з жорсткими дисками накопичувачі SSD мають набагато більш низьку затримку, в 1000 разів кращу продуктивність в IOPS і в три-п'ять разів більш високу пропускну здатність. В результаті SSD отримують всі шанси замінити HDD в серверах вже в цьому році. А в 2017 році, за прогнозом Gartner, обсяг продажів накопичувачів SSD в світі перевищить продажу HDD в грошовому вираженні.


За прогнозом аналітиків Gartner, в 2017 році світові продажі накопичувачів SSD корпоративного класу випередять продажу HDD. У найближчі три роки обсяг продажів продуктів SSD в корпоративному сегменті (у грошовому вираженні) буде рости в середньому на 20% в рік, в той час як продажі HDD – лише на 4%.

Технології флеш-пам'яті корпоративного класу швидко розвиваються, з'являються нові форм-фактори накопичувачів, удосконалюються інтерфейси. Серверні SSD можна розділити на два великих сегменти: пристрої NVMe з інтерфейсом PCIe для найбільш вимогливих завдань і накопичувачі SATA для інших навантажень.



Наприклад, Dell застосовує у новітніх моделях четырехсокетных серверів PowerEdge накопичувачі Express Flash NVMe PCIe SSD. За даними вендора, вони на порядок перевершують по продуктивності вводу-виводу «традиційні» SSD.

Форм-фактори корпоративних накопичувачів SSD
Серверні флеш-накопичувачі випускаються в різноманітних форм-факторах:

Solid-State Drive (SSD): аналогічний традиційному HDD. Найбільш поширені SSD 3,5", 2,5" і 1,8". Товщина накопичувачів може бути різною – від відповідної HDD до 5 мм. Зазвичай вони мають інтерфейси SATA, SAS або NVMe. Так що йменувати всі флеш-накопичувачі «SSD» формально неправильно, але для простоти ми не дотримуємося цього правила.

Add-in card (AIC): типова додаткова плата, що вставляється в слот PCIe. Такі плати можуть бути різних розмірів: повної або половинної висоти і ширини, повної або половинної довжини і низькопрофільні.

M. 2: плата з флеш-пам'яттю, що встановлюється всередині сервера. Має ширину 22 мм і довжину від 30 до 110 мм. Може встановлюватися в спеціальні слоти PCIe або SATA. Мікросхеми флеш-пам'яті можуть розташовуватися з одного боку або з двох сторін плати. Споживає такий накопичувач менше пристроїв SSD або AIC. Спочатку шина M. 2 розроблялася як більш швидкісна й компактна заміна mSATA.

mSATA: аналогічний форм-фактору M. 2, але створений для портативних пристроїв, а не для серверів.

Disk on Module (DOM): маленький модуль на материнській платі. Зазвичай має невелику ємність, достатню для завантаження системи або для вбудованих додатків.

NVDIMM (non-volatile DIMM): цей форм-фактор призначений для встановлення твердотільного накопичувача в роз'єм DIMM на шині пам'яті і містить деяку кількість енергозалежною пам'яті DRAM і енергонезалежну NVDIMM. Накопичувачі такого форм-фактора (Storage Class Memory) працюють зі швидкістю оперативної пам'яті, тобто швидше, ніж встановлюються на шину PCIe, але потребують спеціальної підтримки на рівні материнської плати і BIOS/UEFI, щоб система могла розпізнати різні типи пам'яті DIMM.

Модуль NVDIMM-N містить DRAM і NVM, але система бачить тільки DRAM — стандартний RDIMM з характерними для DRAM ємністю і затримкою. До NVM сервер не звертається: ця пам'ять використовується для резервування DRAM і має як мінімум таку ж ємність як DRAM. Таким чином, зберігаються в DIMM дані захищені від відмов харчування: для цього використовується спеціальний конденсатор, ємності якого досить, щоб при відмові харчування переписати дані в енергонезалежну пам'ять. В іншому NVDIMM-N поводиться як звичайний модуль DRAM. NVDIMM-N має також іншу назву — NVRAM.

Ще один тип модулів, NVDIMM-F, містить тільки NVM (без DRAM). Накопичувач NVM має ємність типових SSD і підтримує блоковий доступ, але затримка у нього менше, ніж у інших SSD – зазвичай кілька мікросекунд.

Третій тип, NVDIMM-P, включає DRAM і NVM, об'єднуючи в одному модулі функції NVDIMM-N і NVDIMM-F. Одна область флеш-пам'яті в ньому використовується для блочного зберігання, інша – для резервування DRAM.

Поряд з форм-факторами флеш-накопичувачі відрізняє також різноманітність інтерфейсів.

Інтерфейси і протоколи флеш-накопичувачів
У флеш-накопичувачі корпоративного класу застосовуються наступні інтерфейси:

SATA (Serial ATA): зазвичай використовується в недорогих продуктах форм-факторів SSD, M. 2, DOM і mSATA. Це інтерфейс «точка-точка» зі швидкістю до 6 Гбіт/с.

SAS (Serial Attached SCSI): застосовується, як правило, в пристроях SSD і HDD корпоративного класу. Підтримує до 65535 пристроїв на з'єднання. Він отримав поширення у масивах корпоративного класу, JBOD і серверах. В даний час швидкість SAS — 12 Гбіт/с, в 2018-2019 роках, після випуску PCIe 4.0 очікується її подвоєння.

U. 2 (раніше SFF-8639): підтримується в PCIe/NVMe SSD. U. 2 назад сумісний з SAS, тобто до нього можна підключати пристрої NVMe, SAS і SATA.

PCI Express (PCIe): підтримує пристрої форм-факторів AIC і M. 2. У AIC 4 лінії, а не 16, як у PCIe. Відповідно швидкість – 8 Гбіт/с. Пристрою M. 2 звичайно використовують 2 або 4 лінії PCIe. Інтерфейс PCIe 2.0 x2 має теоретичну пропускну здатність 8 Гбіт/с (1 Гбайт/с), у PCIe 2.0 x4 вона становить 16 Гбіт/с (2 Гбайта/с), у PCIe 3.0 x4 32 Гбіт/с (4 Гбайт/с), проте реальна пропускна здатність приблизно на 20% нижче.
DIMM: тепер використовується не тільки в якості інтерфейсу пам'яті, але і в продуктах зберігання даних. Модулі пам'яті DDR4 підтримують швидкість до 19,2 Гбайт/с, а затримка становить десятки наносекунд.

Розрізняються флеш-накопичувачі підтримуються протоколами. Протокол – набір команд для конкретного користувача. Так інтерфейс SATA підтримує протокол SATA, SAS – SAS (або SCSI). Відносно новий протокол NVMe розроблений спеціально для енергонезалежній пам'яті. Для виконання запиту вводу-виводу він вимагає менше команд процесора. NVMe також використовує розпаралелювання операцій на багатоядерних процесорах. Підтримується 64К команд на чергу і 64К черг, тобто можливе значне число очікують операцій вводу-виводу.

Одна з цілей розробки NVMe – значне скорочення затримки. В даний час NVMe підтримується накопичувачами будь-якого форм-фактора з інтерфейсом PCIe. Однак пристрої NVMe досить дороги.

У планах розвитку NVMe – протокол NVMe over Fabrics, яких дозволить NVMe працювати на великих відстанях, використовуючи фабрики RDMA або Fibre Channel.

SSD в дата-центрах: бездисковий ЦОД
Сьогодні SSD нерідко застосовують у поєднанні з HDD для кешування даних при читанні або читанні/запису. Цей метод добре працює для підвищення продуктивності додатків в разі зовнішніх флеш-масивів, але ще краще – коли флеш-пам'ять знаходиться в самому сервері, ближче до процесора.

Флеш-накопичувачі відповідають таким тенденціям галузі, як обробка масивів даних у пам'яті (in-memory), віртуалізація і хмарні сервіси, з'являються нові можливості для оптимізації зберігання даних. І в результаті повністю змінюється економіка ЦОД.

У ряді випадків компаніям за рахунок впровадження флеш-масивів вдається на третину знизити TCO на 33%, багаторазово збільшити продуктивність інфраструктури зберігання даних, майже вдвічі скоротити споживання електроенергії, що більш ніж на порядок підвищити продуктивність додатків і на 40% зменшити час відгуку при роботі з ними, більш ніж наполовину знизити вартість підтримки інфраструктури зберігання даних. Власникам комерційних ЦОД дані технології дозволяють при укладанні угод SLA на хмарні сервіси гарантувати клієнтам певну швидкість доступу до СГД (IOPS).

Сімейство твердотільних накопичувачів Intel для центрів даних з інтерфейсом SATA пополннео накопичувачем серії Intel S3610. Intel DC серії S3710 — нове покоління твердотілих накопичувачів для центрів обробки даних, оптимізованих для навантажень як з великою кількістю операцій запису, так і читання.


Твердотільний накопичувач Intel серії DC S3610 забезпечує підвищення швидкість читання/запису до 550/5201 Мбайт/с, а швидкість читання/запису блоками по 4 — до 84 000/28 0001 IOPS. Типовий час затримки в додатках становить 55 мкс, максимальні затримки операцій читання — 500 мкс протягом 99,9% часу. Енергоспоживання в активному стані — менше 6,8 Вт.

Флеш-накопичувачі впливають і на веб-хостинг, хмарні обчислення. Більш того, об'єднані в RAID-масив вони дозволяють отримати продуктивність в хмарі, яка не може бути досягнута на домашньому ПК. Іноді клієнтам надається можливість самостійно оцінити, що дає використання SSD корпоративного рівня для віртуальних серверів.

Провідні провайдери все частіше використовують SSD в серверах, які служать платформою для віртуальних серверів клієнтів (VPS), на яких зазвичай і розміщуються на веб-сайти. Такий варіант хостингу коштує дорожче, але оптимальний для високонавантажених сайтів (з великою кількістю операцій введення-виведення), наприклад, сайтів, де працюють бази даних, розміщуються блоги та форуми, сайтів електронної комерції та ін. Однак у нього є свої складності.

Флеш-пам'ять в серверах: місткість та обмеження
Ємність твердотільних накопичувачів для серверів стрімко зростає і скоро може перевершити ємність HDD. Наприклад, Samsung випустила SSD у форм-факторі 2,5" ємністю 15 Тбайт. З збільшення щільності флеш-пам'яті NAND накопичувачі стають все більш компактними. Так твердотільний накопичувач форм-фактора M. 2 можна використовувати як дуже швидкий завантажувальний носій, що займає сервері набагато менше місця, ніж 2,5" HDD.

Між тим, у серверних SSD є обмеження. І це не тільки часом позамежна ціна і перевищує показники HDD вартість зберігання гігабайта даних. Таку ємність досить важко зробити загальнодоступною, розділяється між обчислювальними вузлами системи, хоча деякі ОС і гипервизоры дозволяють створювати такі кластери, наприклад, VMware VSAN 6.2 або Microsoft Server 2016 з підтримкою Storage Spaces Direct. Такі програмні засоби дозволяють будувати высокодоступные системи з вбудованими накопичувачами SATA, SAS або NVMe, причому підтримують стиснення, дедупликацию даних і QoS.

Оснащені SSD сервери дозволяють ефективно вирішувати такі завдання як редагування відео, пошук у великих базах даних, обробка транзакцій, дають можливість усунути вузькі місця в середовищах віртуалізації і хмарних обчисленнях.

Сучасні SSD досить довговічні і здатні витримати п'ять років інтенсивного використання, тобто цілком вписуються в життєвий цикл сервера.

В порівнянні з жорсткими дисками накопичувачі SSD мають набагато більш низьку затримку, в 1000 разів кращу продуктивність в IOPS і в три-п'ять разів більш високу пропускну здатність. В результаті SSD отримують всі шанси замінити HDD в серверах вже в цьому році. А в 2017 році, за прогнозом Gartner, обсяг продажів SSD в світі перевищить продажу HDD в грошовому вираженні.

Між тим при використанні SSD більшість RAID контролерів в режимі RAID 5 стають вузьким місцем у системі, тому для захисту даних рекомендують використовувати RAID 1 або 10 в програмній реалізації. А для задач з інтенсивною записом (збір даних від датчиків, запис відео тощо) можуть знадобитися SSD з збільшеним терміном служби – їх випускають кілька вендорів.

Флеш-пам'ять у СГД: що це дає
Показовими є приклади використання флеш-пам'яті нового покоління провідними вендорами у своїх флагманських СГД.


HPE продовжує працювати над оптимізацією свого флеш-системи 3PAR. Для цих цілей використовуються новітнє покоління флеш-пам'яті 3D NAND в накопичувачах ємністю 7.68 і 15,36 Тбайт. Останній більш ніж у 15 разів перевершує HDD 1,8" 10K при в 10 разів меншою затримки. Удосконалена технологія HPE Adaptive Sparing динамічно привласнюючи не тільки резервну, але і невживану посудину, що допомагає процесу внутрішньої «збирання сміття» накопичувача при великих ємностях. Щоб із збільшенням загальної ємності системи вузьким місцем не став інтерфейс доступу до даних, використовується технологія Express Layout, що дозволяє обом контролерам у парі вузлів паралельно працювати з SSD через інтерфейс SAS 12 Гбіт/c.

Флеш-пам'ять стає масовим продуктом, «бездисковий» ЦОД, цілком побудований на флеш-накопичувачах – вже реальність, на підході нові накопичувачі SSD і інтерфейси, активно розвиваються напрямки Storage Class Memory і NVMe.

Є також цілий ряд додатків, яким не потрібні високі показники IOPS, але потрібно дуже мала і передбачувана затримка. Нове покоління накопичувачів як не можна краще підходить для подібних завдань.


СГД Dell SC9000 використовується нова серверна платформа Dell PowerEdge з чотирма 8-ядерними процесорами 3,2 ГГц і оперативною пам'яттю ємністю до 512 Гбайт. Ємність флеш-масиву дорівнює 46 Тбайт на 1U (без стиснення даних). Такої щільності вдалося досягти завдяки застосуванню у СГД трирівневої флеш-пам'яті Samsung TLC 3D NAND. Щоб збільшити термін служби 3D NAND, інженери Dell задіяли механізм тиринга — переміщення даних між рівнями зберігання. Перший рівень представлений флеш-пам'ять SLC або eMLC, витримує велику кількість циклів перезапису, другий — пам'яттю 3D NAND, в яку записуються відносно рідко використовувані дані, причому в стислому вигляді. У деяких моделях є і третій рівень — HDD. Для ще більш економного використання ємності зберігання можна задіяти механізми дедуплікаціі. Конфігурацію системи (співвідношення ємності різних видів флеш-пам'яті і жорстких дисків) можна підбирати з урахуванням характеру навантаження.

Перспективи флеш-пам'яті
З впровадженням технології 3D NAND значно зросла щільність флеш-пам'яті. Найближче майбутнє (2017 рік) – поява на ринку флеш-пам'яті QLC з чотирма бітами на комірку вартістю 30 доларів за терабайт ємності. Ємність SSD перевищить ємність дискових накопичувачів, яка наближається до фізичної межі. Вже анонсовані SSD ємністю 16 Тбайт, і до 2020 року з'являться флеш-пам'ять ємністю 40 Тбайт на пристрій.

У числі нових розробок — пам'ять X-Point від Intel/Micron, яка посперечається по швидкості з накопичувачами NVMe, але вимагатиме змін в системному програмному забезпеченні. Її масове впровадження може початися в 2017 році.


Samsung анонсувала четверте покоління 3D NAND – з 64 шарами замість 48 і збільшеною до 800 Мбіт/м швидкістю інтерфейсу. Ємність накопичувача розміром 11,5х13 мм на пам'яті TLC становить 1 Тбайт. На зміну раніше продукту 16TB PM1633a SAS SSD приходить новий накопичувач 32TB PM1643, а карта PM1725 PCIe доповнена моделлю PM1735 з інтерфейсом PCIe 4x8.

Lenovo разом з партнерами, такими як Seagate, NxGn Data і Amphenol, веде розробку твердотільного накопичувача для серверів і систем зберігання (Project Spark). Накопичувач Lenovo відрізняється невеликими розмірами і призначений для установки у стійку сервери 1U, підтримує гарячу заміну. Одна з версій цього накопичувача має ємність 48 Тбайт і займає місце двох 2,5-дюймових накопичувачів.

Вже сьогодні твердотільні накопичувачі для ЦОД підвищують ефективність обробки даних, пропонує преміум-якість та знижують витрати на електроенергію. Нові розробки відкривають перспективи, які зараз навіть важко собі уявити, і можуть призвести до радикальних змін в архітектурі обчислювальних систем і дата-центрів.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.