Зміни в дата-центрах: Технологічні рішення



/ фото Arthur Caranta CC

Ми в команді IaaS-провайдера 1cloud багато пишемо про розвиток хмарних технологій і своєму розумінні управлінських підходів в сфері розробки і проектування рішень для надання віртуальної інфраструктури.

Нам цікаві не тільки новинки, але і технології, що залишили слід в історії. Наприклад, нещодавно ми розповідали про дивовижний комп'ютер ENIAC, який ознаменував своєю появою початок нової епохи.

З моменту його «народження» пройшло чимало часу, з'явилися більш досконалі і потужні обчислювальні системи. Про це ми сьогодні і поговоримо: про технологічні тренди, що розвиваються, у сфері управління даними.

Однією з причин вдосконалення дата-центрів є економія грошових коштів. Компанії і стартапи намагаються створити більш ефективні системи, оптимізуючи займане ними простір і вартість утримання. Наприклад, щоб знизити витрати на охолодження, деякі організації будують дата-центри в холодних регіонах планети або під землею, а компанія Microsoft, взагалі, спустила ЦОД в морські глибини. Подібні дата-центри, безсумнівно, вирішують проблему розміщення обладнання.

Також, в спробі скоротити розміри площ, займаних стійками, і пов'язані з цим операційні та капітальні витрати, у гру вступила компанія Vapor IO, анонсувавши в березні 2015 року новий підхід до розробки дата-центрів: проект модульного ЦОД Vapor Chamber.



/ фото vapor.io – Vapor Chamber

словами генерального директора Vapor IO Коула Кроуфорда (Cole Crawford), їм вдалося укласти дата-центр в зручний корпус, який легко вантажити і транспортувати. Один такий циліндр діаметром у три метри може вмістити шість монтажних стійок 42 U з загальної ІТ-навантаженням до 150 кВт, тому добре підходить для розгортки в тісних міських умовах.

На веб-сайті Vapor IO говориться, що 36 блоків Vapor Chamber можуть поміститися в тому ж просторі, яке необхідно для розміщення 120 стандартних монтажних стійок в конфігурації з «гарячим» і «холодним» коридорами, але при цьому Vapor Chamber значно знижує коефіцієнт ефективності використання електроенергії PUE.

Крім іншого, Vapor IO розробила своє програмне забезпечення під назвою Vapor CORE (Core Operating Runtime Environment). Софт дозволяє операторам дата-центрів визначати продуктивність ІТ-обладнання з використанням різних метрик (будь то кількість оброблених URL-адрес або транзакцій).

Цей підхід схожий на той, який використала компанія eBay при створенні своєї концепції Digital Service Efficiency, представленої в березні 2013 року. При цьому розробка Vapor IO набагато більш універсальна.

Роботу Vapor Chamber доповнює OpenDCRE (Open Data Center Runtime Environment) – відкритий API-інтерфейс Vapor IO, дає додаткам можливість інтегруватися з будь-яким працюють центром обробки даних. Інформація, що надається в реальному часі, дозволяє операторам дата-центрів правильно визначати потребу в ресурсах і розподіляти потужності.

Відкриті рішення – майбутнє ЦОД
Здається, що все більше світових компаній починають працювати з відкритими технологіями. У 2015 році компанія Microsoft прийняла Linux, компанія Apple показала код свого новітнього і популярного мови програмування, а хмарні сервіси просто не могли функціонувати без Linux. Цю велику хвилю підняла компанія Facebook, коли запустила проект Open Compute.

Facebook працює над створенням відкритого апаратного забезпечення, відразу впроваджуючи нові технології у своїх дата-центрах. Компанія використовує передові розробки – SSD, GPU, NVM і JBOF, що є частиною нового бачення компанії щодо створення мережі потужних дата-центрів.

«У наступні 10 років ми займемося технологіями штучного інтелекту і віртуальної реальності, – пояснює Марк Цукерберг. – Все це зажадає набагато більших обчислювальних потужностей, що у нас є сьогодні».



/ фото gothopotam CC

Facebook повністю переробив свою інфраструктуру. Замість звичайного двопроцесорного сервера з'явилася однокристальна система (SoC) на базі Intel Xeon-D з меншою споживаною потужністю.

«З питань розробки нового процесора ми тісно співпрацюємо з Intel. Паралельно йде процес переробки серверної інфраструктури, для того щоб система відповідала нашим потребам і була масштабованої», – пишуть представники компанії.

Цей однопроцесорний сервер з CPU меншої потужності справляється з веб-завантаженням краще, ніж двопроцесорний варіант. У той же час серверна інфраструктура була перебудована таким чином, що кількість процесорів на один рівень подвоїлася.

«Робочі цифри нового процесора повністю відповідають нашим очікуванням, – повідомляють інженери Facebook. – Більш того, односокетный сервер має менш жорсткі вимоги до тепловідводу».

Все це дозволило Facebook створити серверну інфраструктуру, в яку можна упакувати набагато більше продуктивної потужності на рівень, залишаючись у межах 11 кВт на стійку.

Також у Facebook поділилися своїм новим підходом до використання графічних процесорів, яким в останні роки приділяється підвищена увага. Спочатку GPU застосовувалися для збільшення продуктивності настільних ПК при роботі з графікою, а сьогодні вони активно вбудовуються в суперкомп'ютери для вирішення більш складних завдань.

Компанія використовує потужності GPU в своїх системах штучного інтелекту і машинного навчання. Відповідна лабораторія всередині компанії розробляє нейронні мережі для вирішення специфічних завдань. Очевидно, що це вимагає зовсім інших рівнів продуктивності.

Система Big Sur, наприклад, використовує прискорену обчислювальну платформу Nvidia Tesla з вісьмома високопродуктивними графічними процесорами по 300 Вт кожен. Інженери Facebook оптимізували показники потужності і тепловіддачі нових серверів, що дозволило задіяти їх в існуючих дата-центрах компанії спільно з класичними серверами. У підсумку істотно скоротився час на навчання нейронних мереж.

Ще одна сфера, куди Facebook направив свої стопи – це пам'ять. Компанія використовує флеш-технологію для прискорення завантажувальних дисків і кешування вже багато років. Інженери замінили жорсткі диски твердотільними накопичувачами, трансформувавши сховище з JBD (Just a Bunch of Disks) в JBOF (Just a Bunch of Flash).

Новий JBOF-модуль у Facebook розробили спільно з Intel – він отримав название Lightning. За рахунок використання протоколів NVM Express і інтерфейсу PCI Express, оптимізованого під SSD, вдалося добитися високої швидкості. Однак, як заявляють в компанії, цього все одно недостатньо.

Відповідь компанія намагається знайти технологии 3D XPoint, що розробляється Intel і Micron. Вона заснована на елементах зі зміною фазового стану та перемикачі з пам'яттю на елементах Овшинского, що дозволяє отримати ЗУ з об'ємом більшим, ніж у DRAM, і продуктивністю, що перевищує можливості флеш-пам'яті.

Ця технологія здатна породити створити категорію енергонезалежній пам'яті: досить швидку, щоб використовувати шину DRAM, і досить ємну, щоб зберігати велику кількість даних.

Розробники архітектур дата-центрів вже експериментують з з'являються новими технологіями зберігання даних. Наприклад, відомі спроби створення кластера з мікросхем флеш-пам'яті під управлінням чіпа, эмулирующего контролер диска.

В майбутньому структура сховищ даних кардинально зміниться: DRAM стане ємним масивом високопродуктивної флеш-пам'яті, що дозволить «обійти» операційну систему і гіпервізор, працюючи з серверними DIMM в режимі прямого доступу. Завдяки цьому значно знизиться латентність, а накопичувачі даних можна буде розташовувати поруч з серверами.

Open Compute змінює ринок ЦОД і хмарних технологій. Спільні зусилля великих представників ІТ-ринку стандартизують і здешевлює розробку серверних рішень. Основною метою відкритих проектів є створення максимально ефективних і масштабованих серверних систем з низькими витратами на утримання і енергоспоживання. Поки що можна з упевненістю сказати, що все йде в цьому напрямку.

P. S. Ми намагаємося ділитися власним досвідом роботи над сервісом з надання віртуальної інфраструктури 1cloud, але і розповідати про суміжних областях знань в нашому блог на Хабре. Не забувайте підписуватися на оновлення, друзі!
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.