Ще приблизно рік тому я натрапив на статтю «50 інструментів для автоматизації хмарної інфраструктури» в якому описувалися інструменти для роботи з віртуалізацією і в ньому промайнув інструмент під назвою Quadstor. І нещодавно, нарешті дійшли руки до цього чудового софта, і тепер хочу трохи про нього розповісти, що це таке і з чим його їдять!
Quadstor — це віртуалізація сховищ яка працює на основі iSCSI. quadstor.com

І так, що він вміє:

  1. Підтримка віртуальних дисків по Fibre Channel, iSCSI або локально.
  2. Тонкі диски (Thin Provisioning)
  3. Дедубликация даних
  4. Висока доступність (High Availability)
  5. Підтримка VAAI (Hardware Acceleration)
  6. Підтримка кластерів Windows server 2012, Hyper-V, VMware
  7. Підтримка ZFS
  8. І найголовніше — він безкоштовний (ну а підтримка за гроші).
  9. Розмір віртуального диска до 64Тб.

Читати далі →

MetroCluster гео-розподілене, відмовостійкий кластер побудований на базі систем зберігання даних NetApp FAS, такий кластер можна уявити собі, як одну систему зберігання, розтягнуту на два сайту, де у випадку аварії на одному з сайтів завжди залишається повна копія даних. MetroCluster використовується для створення високо доступного (HA) сховища і сервісів. Більш детально про MCC офіційній документації.

MetroCluster працює на старій ОС Data ONTAP 7-Mode (до версії 8.2.х) мав абревіатуру «MC», а працює на ClusteredONTAP (8.х і старші), щоб не було плутанини, прийнято називати MetroCluster ClusteredONTAP (MCC).

MCC може складатися з двох і більше контролерів. Існує три схеми підключення MCC:

  1. Fabric-Attached MetroCluster (FCM-MCC)
  2. Bridge-Attached Stretch MetroCluster
  3. Stretch MetroCluster
Різниця в цих трьох варіантах по суті тільки в мережевий обв'язки. Мережева обв'язка впливає на два фактори: максимально можливу відстань на яке можна розтягнути кластер і на кількість нод в кластері.


Читати далі →

Google запустила бета-версію Cloud Spanner — СУБД покоління NewSQL



Google відкрила для всіх бета-версію сервісу Cloud Spanner, глобально розподіленої высокомасштабируемой мультиверсионной NewSQL БД з підтримкою розподілених транзакцій.

Кілька років Google використовувала цей сервіс виключно для внутрішніх потреб. На ньому працюють ключові системи Google, в тому числі AdWords і Google Play. Spanner — еволюційний розвиток NoSQL-попередника Google Bigtable. Сам же c Spanner відносять до сімейства NewSQL-рішень, тобто воно поєднує в собі переваги реляційних і нереляційних СУБД. Це ACID-транзакції і синтаксис SQL традиційних СУБД без шкоди для горизонтального масштабування і високої доступності, властивих NoSQL.

Виходячи з досвіду роботи системи всередині компанії, Google пропонує клієнтам аптайм 99,9999% (шість дев'яток, тобто максимум 31,5 секунди простою в рік), клієнтські бібліотеки з підтримкою Java, Go, Python, Node.js та ін

Читати далі →

Гиперконвергентные пристрою VxRail

За даними дослідження ESG, 70% компаній зі сегменту ІТ в найближчі пару років планують виділити кошти на гиперконвергентные системи. І це не випадково. Гнучкі і масштабовані гиперконвергентные інфраструктури дозволяють розгорнути приватне хмара і скористатися перевагами хмарних сервісів.


У лютому 2016 року з'явилася система VxRail — інфраструктурне рішення для середовищ VMware, в якому об'єднані кошти віртуалізації, обчислювальні ресурси, сховище система захисту даних. Компактне шасі VxRail висотою 2U містить чотири сервера (тобто чотири вузли) і 24 накопичувач HDD або SSD. До її складу також входить програмно-визначуване сховище даних Virtual SAN.

Читати далі →

let's Encrypt і Express. Кожному серверу – по зеленому замку

HTTPS стає все більш сильним трендом сучасного інтернету. І це добре, особливо, коли клієнти, взаємодіючи з серверами, обмінюються з ними конфіденційними даними. Для того, щоб користуватися HTTPS, потрібен SSL-сертифікат, який застосовується для перевірки автентичності сервера. Проект let's Encrypt значно спростив процес отримання SSL-сертифікатів. До його появи все було набагато складніше.

image
Let's Encrypt використовує Certbot від Electronic Frontier Foundation для автоматизації процесу отримання сертифіката SSL. Підтримуються різні типи веб-серверів Apache, nginx, та інші), які працюють на Unix-подібних ОС. Якщо ваш сервер відповідає системним вимогам let's Encrypt, це означає, що ви зможете отримати сертифікат практично повністю автоматичному режимі. На жаль, зв'язку Node.js/Express.js let's Encrypt не підтримує. Тобто, в даному випадку автоматично отримати сертифікат від Certbot не вийде. Однак, не все втрачено. Використовуючи let's Encrypt і Certbot, сертифікат не так вже й складно отримати вручну.

Читати далі →

Сходження дата-інженера

image

Я приєднався до команди Facebook в 2011 році в якості інженера бізнес-аналітика. До моменту, коли я залишив команду в 2013 році я вже був дата-інженером.

Мене не просували або призначали на цю нову позицію. Фактично, Facebook прийшла до висновку, що виконувана нами робота є класичною бізнес-аналітикою. Роль, яку в підсумку ми для себе створили, була повністю новою дисципліною, а я і моя команда перебували на вістрі цієї трансформації. Ми розробляли нові підходи, способи вирішення завдань та інструменти. При цьому, найчастіше, ми ігнорували традиційні методи. Ми були піонерами. Ми були дата-інженерами!

Дата-інжиніринг?
Наука про даних як самостійна дисципліна переживає період отроческого самоствердження і визначення себе. У теж час дата-інжиніринг можна було назвати її «молодшим братом», який теж проходив через щось подібне. Дата-інжиніринг приймав від свого «старшого родича» сигнали, шукав своє місце і власну ідентичність. Як і вчені, займаються обробкою даних, дата-інженери теж пишуть код. Він є высокоаналитическим, з великою часткою візуалізації.

Але на відміну від вчених, що працюють з даними і натхненними більш зрілим прабатьком сфери — програмуванням — дата-інженери створюють власні інструменти, інфраструктуру, фреймворки і сервіси. Насправді, ми набагато ближче до програмування, ніж до науки про даних.

Читати далі →

СГД відрізняється від курки?

Це історія із серії «Записки сервісного інженера». На запитання відповімо трохи пізніше, а спочатку невеликий розповідь про один Масивному падінні. Нещодавно в наш Сервісний центр звернувся клієнт, який вирішив самостійно проапгрейдити масив HDS AMS2000: замінити частину старих дисків на нові більшого розміру. Зі слів замовника, він вставив новий диск – і один контролер зламався; витяг новий диск – і другий контролер теж включив аварійну індикацію, а з усіх систем пропав доступ до масиву.

Читати далі →

Рай перфекціоніста або яким повинен бути кабель-менеджмент

Вибрати хороший і надійний кабель — справа, звичайно, непроста, але не менш важливо вміти правильно організувати всі ці дроти: щоб було не тільки функціонально і зручно, але ще й красиво. Причому деякі умільці настільки заморочилися, що навіть придумали для цього спеціальний термін — cable porn «кабель-менеджмент». На правах п'ятниці пропонуємо подивитися, як виглядає не просто хороший кабель-менеджмент, а справжній кабельний перфекціонізм.



Читати далі →

Закрите бета-тестування гарячого сховища в Хмарі Mail.Ru


Привіт, Хабр! У нас хороша новина: ми починаємо закрите бета-тестування «гарячого сховища» (Hotbox) на базі Хмари Mail.Ru для бізнесу і запрошуємо до участі всіх бажаючих. В першу чергу сервіс Hotbox буде цікавий власникам медиасервисов з високою відвідуваністю, онлайн-ЗМІ і ресурсів з UGC-контентом і розробників мобільних додатків. Загалом, сховище призначене для тих, кому потрібно зберігати і часто роздавати багато файлів.

Читати далі →

Як домогтися реплікації з нульовим RPO на великі відстані

Що таке SLD і навіщо воно потрібно?
Одна з найважливіших завдань IT-підрозділу підприємства – захист даних від впливу різних зовнішніх факторів, як то: пожежа, землетрус, повінь і інші катастрофи. Традиційно для цього використовуються різні технології реплікації даних. Проте зазвичай реплікація дозволяє синхронізувати (з тим чи іншим значенням RPO) один і той самий набір даних тільки між двома дата-центрами. І для багатьох замовників цього цілком достатньо. Для багатьох, але не для всіх. Якщо замовнику потрібно нульове RPO, значить, необхідно використовувати синхронну реплікацію. Однак синхронна реплікація дозволяє розміщувати дата-центри на відстані близько 100к м один від одного. У випадку серйозної катастрофи, або просто якщо два дата-центру розташовані занадто близько один від одного, обидва ДЦ можуть постраждати одночасно – і дані будуть втрачені.


Читати далі →