Анонс нових функціональних можливостей HPE 3PAR StoreServ від 13 лютого 2017 року був названий деякими коментаторами в корпоративному блозі найважливішим з моменту запуску
сімейства 3PAR 7000 чотири роки тому. Це дуже гучну заяву. За цей час в індустрії багато чого змінилося, флеш-накопичувачі обігнали жорсткі диски за обсягами продажів, а деякі компанії, що виробляють системи зберігання, втратили свою незалежність або взагалі розорилися.

Цікаво, що 13 лютого були оголошені, за великим рахунком, тільки програмні поліпшення. Єдина апаратна новинка – це чотирьохпортовим адаптери для сімейства 3PAR 8000. Це важлива річ для тих, хто використовує File Persona або iSCSI, але звання «самого важливого анонсу» не заслуговує. Так у чому ж справа?



Читати далі →

Рік без єдиного байта

Про автора. Арчі Рассел (Archie Russell) — інженер бекенду Flickr

Одна з найвитратніших статей в роботі сервісу зразок Flickr — це зберігання. За останні роки ми описували різні техніки для зниження вартості: використання COS динамічна зміна розміру на GPU і перцептивное стиснення. Ці проекти були дуже успішні, але ми продовжували втрачати багато грошей на зберіганні даних.

На початку 2016 року ми поставили перед собою завдання вийти на новий рівень — протриматися цілий рік взагалі не закуповуючи нові носії інформації. Використовуючи різні техніки, нам це вдалося.

Історія витрат
Невеликі арифметичні розрахунки на серветці показують, що витрати на зберігання являють собою предмет реального занепокоєння. В день з високою відвідуваністю користувачі Flickr завантажують до 25 млн фотографій. Кожна з них вимагає в середньому 3,25 МБ, що в сумі становить 80 ТБ. Наївно розміщуючи їх на хмарному хостингу начебто S3 фотографії одного дня потягнуть на $30 тис. на рік і продовжать генерувати витрати на кожен наступний рік.

Читати далі →

SDCH+Brotli, або як потиснути ваш HTML контент в 20 разів


Останнім часом з'явилося кілька альтернативних технологій стиснення текстових даних (на додаток до gzip), які не тільки працюють (=тиснуть) краще (судячи з офіційним порівнянь), але і доступні в браузерах (переважно, в Chrome-based, але це вже 40-60% аудиторії сайтів).

Нижче я розповім, навіщо може бути корисно дельта-стиснення даних (SDCH, SanDwiCH) і як його налаштувати на вашому сервері.

Читати далі →

8 міфів про дедуплікаціі

Настав час розглянути всі міфи і дізнатися де правда в питаннях дедуплікаціі для масивів даних.



Незважаючи на те, що технологія дедуплікаціі відома вже досить давно, але тільки зараз технології, що застосовуються в сучасних масивах даних, дозволили їй пережити друге народження. У всіх сучасних масивах даних на поточний момент використовується дедупликация, але наявність цієї функції в масиві ще не означає, що це дасть вагомі переваги саме під ваші дані.
На жаль, велика кількість адміністраторів приймають «на віру» і вважають, що дедупликация володіє безмежними можливостями.

Читати далі →

Один піксель замість тисячі слів



Пару місяців тому, відпочиваючи від реалізації нових можливостей кшталт q_auto і g_auto, я приколюються в нашому командному чаті з приводу того, як різні формати зберігання зображень будуть стискати однопиксельную картинку. У відповідь Orly, редактор блогу, попросив мене написати пост про це. Я сказав: «Звичайно, чому б і ні. Але це буде дуже короткий пост. Адже що можна розповісти про один піксель».

Схоже, я був сильно неправий.

Що можна зробити з одним пікселем?
У ранні роки веба однопіксельні картинки часто використовувалися як милиці для речей, які зараз робляться через CSS. Створення відступів, ліній, прямокутників, напівпрозорих фонів – багато чого можна зробити, просто масштабуючи піксель до потрібних розмірів. Ще одне використання пікселів, яка дожила до наших днів – маячки, засоби для відстеження та аналітики.

В чуйну веб-дизайні однопіксельні картинки використовуються як тимчасові заглушки в очікуванні завантаження сторінки. Більшість браузерів не підтримують HTTP Client Hints, тому деякі варіанти з чуйними зображеннями чекають повного завантаження сторінки, щоб підрахувати актуальний розмір картинок, а потім замінюють однопіксельні картинки потрібними зображеннями за допомогою JavaScript.


Зламана картинка

Читати далі →

EMC ViPR 2.1: управління даними «третьої платформи»



ViPR – елемент програмно-обумовленого центру обробки даних

ViPR реалізує для сегмента зберігання даних приблизно те ж, що VMware зробила для сегмента серверів – створює можливість абстрагування ресурсів, формування пулів і впровадження автоматизації для інфраструктури. За допомогою API-інтерфейсів VMware пули зберігання, створені в EMC ViPR, представляються в VMware vSphere у вигляді простого масиву. Крім того, контролер ViPR забезпечує інтеграцію з VMware vStorage API for Storage Awareness (VASA), vCOps, а також із засобами управління і оркестрации VMware SDDC, vCloud Automation Center і vCenter Operations Manager. Таким чином, ViPR управління сховищем може здійснюватися як самостійним об'єктом, який представляється як такої у віртуальних середовищах Microsoft і OpenStack, так і в рамках програмно-обумовленого центру обробки даних VMware.

Головною метою розробки EMC ViPR було спрощення і здешевлення управління існуючими гетерогенними інфраструктурами зберігання, а також створення простої системи управління даними і доступу до даних в розподілених кластерних файлових системах, наприклад, на базі hadoop-кластерів, а також в хмарних середовищах.
Читати далі →

Обробка великих запакованих файлів на Mac і не тільки

Виникла в мене як-те завдання обробити файл з логами. В принципі, завдання банальна, я для цього використовую Perl і в Linux і Windows. Але справа в тому, що все це відбувається на Mac, файл знаходиться в архіві і він великий. Розпакованим, він займає близько 20 ГБ.
Яке буде звичайне рішення?

Читати далі →

Як працює стиск GZIP

imageУ житті кожного чоловіка наступає момент, коли трафік зростає і сервак вмирає необхідно задуматися про оптимізацію. В останньому дайджесті PHP (№ 40 ) була згадана посиланням стаття «How GZIP Compression Works». Виходячи з статистики , 56% веб-сайтів використовують GZIP. Я сподіваюся, ця стаття розкриє перед читачем гідності цієї технології.
 
Читати далі →