Приблизно з 9 вечора до першої години ночі за Московським часом були перебої з роботою хмарного сховища Amazon S3.

Почалося це з повідомлення в твіттер «S3 is experiencing high error rates. We are working hard on recovering», хоча світ дізнався про це раніше: перестали працювати (повністю або частково) сайти Medium, Slack, Coursera, Trello, Adobe і ще купа.

Читати далі →

Закрите бета-тестування гарячого сховища в Хмарі Mail.Ru


Привіт, Хабр! У нас хороша новина: ми починаємо закрите бета-тестування «гарячого сховища» (Hotbox) на базі Хмари Mail.Ru для бізнесу і запрошуємо до участі всіх бажаючих. В першу чергу сервіс Hotbox буде цікавий власникам медиасервисов з високою відвідуваністю, онлайн-ЗМІ і ресурсів з UGC-контентом і розробників мобільних додатків. Загалом, сховище призначене для тих, кому потрібно зберігати і часто роздавати багато файлів.

Читати далі →

Створіть свій сервер AWS S3 з відкритим кодом



Amazon S3 (Simple Storage Service, сервіс простого сховища) — дуже потужний онлайн сервіс файлового сховища, надається Amazon Web Services. Думайте про нього, як про віддаленому диску, на якому ви можете зберігати файли в каталогах, отримувати і видаляти їх. Компанії, такі як DropBox, Netflix, Pinterest, Slideshare, Tumblr і багато інших, покладаються на нього.

Хоч сервіс відмінний, його код не відкрито, тому ви повинні довіряти Amazon свої дані, і хоч вони надають доступ до безкоштовного инстансу на рік, ви все одно повинні ввести інформацію про кредитну карту для створення облікового запису. Т. к. S3 повинен знати кожен інженер-програміст, я хочу, щоб мої студенти набули досвід роботи з ним і використовували його в своїх веб-додатках, і ще я не хочу, щоб вони за це платили. Деякі студенти також працюють під час поїздок, що означає повільне Інтернет-з'єднання і дорогий трафік, або взагалі повна відсутність Інтернету.

Читати далі →

Mongoose: інструмент для тестування продуктивності СГД

Доброго часу доби, Хабр. Мова піде про інструмент тестування продуктивності СГД, спочатку розробленого в надрах компанії EMC для внутрішніх потреб, але має властивість плавно розростатися. До речі, буквально «вчора» мангуст отримав статус OpenSource проекту. А це значить, що настав час трошки розповісти про нього. Отже, що ж це за звір?

image

Читати далі →

Як погрепать інтернет

Аналітикам іноді потрібно відповідати на запитання на кшталт: «скільки сайтів використовують WordPress, а скільки Ghost», «яке покриття у Google Analytics, а яке у Метрики», «як часто X сайт посилається на сайт Y». Самий чесний спосіб на них відповісти — пройтися по всіх сторінках в інтернеті і порахувати. Ця ідея не така божевільна, як може здатися. Існує проект Сommoncrawl, який щомісяця публікує свіжий дамп інтернету у вигляді gzip-архівів сумарним розміром ~30Тб. Дані лежать на S3, тому для обробки зазвичай використовується MapReduce від Amazon. маса інструкцій про те, як це робити. Але з поточним курсом долара такий підхід став трохи дорогуватий. Я хотів би поділитися способом, як здешевити розрахунок приблизно в два рази.


Читати далі →

Дистрибуція Java додатків



Дивно, але факт — дистрибуція Java додатків в 21 столітті і раніше величезний милицю. Розробники до цих пір знаходять способи на кшталт rsync/copy-paste/wget для установки java-додатків на сервер. І тільки монструозна production enterprise ready платформи іноді дозволяють зробити трохи більше — відкотити додаток на попередню версію. У цій статті я хотів би розповісти про доступне і простому способі організації дистрибуції.

Читати далі →

Object Storage — Найближче майбутнє систем зберігання даних



Дев'ять років тому «Міжнародний день телекомунікацій» був перейменований в «Міжнародний день телекомунікацій та інформаційного суспільства». Для золотого мільярда майбутнє вже настало: інтернет став однією з найважливіших частин нашого життя. Щосекунди по всьому світу створюються і споживаються колосальні обсяги інформації, а ринок різноманітних онлайн-сервісів є одним з найбільш швидкозростаючих.

Однією з головних тенденцій останнього часу стало розвиток хмарних технологій. Вони використовуються повсюдно, від файлообмінників і відеохостингів до мобільних додатків, сервісів замовлення послуг та внутрішніх корпоративних систем. Переважна більшість подібних проектів оперують неструктурованою інформацією, причому ємність файлових сховищ щорічно збільшується приблизно на 53%. І з зростанням обсягів генерується та збереженої інформації трансформуються та вимоги до систем зберігання даних.

Читати далі →

Object Storage — Найближче майбутнє систем зберігання даних



Дев'ять років тому «Міжнародний день телекомунікацій» був перейменований в «Міжнародний день телекомунікацій та інформаційного суспільства». Для золотого мільярда майбутнє вже настало: інтернет став однією з найважливіших частин нашого життя. Щосекунди по всьому світу створюються і споживаються колосальні обсяги інформації, а ринок різноманітних онлайн-сервісів є одним з найбільш швидкозростаючих.

Однією з головних тенденцій останнього часу стало розвиток хмарних технологій. Вони використовуються повсюдно, від файлообмінників і відеохостингів до мобільних додатків, сервісів замовлення послуг та внутрішніх корпоративних систем. Переважна більшість подібних проектів оперують неструктурованою інформацією, причому ємність файлових сховищ щорічно збільшується приблизно на 53%. І з зростанням обсягів генерується та збереженої інформації трансформуються та вимоги до систем зберігання даних.

Читати далі →

Налаштовуємо Amazon Elastic Load Balancing: з email forwarding-му і редиректами

image

Час релізу мого проекту вихідного дня наближалося. Мобільні програми були завантажені в магазини додатків і ми чекали відповіді від Apple, оскільки перевірка в Google Play проходить досить швидко і безболісно. Весь код серверного додатка був уже написаний, робити було нема чого, а вільного часу було близько тижня. Я подумав, що непогано було б заздалегідь обзавестися load balancer-му, щоб в майбутньому не витрачати багато часу на налаштування, та й до того ж налаштування після релізу напевно привела б до того, що сервер якийсь час перестав би обслуговувати користувачів. Для хостингу серверів ми використовували Amazon EC2, тому і load balancer вибрали амазоновский — Amazon Elastic Load Balancer (ELB).

Читати далі →

Як видалити bucket з 400 мільйонами файлів на Amazon S3

Припустимо, у вас в бакете скупчилося кілька сотень мільйонів файлів (всяке буває) і ви вирішили їх видалити. Видалити бакет без видалення вмісту не можна. Видалення самих файлів відбувається приблизно по 1000 за 2 секунди. Нескладно порахувати, що 400 мільйонів файлів можна видалити за 9 днів роботи браузера без виключення, та ще і заплатити доведеться за кожну операцію (DELETE хоч і безкоштовний, але LIST коштує грошей).

Але є можливість налаштувати правила зберігання файлів так, щоб вони віддалялися автоматично:

Читати далі →