Як повінь у Таїланді в 2011 році допомогло Amazon Web Services переосмислити свою роботу і створити «хмарний валізку»


Хмар в Таїланді досить багато, і це не фігуральний вираз — тут дійсно часто йдуть дощі, особливо в сезон мусонів. Найбільш активно природа проявила себе в 2011 році, коли в Тайланді сталася масштабна повінь, викликана безперервними протягом довгого часу зливами. На Тайланді, як відомо, багато фабрик з виробництва жорстких дисків і накопичувачів інших типів — і якраз ці фабрики, в більшості, і були затоплені в 2011 році. Тоді ціни на жорсткі диски підвищилися, ланцюги поставок вінчестерів тим, хто в них потребує, були порушені.

Хмарне підрозділі компанії Amazon відчуло на собі вплив стихії більше, ніж багато інші компанії. Так, дата-центрів Amazon Web Services на деякий час залишилися без необхідного обладнання, що призвело до деякими проблем в роботі AWS. Про все це на недавньому заході «re:Invent» розповів віце-президент AWS по інфраструктурі Джеррі Хантер.



Також він додав, що повінь в Таїланді стало дзвінком до пробудження. Він і деякі інші високопоставлені менеджери компанії прибутку в 2011 році в Тайланд, щоб вирішити проблеми з поставками. Але вони зрозуміли, що тут нічого не поробиш, після того, як побачили проблемні фабрики — приклад можна подивитися на анонсной фотографії. Компанії довелося заново переосмислити всю мережу поставок обладнання для своїх дата-центрів. Хмарне сховище Amazon S3 — один з найбільш великих споживачів мережевого обладнання.

Під час кризи 2011 року S3 зберігав близько 750 мільярдів об'єктів (зараз ця кількість значно перевищує трильйон). Інші провайдери хмарних послуг також зіткнулися з аналогічними проблемами. Сильний вплив на провайдерів хмарних послуг надав і зростання цін на жорсткі диски, оскільки знадобилося цілих два роки, щоб ціни знизилися до докризового рівня.

Зараз, за словами Хантера, Amazon контролює практично всю ланцюг постачання мережевого устаткування.

Snowball: Big Data у валізці
На тому ж заході Amazon Web Services представила цікаве рішення для швидкісної передачі даних, яке може розглядатися, в тому числі, і як інструмент, що вирішує проблему зв'язку клієнта з AWS в тому випадку, якщо канал зв'язку з якоїсь причини нормально не функціонує. Snowball — портативне сховище даних з доступним об'ємом від 50 до 100 ТБ. Це рішення може знадобитися клієнту AWS і в тому випадку, якщо канал зв'язку працює нормально, але повільно. За підрахунками фахівців AWS, якщо клієнту з каналом зв'язку до 100 Мбіт/сек знадобиться передати в ДЦ AWS 100 ТБ даних, то передача буде йти 100 днів. А «хмарний валізку» дозволяє передати всі ці дані набагато швидше — знадобиться стільки часу, скільки автомобіль або літак подолає відстань від клієнта до дата-центру AWS.

Тут можна згадати приказку начебто «Ніколи не недооцінюйте пропускну здатність вантажівки, заповненого касетами з архівними даними, що їде по шосе».



AWS доставляє Snowball прямо до клієнта, який підключається пристрій до локальної мережі, використовуючи програмні інструменти для шифрування даних, що зберігаються на портативне сховище. Потім Snowball відправляється в AWS і завантажується на сервер клієнта.

Одним з перших клієнтів такого типу сервісу став ресурс BuzzFeed, що постачає новини та відео більше, ніж 200 мільйонів унікальних відвідувачів в місяць. Зараз у компанії близько 250 ТБ архівних даних, чого занадто багато для зберігання на звичайних дисках, при цьому передача такого обсягу даних навіть по швидкісному каналу займе занадто багато часу. А так перенесення архівних даних BuzzFeed в дата-центр AWS зайняв менше тижня.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.