Порівняння рішень по балансуванню високонавантажених систем

І знову ми публікуємо розшифровки виступів з конференції HighLoad++, яка пройшла в підмосковному Сколково 7-8 листопада 2016 року. Сьогодні Євген Півень знайомить з рішеннями балансування в хмарах.

Мене звати Женя, я працюю в компанії IPONWEB. Сьогодні ми поговоримо про розвиток наших рішень в балансуванні високонавантажених систем.

Спочатку я пробегусь за поняттями, якими буду оперувати. Почнемо з того, чим ми займаємося: RTB, Real Time Bidding — показ реклами з аукціоном в реальному часі. Дуже спрощена схема того, що відбувається, коли ви заходите на сайт:



Для того, щоб показати рекламу, йде запит на RTB-сервер, який запитує у рекламних серверів їх ставки і потім вирішує, яку рекламу вам показати.

Читати далі →

Перший митап Amazon Web Services User Group Russia

Всім привіт! Хочу поділитися радісною (для нас) новиною і повідомити, що нещодавно в Росії офіційно зареєстровано перше співтовариство Amazon Web Services (або просто AWS).

Якщо Ви цікавитеся хмарними технологіями і хочете поділитися досвідом — будемо раді! Особливо цікаві люди з практичним досвідом роботи з різними сервісами Амазона, готові в майбутньому виступати перед аудиторією.

У цю п'ятницю ми проводимо першу зустріч і я запрошую тих, хто живе або випадковим чином опиниться в Санкт-Петербурзі в цей час, зайти до нас.

Подробиці тут. Реєстрація до 18:30, початок о 19:00

Адмінам Хабра добра, терпіння і гарного настрою!

Джерело: Хабрахабр

Створіть свій сервер AWS S3 з відкритим кодом



Amazon S3 (Simple Storage Service, сервіс простого сховища) — дуже потужний онлайн сервіс файлового сховища, надається Amazon Web Services. Думайте про нього, як про віддаленому диску, на якому ви можете зберігати файли в каталогах, отримувати і видаляти їх. Компанії, такі як DropBox, Netflix, Pinterest, Slideshare, Tumblr і багато інших, покладаються на нього.

Хоч сервіс відмінний, його код не відкрито, тому ви повинні довіряти Amazon свої дані, і хоч вони надають доступ до безкоштовного инстансу на рік, ви все одно повинні ввести інформацію про кредитну карту для створення облікового запису. Т. к. S3 повинен знати кожен інженер-програміст, я хочу, щоб мої студенти набули досвід роботи з ним і використовували його в своїх веб-додатках, і ще я не хочу, щоб вони за це платили. Деякі студенти також працюють під час поїздок, що означає повільне Інтернет-з'єднання і дорогий трафік, або взагалі повна відсутність Інтернету.

Читати далі →

Amazon анонсувала нові проекти для розробників і «простих смертних»

image

30 листопада Amazon анонсував новий ШІ-сервіс. Це сталося на конференції AWS re:Invent в Лас-Вегасі. Компанія витратила кілька років на розробку інструментів машинного навчання для сторонніх розробників. Поки доступно тільки три з них, але надалі їх буде більше.

«Ми багато займаємося штучним інтелектом в нашій компанії. В цьому напрямку у нас працюють тисячі співробітників», – розповів генеральний директор підрозділу Amazon Web Services Енді Джэсси.
Читати далі →

Як ми будували хмарний бекенд для мобільного шутера

Привіт, Хабр!

Зовсім нещодавно ми запустили в Росії і ще кількох країнах багатокористувацький мобільний шутер Guns Of Boom, який вже скачало понад півмільйона осіб. Для забезпечення плавної і безперебійної ігри такої кількості користувачів потрібен хороший бекенд. У цій статті ми розповімо, чому ми вирішили використати для цього хмара, та коротко опишемо особливості побудови бекенду на основі хмарних сервісів.



Читати далі →

Підключення шлюзів Intel для інтернету речей до AWS і обмін даними з хмарою за допомогою Node-RED або Python

Розповімо про те, як підключити шлюз Intel для інтернету речей до Amazon Web Services (AWS) і приступити до створення додатків, розрахованих на роботу з цією платформою, з використанням Node-RED та Python. У результаті ми прийдемо до рішення, в якому шлюз буде передавати в хмару дані, використовуючи протокол MQTT.



Читати далі →

GPU в хмарах

Потрібно побудувати більше GPU


Deep Learning – одне з найбільш інтенсивно розвиваються напрямків в області машинного навчання.

Успіхи досліджень в області глибокого (глибинного) навчання викликають за собою зростання кількості ML/DL-фреймворків (в т. ч. і від Google, Microsoft, Facebook), имплементирующих дані алгоритми. Через все зростаючу обчислювальною складністю DL-алгоритмів, і, як наслідок, збільшується складністю DL-фреймворків вже давно не викрадаються апаратні потужності ні настільних, ні навіть серверних CPUs.

Вихід знайшли, і він простий (здається таким) – використовувати для такого типу compute-intensive-завдань розрахунки на GPU/FPGA. Але і тут проблема: можна, звичайно, для цих цілей використовувати відеокарту улюбленого ноутбука, але який українська data scientist не любить швидкої їзди NVidia Tesla?

Підходів до володіння високопродуктивними GPU мінімум два: купити (on-premises) і орендувати (on-demand). Як накопичити і купити – тема цієї статті. У цій — ми розглянемо, які пропозиції є по оренді инстансов VM c високопродуктивними GPU у провайдерів хмарних Amazon Web Service і Windows Azure.


Читати далі →

Що таке великі дані, частина 3


першої частини ми дізналися про даних, і про те, як вони можуть бути використані для вилучення з них метаданих або якихось значень.
Друга частина пояснила сам термін Big Data і показала, як він перетворився на індустрію, причиною появи якої стало вплив економіки. Ця, третя частина, в якій має бути логічне продовження двох попередніх і у всього цього повинен з'явитися сенс — сумна, місцями іронічна, а місцями лякає. Ви бачите самі, як технологічні, бізнес, і навіть соціальні контракти в перспективі вже переопределялись великими даними таким шляхом, який ми тільки зараз починаємо розуміти. І, можливо, вони ніколи вже не стануть контрольованими.
З допомогою чого б не проводився аналіз — суперкомп'ютера чи складеної вручну в 1665 році таблиці зі списків мертвих, деякі аспекти великих даних існували набагато довше, ніж ми можемо уявити.
Темна сторона великих даних. Історично роль великих даних не завжди була кришталево чистотою. Ідея переробки цифр, призводить до кількісної раціоналізації для чого, що ми хотіли зробити, існує з тих пір, як у нас з'явилися зайві гроші.
Читати далі →

Повне практичне керівництво по Docker: з нуля до кластера на AWS


Зміст
  • Питання і відповіді
  • Вступ
    • Пре-реквізити
    • Налаштування комп'ютера

  • 1.0 Граємо з Busybox
    • 1.1 Docker Run
    • 1.2 Термінологія

  • 2.0 Веб-додатки та Докер
    • 2.1 Статичні сайти
    • 2.2 Образи

    • 2.3 Наш перший образ
    • 2.4 Dockerfile
    • 2.5 Docker на AWS
  • 3.0 Многоконтейнерные оточення
    • 3.1 SF Food Trucks
    • 3.2 Мережі Docker

    • 3.3 Docker Compose
    • 3.4 AWS Elastic Container Service
  • 4.0 Висновок
    • 4.1 Наступні кроки
    • 4.2 Фідбек автору

Питання і відповіді
Що таке Докер?
Визначення Докера у Вікіпедії звучить так:
програмне забезпечення для автоматизації розгортання і керування додатками в середовищі віртуалізації на рівні операційної системи; дозволяє «упаковувати» додаток з усім його оточенням і залежностями в контейнер, а також надає середовище з управління контейнерами.
Ого! Як багато інформації. Простими словами, Докер це інструмент, який дозволяє розробникам, системними адміністраторами та іншим фахівцям деплоить їх застосування в пісочниці (які називаються контейнерами), для запуску на цільовий операційній системі, наприклад, Linux. Ключова перевага Докера в тому, що він дозволяє користувачам упакувати додаток з усіма його залежностями в стандартизований модуль для розробки. На відміну від віртуальних машин, контейнери не створюють такого додаткового навантаження, тому з ними можна використовувати систему та ресурси більш ефективно.
Читати далі →