Порівняння рішень по балансуванню високонавантажених систем

І знову ми публікуємо розшифровки виступів з конференції HighLoad++, яка пройшла в підмосковному Сколково 7-8 листопада 2016 року. Сьогодні Євген Півень знайомить з рішеннями балансування в хмарах.

Мене звати Женя, я працюю в компанії IPONWEB. Сьогодні ми поговоримо про розвиток наших рішень в балансуванні високонавантажених систем.

Спочатку я пробегусь за поняттями, якими буду оперувати. Почнемо з того, чим ми займаємося: RTB, Real Time Bidding — показ реклами з аукціоном в реальному часі. Дуже спрощена схема того, що відбувається, коли ви заходите на сайт:



Для того, щоб показати рекламу, йде запит на RTB-сервер, який запитує у рекламних серверів їх ставки і потім вирішує, яку рекламу вам показати.

Читати далі →

Балансування навантаження і відмовостійкість в «Однокласниках»

Ми продовжуємо пости з розшифровками виступів на конференції HighLoad++, яка проходила в підмосковному Сколково 7-8 листопада 2016 року.

Доброго дня, мене звуть Микита Духовний, і я працюю провідним системним адміністратором в проекті «Однокласники».

На даний момент інфраструктура «Однокласників» розташовується більш ніж на 11 тисячах фізичних серверів. Вони розташовані в 3-х основних дата-центрах в Москві. Також у нас є точки присутності CDN. За останніми даними в годину пік ми віддаємо нашим користувачам понад 1 терабіта трафіку в секунду.

У відділі системного адміністрування ми розробляємо і розвиваємо системи автоматизації. Ми займаємося багатьма дослідницькими завданнями. Ми допомагаємо розробникам запускати нові проекти.

Сьогодні ми поговоримо про балансування навантаження і стійкості на прикладі нашої соціальної мережі.

Читати далі →

Кращі доповіді Mobius 2016: Рейтинг і відеозапису

Написання статті-рейтингу доповідей з наших конференцій – завжди приємний процес. Все-таки здорово іноді відволіктися від суєти і спокійно подивитися п'ят-другий добірних відео, згадати, що було цікавого в минулий раз і спробувати уявити, що буде.



Сьогодні ми звернемося до Mobius, конференції з мобільного розробці (Android і iOS, в основному), і це чудово: у ТОП увійшло 5 доповідей на Android-розробці і 3 – з iOS. Під катом ви знайдете доповіді про можливості мов (Swift, Kotlin), про тестування, актуальних фреймворках і підходах, і навіть про розробку під Cardboard.

Кажучи «топ», ми маємо на увазі не наші улюблені доповіді або вибір якихось «експертів» — найкращі відібрані на основі виваженої оцінки від 80% учасників конференції. Тому
навіть якщо ви дивилися раніше викладені відеозапису, подивіться рейтинг. Раптом ви пропустили доповіді, найбільш високо оцінені нашими учасниками?

Читати далі →

Мобільний досвід Яндекса в трьох відеокурсу: дизайн, розробка, інтерфейси

У минулому році Яндекс провів експериментальний освітній проект, який отримав назву «Мобілізація». Наша мета була в тому, щоб учасники попрацювали у цій команді і створили справжній продукт — причому продукт мобільний. «Мобілізація» об'єднала Школу мобільного розробки, Школу менеджерів, Школу мобільного дизайну і Школу розробки інтерфейсів
image
Ми запросили 126 студентів з 25 міст; 91 учасник успішно завершив програму. Перший етап складався з лекцій, другий — з тієї самої командної роботи. Зазвичай студента оточують люди тієї ж спеціалізації, що і він сам: менеджери навчаються разом з менеджерами, дизайнери — з дизайнерами і т. д. Але в реальності вам потрібно хоча б по одному представнику кількох професій. У кожну команду увійшли студенти різних шкіл: дизайнер, менеджер і один-два розробника.
Лекції студентам читали співробітники Яндекса, які кожен день стикаються з реальними завданнями і роблять програми для мільйонів користувачів. Спеціально для читачів Хабра ми зібрали повну програму курсу за мотивами лекцій «Мобілізації».
Читати далі →

Сервіс таксі розігрує базу контактів клієнтів і водіїв

Популярний український сервіс таксі Uklon регулярно влаштовує розіграші серед своїх водіїв і клієнтів. За результатами кожного розіграшу вони публікують на свою facebook сторінку відео з контактними даними учасників: ім'я і адресу електронної пошти (приклад). Фрагмент кадру:


В оригінальному відео адреси не розмиті, їх для статті розмив я, щоб не поширювати ці дані далі. На мій лист в їх підтримку, що це не дуже гарна ідея:
Добрий день!
Не можна на відео (посилання) викладати адреси і імена людей.
1. По-перше, ваші конкуренти можуть отримати список ваших клієнтів і водіїв
2. По-друге, ви порушуєте закон України про доступ до персональних даних
Вони відповіли, що їм все одно:
Привіт, Денис, при реєстрації кожен користувач дає згоду на використання його персональних даних uklon.com.ua/document/useragreement — пункт 2.6. Велике спасибі за ваш відгук.
Тому я вирішив написати невеликий пост, як можна отримати контакти з відео, не використовуючи якісь спеціальні уміння. Дисклаймер: цей пост носить освітній характер, і демонструє, як не варто поводитися з даними клієнтів.

Читати далі →

Як ми відрізняли візок від виконроба — видеоаналитика для касової зони гіпермаркету (і продовження про кота-термінатора)

В одному будівельному гіпермаркеті є 18 кас, і треба вміти робити так, щоб касири відкривали їх вчасно, щоб чергу не була більше 4 чоловік. Ну, і щоб зайві каси не простоювали відкритими. Це розпізнавання людей (підрахунок покупців) з відео, аналітика по погоді і іншим факторам та передбачення потоку. Плюс багато іншого забавною статистики.


Приклад черги перед касою — картинка обрізана і замилена на прохання сб, за фактом чергу ми бачимо довше, ніж на фото.

У роздробі першим питанням стало те, як відрізнити виконроба від візка. І це було анітрохи не смішно.

Так, і тим, хто переживав за кота-термінатора з минулого поста — його впіймали. Деталі в кінці.
Читати далі →

Як уберегти IP камеру від ботнету Mirai з Flussonic Agent

Недавня серія рекордних DDoS атак під терабіт здорово розбурхала тих, хто начебто до такого вже звик. Цілком можливо, що ситуація повториться найближчим часом, причому з істотно більшою силою, адже базові причини виникнення такого потужного ботнету як Mirai не усунені.

Насправді несекьюрность IP камер це в цілому секрет Полішинеля і причин тому багато: це історично сформована практика роботи з ними, складність доступу до них, інертність виробників.

Я хочу розповісти про деякі аспекти цієї проблеми і які можуть бути кроки, щоб знизити гостроту цієї проблеми.

Поточне положення справ
Отже, зараз у світі продаються мільйони IP камер. Перша ж ссылка з інтернету заявляє про 200 мільйонів камер безпеки, і ця цифра виглядає цілком розумно.

Не всі CCTV камери — IP, до цих пір продається величезна кількість аналогових камер. Аналогові камери зрозумілі, у своєму роді зручні, передбачувані: адже в них немає ніякого глючащего софта, все апаратне. Але навіть незважаючи на останній сплеск AHD і HDCVI, IP камери чинності кращої якості картинки і більшої гнучкості заміщають аналог (прекрасний привід аргументовано обговорити настільки цікаве питання в коментарях).

Читати далі →

5 кращих доповідей на конференції мобільних розробників MBLTdev 15

У процесі формування програми майбутньої MBLTdev 16 ми вирішили дізнатися, які теми хвилювали мобільних розробників рівно рік тому. Відкрили статистику переглядів відеозаписів доповідей MBLTdev15 і зробили підбірку з найпопулярнішими темами. Так що ж було всього лише хайпи, а що залишається актуальним донині?

1. Consistent, Thin and Dumb

Hector Zarate, Spotify

Розробники Spotify зіткнулися з частою проблемою великих, активно розвиваються додатків. У цій доповіді Гектор розповів, як вони домоглися візуального однаковості в додатку при великій кількості незалежних змін у різних модулях. А також, як їм вдалося зробити додаток не просто тонким, а «тупим», тобто не містить практично ніякої логіки. З такими проблемами стикаються багато великі проекти і кожен вирішує їх по-своєму, тому дані питання продовжують залишатися актуальними.



Читати далі →

Як Yahoo перейшла від Flash до HTML5 відео


Adobe Flash колись був стандартом де-факто в світі веб-медіа, але з часом індустрія відвернулася від нього з міркувань безпеки і продуктивності. Вимагати у юзерів встановлювати плагін для відтворення відео — теж погана практика. В результаті, ми переходимо до HTML5 для відео.
Розробка в області відтворення відео HTML5 все ще у зародковому стані, і спочатку браузери підтримували ці можливості в самому примітивному вигляді. Тільки останнім часом підтримка була розширена і стала включати адаптивний стрімінг. Адаптивний стрімінг має дві головні переваги:
  • Адаптивний бітрейт (ABR): Алгоритм визначає пропускну здатність каналу користувача, потужність процесора, розмір плеєра і т. д. в реальному часі і налаштовує параметри відео.
  • Змінюваний розмір буфера: можливість, що дозволяє нам керувати часом, що потрібно для запуску відтворення.
Ці можливості дозволили індустрії стрімінг відео перейти від Flash до HTML5 і JavaScript.
Наш відео-плеєр Yahoo використовує HTML5 у всіх сучасних браузерах. У цьому пості ми опишемо наш шлях до реалізації цих можливостей, розповімо про проблеми, з якими зіткнулися, і опишемо можливості, які ми бачимо.
Читати далі →