На конференції HighLoad++ 2016 керівник розробки «М-Тих» Вадим Мадисон розповів про зростання від системи, для якої сотня микросервисов здавалася величезним числом, до навантаженого проекту, де пара тисяч микросервисов — буденність.

Тема моєї доповіді — то, як ми запускали в продакшн микросервисы на досить навантаженому проекті. Це якийсь агрегований досвід, але оскільки я працюю в компанії «M-Тих», то давайте я пару слів розповім про те, хто ми.

Якщо коротко, то ми займаємося видеоотдачей — віддаємо відео в реальному часі. Ми є видеоплатформой для «НТВ-Плюс» і «Матч ТВ». Це 300 тисяч одночасних користувачів, які звертаються за 5 хвилин. Це 300 терабайт контенту, який ми віддаємо в годину. Це така цікава задача. Як це все обслужити?

Про що сама ця історія? Це про те, як ми росли, як проект розвивався, як відбувалося якесь переосмислення будь-яких його частин, якогось взаємодії. Так чи інакше, це про масштаб проекту, тому що це все — заради того, щоб витримати ще більше навантаження, надати клієнтам ще більше функціоналу і при цьому не впасти, не втратити ключових характеристик. Загалом, щоб клієнт залишився задоволений. Ну і трохи про те, який шлях ми пройшли. З чого ми починали.

Читати далі →

Історія успіху «Яндекс.Пошти» з PostgreSQL

Володимир Бородін, системний адміністратор групи експлуатації систем зберігання даних в «Яндекс.Поштою», знайомить зі складнощами міграції великого проекту з Oracle Database на PostgreSQL. Це — розшифровка доповіді конференції HighLoad++ 2016.

Всім привіт! Мене звуть Вова, сьогодні я буду розповідати про бази даних «Яндекс.Пошти».

Спочатку кілька фактів, які будуть мати значення в майбутньому. «Яндекс.Пошта» — сервіс досить старий: він був запущений в 2000 році, і тому ми накопичили багато legacy. У нас — як це прийнято і модно говорити — цілком собі highload-сервіс, більше 10 мільйонів користувачів на добу, якісь сотні мільйонів. У бекенд нас прилітає більше 200 тисяч запитів в секунду в піке. Ми складаємо більше 150 мільйонів листів на добу, що пройшли перевірки на спам та віруси. Сумарний обсяг листів за всі 16 років — більше 20 петабайт.

Про що піде мова? Про те, як ми перевезли метадані з Oracle в PostgreSQL. Метаданих там не петабайты — їх трохи більше трьохсот терабайт. В бази влітає понад 250 тисяч запитів в секунду. Треба мати на увазі, що це маленькі OLTP-запити, здебільшого читання (80%).

Це — не перша наша спроба позбутися від Oracle. На початку нульових була спроба переїхати на MySQL, вона провалилася. В 2007 або 2008 була спроба написати щось своє, вона теж провалилася. В обох випадках був провал не стільки технічно причин, скільки з організаційних.

Читати далі →

«Вивчив щось- пробуй це пояснити, поки не зрозумієш сам»



Як виглядає конференція для глядача, всім зрозуміло, а от що вона являє собою для спікера? Що змушує відомих фахівців відволікатися від своєї основної діяльності на ретельну підготовку доповіді? Чому їм виявляється недостатньо формату простого блог-посту? Яку віддачу вони отримують? Що найчастіше стає відправною точкою для доповіді?

Ми вже говорили з Володимиром Красильщиком (Яндекс) про його досвіді виступів, а тепер на наші питання відповіли відразу чотири людини, добре відомі відвідувачам Java-конференцій:

  • Олексій Шипилев (Red Hat);
  • Тагір lany Валєєв (JetBrains);
  • Руслан cheremin Черемин (Дойче Банк);
  • Гліб gvsmirnov Смирнов (Plumbr).

Читати далі →

Remote (dev)tools своїми руками – інтерв'ю з Романом Дворновым (Авіто)



Роман Дворнов twitter – керівник фронтенд-розробки в Авіто, автор basis.js, мейнтейнер CSSO, CSSTree, Component Inspector і не тільки. Роман працює над новим проектом, що покликаний спростити розробку інструментів віддаленого моніторингу та налагодження web-додатків.

Давайте дізнаємося, які проблеми допоможе вирішити проект Романа, і до чого він прийшов.

Читати далі →

Дробимо моноліт: Рефакторинг архітектури Web-додатків



JavaScript з моменту своєї появи пройшов чималий шлях від простих веб-сторінок до повноцінних додатків і навіть серверів. Проте, чим складніше стають наші програми, тим більш гостро постає питання підходящої для них архітектури.

Разом з Віктором gritzko Грищенко, творцем swarm.js https://twitter.com/gritzko), розглянемо сучасні підходи до побудови архітектури JS програм як на сервері, так і на клієнті.

– Коли ми говоримо про монолітних Web-додатках, зазвичай мається на увазі архітектура, що стала вже класичною. Так званий шаруватий моноліт добре прижився в багатьох корпоративних рішеннях. Розкажіть, з якими недоліками даної архітектури вам доводилося боротися в реальних проектах?

Читати далі →

Майкл Фезерс, автор книги «Working Effectively with Legacy Code», їде в Харків з доповіддю

25 жовтня 2016 року Майкл Фезерс, Director of R7K Research & Conveyance і автор книги «Working Effectively with Legacy Code», виступить на uDev Tech Events з лекцією на тему «Micro Refactoring and Macro Refactoring: Strategies and Techniques».


Читати далі →

Майкл Фезерс на uDev Tech Events: «Micro Refactoring and Macro Refactoring: Strategies and Techniques»

25 жовтня 2016 року Майкл Фезерс, Director of R7K Research & Conveyance і автор книги «Working Effectively with Legacy Code», виступить на uDev Tech Events з лекцією на тему «Micro Refactoring and Macro Refactoring: Strategies and Techniques».



Читати далі →

JavaScript Performance, бази даних і пошуки «срібної кулі»: ТОП-5 доповідей HolyJS 2016

Менше трьох місяців минуло з HolyJS 2016 Piter, жарт, навіть літо ще не скінчилося, а доповіді конференції вже лежать у відкритому доступі. Під катом ви знайдете 5 кращих доповідей, куди увійшли як хардкорні речі про JS-компіляторах, так і «антихипстерский» soft talk про труднощі вибору інструменту JS-розробником.


Крім того, з'явилися троє нових доповідачів у програмі HolyJS 2016 Moscow.
Читати далі →

HolyJS в Москві: перші доповіді і CallForPapers

Всесвіт JavaScript прекрасна: мова росте і розвивається величезними темпами, фреймворки плодяться (можливо, навіть занадто:)), коммьюніті цвіте і пахне, в Росії з'являються професійні конференції.



Якщо ви стежите за подіями, то знаєте, що в червні в Пітері пройшла перша в Росії масштабна професійна конференція з JavaScript – HolyJS. Всі тоді пройшло добре, а сама конференція 11 грудня приїде в Москву, про це і поговоримо.

Читати далі →

відеогляд VDI рішеннях VMware, огляд оновлення Horizon 6



Наступне відео з нашою ІТ-виставки розповість про оновлення в хмарних рішеннях VMware, а зокрема йтиметься про такий продукт як Horizon 6 (колишній Horizon View).

Під брендом Horizon, VMware представляє рішення для ендюзер-комп'ютингу: все, що потрібно для робочих місць клієнт-серверної інфраструктури. Більшою мірою відома серверна частина цих рішень, доповідач зробить акцент на клієнтської частини.

Мова піде про архітектуру рішення Horizon. Також доповідач покаже і розповість про непомітних, але дуже корисних налаштуваннях для адміністраторів віртуальних машин, які з'явилися у свіжій версії. Також буде невелике демо, що показує як продукти VMware працюють в рішеннях VDI.

Видос під катом.
Читати далі →