Завжди було цікаво дізнатися, що і як думають кодери за океаном? Логічно припустити, що технічне мислення і основні процеси повинні бути схожими з російськими розробниками. Під катом можливість порівняти наші походи з «тамтешніми». Якщо у вас все добре з англійською, оригінал публікації і самого автора можна знайти на за адресою
Читати далі →



Зображення: Daniel Friedman, Flickr

В нашому блозі на Хабре ми багато пишемо про впровадження практик DevOps у процеси розробки та тестування створюються в компанії систем інформаційної безпеки. Завдання інженера-автоматизатора не завжди полягає тільки у встановленні та підтримки якогось сервісу, іноді необхідно вирішувати трудомісткі дослідницькі завдання.

Для вирішення однієї з таких задач — аналізу вразливостей в ході тестів конкурентного аналізу, ми розробили власний універсальний класифікатор. Про те, як працює цей інструмент, і яких результатів дозволяє домагатися, і піде мова в нашому сьогоднішньому матеріалі.
Читати далі →



На конференції HighLoad++ 2016 Олег Облеухов розповів про не вимагає при зростанні навантаження втручання адміністратора архітектурі, яку він спланував і впровадив у компанії InnoGames.

Всім привіт. Буквально пару слів про мене. Мене звати Олег, до цього я працював у компанії «Яндекс», жив у Санкт-Петербурзі, чудовому місті. Зараз я переїхав в Німеччину і працюю в InnoGames. Компанія займається розробкою онлайн-ігор. На рахунку 150 мільйонів користувачів — досить велика компанія, ну, трохи менше, ніж «Яндекс», звичайно. І сьогодні ми поговоримо з вами про те, як зробити перевантажений сервіс без даних про навантаження, не знаючи її кількість.

Перш ніж ми почнемо. Тепер ви все знаєте про мене, я хотів би дізнатися трошки про аудиторії. Підніміть руку ті, хто використовує Docker на продакшне? Ну приблизно третина залу, добре. А тепер з тих, хто підняв руку, підніміть ті, хто задоволений використанням Docker на продакшне? Значно менше. А тепер ще більш складне питання. Ті, хто задоволений використанням Docker на продакшне, підніміть руку ті, хто сисадмін або інженер, або ще хтось не-розробник. Я бачу трьох. Окей.

Насправді ми не будемо сьогодні говорити про Docker. Але ми будемо розмовляти про CRM. Я вам розповім, що це таке, навіщо нам потрібна ця система.

Читати далі →

image
зрештою, я повинен був до цього прийти. Коли я опублікував статтю «Я написав швидку хеш-таблицю», а потім ще одну — «Я написав ще більш швидку хеш-таблицю». Тепер я завершив роботу над самою швидкою хеш-таблицею. І під цим я розумію, що реалізував самий швидкий пошук порівняно з усіма хеш-таблиць, які мені вдалося знайти. При цьому операції вставки та видалення також працюють дуже швидко (хоча і не швидше конкурентів).
Я використовував хешування за алгоритмом Robin Hood з обмеженням максимальної кількості наборів. Якщо елемент повинен бути на відстані більше Х позицій від своєї ідеальної позиції, то збільшуємо таблицю і сподіваємося, що в цьому випадку кожен елемент зможе бути ближче до своєї бажаної позиції. Схоже, такий підхід дійсно добре працює. Величина Х може бути відносно невелика, що дозволяє реалізувати деякі оптимізації внутрішнього циклу пошуку по хеш-таблиці.
Якщо ви хочете тільки спробувати її в роботі, то можете завантажити звідси. Або прокрутіть вниз до розділу «Вихідний код і використання». Хочете подробиць — читайте далі.
Читати далі →



На конференції HighLoad++ 2016 керівник розробки «М-Тих» Вадим Мадисон розповів про зростання від системи, для якої сотня микросервисов здавалася величезним числом, до навантаженого проекту, де пара тисяч микросервисов — буденність.

Тема моєї доповіді — то, як ми запускали в продакшн микросервисы на досить навантаженому проекті. Це якийсь агрегований досвід, але оскільки я працюю в компанії «M-Тих», то давайте я пару слів розповім про те, хто ми.

Якщо коротко, то ми займаємося видеоотдачей — віддаємо відео в реальному часі. Ми є видеоплатформой для «НТВ-Плюс» і «Матч ТВ». Це 300 тисяч одночасних користувачів, які звертаються за 5 хвилин. Це 300 терабайт контенту, який ми віддаємо в годину. Це така цікава задача. Як це все обслужити?

Про що сама ця історія? Це про те, як ми росли, як проект розвивався, як відбувалося якесь переосмислення будь-яких його частин, якогось взаємодії. Так чи інакше, це про масштаб проекту, тому що це все — заради того, щоб витримати ще більше навантаження, надати клієнтам ще більше функціоналу і при цьому не впасти, не втратити ключових характеристик. Загалом, щоб клієнт залишився задоволений. Ну і трохи про те, який шлях ми пройшли. З чого ми починали.

Читати далі →



Олександр Лебедєв виражає всю нетривіальність дизайну REST API. Це — розшифровка Highload++ 2016.

Всім здрастуйте!
Підніміть руку ті, хто фронтенд розробник у цьому залі? Хто мобільний розробник? Хто бекенд розробник?
Бекенд розробників більшість у цьому залі зараз, що радісно. По-друге, майже всі прокинулися. Чудова новина.

Пару слів про себе
Хто я такий? Чим займаюся?

Я фронтенд team lead компанії «Нові " Хмарні Технології». Останні 5 років я писав веб фронтенд, який працює з REST API і який має для користувача працювати швидко. Я хочу поділитися досвідом про те, які API повинні бути, які дозволяють цього домогтися.

Незважаючи на те, що я буду розповідати з боку фронтенда, принципи — загальні вони більш-менш для всіх. Я сподіваюся і бекенд розробники, і розробники мобільних додатків так само знайдуть для себе в цьому оповіданні корисні речі.

Читати далі →

Підвернулася мені задачка розробити універсальний каталог товарів і послуг, за сумісництвом каталог підприємств, документів і чого завгодно ще. В роботі цей «досвід» не згодився, а ідея хороша, по-мою скромну думку :) Хочеться поділитися, і послухати критику.

Каталог передбачає упорядкованість — ієрархію, передбачає безпосередньо зберігання інформації, і звичайно пошук, напевно аналітику… що ще? Більше нічого в голову не приходить.

Тепер по пунктах.

Читати далі →

image
Нещодавно в прес-релізі ми розповіли про те, що запустили Tarantool IIoT — платформу для промислового інтернету речей. Новина облетіла багато електронні видання. Але що таке Tarantool IIoT і як він працює — тема залишалася не до кінця розкритою. Ми вирішили це виправити. Подробиці під катом.
Читати далі →


Побудова інфраструктури CDN пов'язано з великою кількістю технічних питань: від вибору обладнання і установки його в датацентрах до користувальницького інтерфейсу для взаємодії з можливостями мережі. Ми наводимо переклад статті з блогу Fastly, де команда розповідає про дуже цікавих кастомних рішень для роботи з мережею (значна частина яких незалежно була використана в інфраструктурі Айрі).

В результаті оптимізації інфраструктури вдалося добитися мінімального часу простою при відмові якого-небудь вузла і великий масштабованості системи.

Читати далі →



Роман Гребенніков пояснює складність побудови розподілених систем. Це — доповідь Highload++ 2016.

Всім привіт, мене звати Роман Гребенніков. Я працюю в компанії Findify. Ми робимо пошук для онлайн-магазинів. Але розмова не про це. У компанії Findify я займаюся розподіленими системами.

Що ж таке розподілені системи?

Читати далі →