ще трохи Заглибимося в малохоженные нетрі Data Science. Сьогодні у черзі на препарацію алгоритм кластеризації DBSCAN. Прошу під кат людей, які стикалися або збираються зіткнутися з кластеризацией даних, в яких зустрічаються згустки довільної форми — сьогодні ваш арсенал поповниться відмінним інструментом.



Читати далі →

Як ми Redis Cluster готували



У світі опен сорс є величезна кількість технологій, підходів, патернів, тулзов і аппов, які юзає дуже багато компаній. Як перетворити використовується або технологію в конкурентну перевагу? Пропоную розглянути на прикладі Redis Cluster — як ми прокладали нашу путь.

Читати далі →

КЛАСТЕР високої доступності на postgresql 9.6 + repmgr + pgbouncer + haproxy + keepalived + контроль через telegram

image
На сьогоднішній день процедура реалізації «failover» Postgresql є однією з найбільш простих і інтуїтивно зрозумілих. Для її реалізації необхідно визначитися зі сценаріями файловера — це запорука успішної роботи кластера, протестувати його роботу. В двох словах — налаштовується реплікація, найчастіше асинхронна, і в разі відмови поточного майстра, інша нода(standby) стає поточному «майстром», інші ноди standby починають слідувати за новим майстром.
На сьогоднішній день repmgr підтримує сценарій автоматичного Failover — autofailover, що дозволяє підтримувати кластер в робочому стані після виходу з ладу ноди-майстра без миттєвого втручання співробітника, що важливо, так як не відбувається великого падіння UPTIME. Для повідомлень використовуємо telegram.

З'явилася необхідність у зв'язку з розвитком внутрішніх сервісів реалізувати систему зберігання БД на Postgresql + реплікація + балансування + failover(відмовостійкість). Як завжди в інтернеті начебто і є, але все воно застаріле або на практиці не реалізується в тому вигляді, в якому воно подано. Було вирішено представити дане рішення, щоб в майбутньому у фахівців, які вирішили реалізувати подібну схему було уявлення, як це робиться, і щоб новачкам було легко це реалізувати дотримуючись даної інструкції. Постаралися описати все якомога детальніше, вникнути у всі нюанси і особливості.

Читати далі →

Кластер Docker Swarm за 30 секунд


У цьому червні як лейтмотиву конференції DockerCon ми побачили демо, в якому 3-вузловий Swarm-кластер був створений за 30 секунд, використовуючи набір інструментів для кластеризації Swarm, інтегровану в Docker Engine 1.12.
Вражає, але, природно, мені потрібно було спробувати зробити це самому, щоб побачити своїми очима, якщо демо зупиниться.

Читати далі →

Налаштування MongoDB ShardedCluster з X509 аутентифікацією

Всім доброго часу доби! Нещодавно життя підкинула автору захоплюючу роботу з розгортання MongoDB кластера з налаштуванням реплікації і шардирования, а також використанням x.509 аутентифікації. У даній статті я в першу чергу хотів би викласти свої думки та поділитися отриманими досвідом. Так як деякі речі виявилися не тривіальними і зробити їх з першого разу не вдавалося, то думаю мої покрокові інструкції можуть стати в нагоді для висвітлення питання тим хто тільки знайомиться з шардированием даних і роботою з MongoDB в цілому.
Також я буду дуже радий побачити рекомендації щодо додавання/зміни конфігурації кластера і просто питання чи критику за самою статтею або по суті питання.

Читати далі →

Відмовостійкий кластер Windows Server Microsoft Azure. Мережа

Передмова. Ця публікація — продовження теми створення відмовостійкого кластера Windows Server в хмарі Microsoft Azure. На цей раз розмова піде про мережу.



Привіт, фанати кластерів. У своїй попередній статті я розповів про те, як обійти обмеження середовища Microsoft Azure IaaS при підготовці сховища даних для відмовостійкого кластера Microsoft Windows. Давайте тепер поговоримо про інший важливої частині створення кластера — мережі.


Читати далі →

Невмирущий Postgresql cluster всередині Kubernetes cluster

Якщо ви коли-небудь замислювалися про довіру і надії, то швидше за все, не відчували цього ні до чого так само сильно, як до систем управління базами даних. Ну і дійсно, це ж База Даних! У назві міститься весь сенс — місце, де зберігаються дані, основне завдання ЗБЕРІГАТИ. І що найсумніше, як завжди, одного разу, ці переконання розбиваються про останки такий однієї померлої БД на 'виявляли у своєму житті таку'.

І що ж робити? — запитаєте ви. Не деплоить на сервера нічого, — відповідаємо ми. Нічого, що не вміє сама себе лагодити, хоча б тимчасово, проте надійно та швидко!
У цій статті я спробую розповісти про свій досвід налаштування майже безсмертного Postgresql кластера всередині іншого резервний рішення від Google — Kubernates (aka k8s)
Читати далі →

[Terraform + SaltStack] Готуємо PrestoDB кластер в скороварці (Частина #1)

Що тут цікавого?
image
Рецепт приготування смачного і корисного PrestoDB кластера використовуючи скороварку на базі Terraform і SaltStack в публічному хмарі AWS. Розглянемо докладно нюанси підготовки до роботи самої скороварки, необхідні кроки для правильного приготування страви і, звичайно, трошки розповімо про споживанні готового страви. Цю частину можна використовувати як навчальний матеріал з Terraform.

Читати далі →

Висновок систем зберігання даних NetApp з кластера

Додавання в кластер системи зберігання NetApp FAS відбувається дуже просто:
Підключаються порти кластерного інтерконекту в свіч і виконується команда:
cluster setup


А як вивести ноду з кластера?

Читати далі →

Змагання рішень In-Memory-Data-Grid (IMDG)

Результати тестування Oracle Coherence
Нещодавно ми брали участь у конкурсі з тестування кластерних технологій In-Memory. Метою тестування був вибір рішення для розробки відмовостійких фронтальних компонент високонавантажених систем. C нашого боку був представлений Oracle Coherence.


Читати далі →