image
Виникла необхідність вести аудит зміни даних в існуючій системі.

Вимоги:

  • Простота підключення/відключення логгирования окремих таблиць.
  • Скоротити до мінімуму зміни у вже існуючих функціях БД.
  • Мінімізувати деградацію продуктивності.

Читати далі →

Доброго дня! Мене звати Любов Волкова, я системний архітектор департаменту розробки бізнес-рішень. Основна моя спеціалізація — впровадження, розробка рішень, технічна підтримка корпоративних порталів SharePoint. Багаторічний досвід роботи дозволяє виділити основні закономірності, що впливають на продуктивність серверів, які входять до складу типової ферми.

Мета цього посту — допомогти адміністраторам корпоративних порталів SharePoint в складанні ефективних планів обслуговування серверів. В тексті нижче зібрані лічильники продуктивності, рекомендовані нами для включення в плани щоденного обслуговування серверів ферми SharePoint 2013/2016, а також подано приклади з практики. Дані про лічильниках ви можете використовувати для ручного налаштування та аналізу показників панелі експрес-моніторингу, а також в ході автоматизації отримання повідомлень у разі перевищення лічильниками порогових значень протягом періоду часу, тривалість якого залежить від вимог та стандартів, прийнятих в організації.


Читати далі →

Безліч комерційних сайтів початкового і середнього рівня просунутості часто стикаються з різноманітними проблемами баз даних. В таких проектах навряд чи є свій адміністратор баз, а інші співробітники не можуть або просто не мають часу на дійсно якісну налаштування чищення, реплікації, бекапів та інших обов'язкових процедур. А ще рідше це вдається вчасно все це контролювати і приймати необхідні заходи. Що ж робити? Один з варіантів рішення пропонує сервіс моніторингу ХостТрекер.




Читати далі →



Розроблена інженерами Über система зберігання даних Schemaless використовується в декількох найважливіших і великих сервісах нашої компанії (наприклад, Mezzanine). Schemaless — це масштабоване та надійне сховище даних, що працює поверх кластерів MySQL1. Коли цих кластерів було 16, керування ними була нескладною справою. Але зараз у нас їх понад 1 000, і в них розгорнуто не менше 4 000 серверів баз даних. Управління такою системою вимагає інструментів зовсім іншого класу.
З безлічі компонентів, що входять до Schemadock, порівняно невеликий, але дуже важливою частиною є Docker. Перехід на більш масштабоване рішення став для нас знаковою подією, і в даній статті ми розповіли про те, як Docker допоміг нам цього домогтися.
Читати далі →

Привіт, Хабр!

Встала переді мною нещодавно завдання: настроїти максимально надійний кластер серверів PostgreSQL версії 9.6.

За задумом, хотілося отримати кластер, який переживає випадання будь-якого сервера, або навіть декількох серверів, і вміє автоматично вводити в дію сервера після аварій.

Плануючи кластер я простудіював багато статей, як з основної документації до PostgreSQL, так і різних howto, у тому числі з Хабра, і пробував настроїти стандартний кластер з RepMgr, эксперементировал з pgpool.
В цілому воно запрацювало, але у мене періодично спливали проблеми з перемиканнями, потрібно ручне втручання для відновлення після аварій, і т. д.
Загалом я вирішив пошукати ще варіанти.
У результаті де-то (вже не згадаю точно, де) знайшов посилання на прекрасний проект Zalando Patroni, і все заверте…


Читати далі →

Google запустила бета-версію Cloud Spanner — СУБД покоління NewSQL



Google відкрила для всіх бета-версію сервісу Cloud Spanner, глобально розподіленої высокомасштабируемой мультиверсионной NewSQL БД з підтримкою розподілених транзакцій.

Кілька років Google використовувала цей сервіс виключно для внутрішніх потреб. На ньому працюють ключові системи Google, в тому числі AdWords і Google Play. Spanner — еволюційний розвиток NoSQL-попередника Google Bigtable. Сам же c Spanner відносять до сімейства NewSQL-рішень, тобто воно поєднує в собі переваги реляційних і нереляційних СУБД. Це ACID-транзакції і синтаксис SQL традиційних СУБД без шкоди для горизонтального масштабування і високої доступності, властивих NoSQL.

Виходячи з досвіду роботи системи всередині компанії, Google пропонує клієнтам аптайм 99,9999% (шість дев'яток, тобто максимум 31,5 секунди простою в рік), клієнтські бібліотеки з підтримкою Java, Go, Python, Node.js та ін

Читати далі →

sudo rm -rf або хроніка інциденту з базою даних GitLab.com від 2017/01/31


Він п'янів повільно, але все-таки сп'янів, як-то відразу, стрибком; і коли в хвилину просвітління побачив перед собою розрубаний дубовий стіл в абсолютно незнайомій кімнаті, оголений меч у своїй руці і плеще в долоні безгрошових донів навколо, то подумав, що пора йти додому. Але було пізно.

Аркадій і Борис Стругацькі
31 січня 2017 року відбулася важлива для світу OpenSource подія: один з адмінів GitLab.com, намагаючись полагодити реплікацію, переплутав консолі і видалив основну базу PostgreSQL, в результаті чого було втрачено велику кількість даних, і сам сервіс пішов в офф-лайн. При цьому всі 5 різних способів бекапа/реплікації виявилися неробочими. Відновилися ж з LVM-знімка, випадково зробленої за 6 годин до видалення бази. It, як кажуть, happens. Але треба віддати належне команді проекту, так як вони знайшли в собі сили поставитися до всього з гумором, не втратили голову і проявили дивовижну відкритість, написавши про все в твіттері і виклавши в загальний доступ, по суті, внутрішній документ, в якому команда в реальному часі вела опис розгортаються подій.
Під час його читання буквально відчуваєш себе на місці бідного YP, який в 11 годин вечора після важкого трудового дня і безрезультатної боротьби з Постгресом, стомлено мружачись, вбиває в консоль бойового сервера фатальне
sudo rm -rf
і тисне Enter. Через секунду він розуміє, що накоїв, скасовує видалення, але вже пізно — бази більше немає...
З причини важливості і в багатьох сенсах поучительности цього випадку, ми вирішили повністю перевести на російську мову його журнал-звіт, зроблений співробітниками GitLab.com у процесі роботи над інцидентом. Результат ви можете знайти під катом.
Читати далі →

Сходження дата-інженера

image

Я приєднався до команди Facebook в 2011 році в якості інженера бізнес-аналітика. До моменту, коли я залишив команду в 2013 році я вже був дата-інженером.

Мене не просували або призначали на цю нову позицію. Фактично, Facebook прийшла до висновку, що виконувана нами робота є класичною бізнес-аналітикою. Роль, яку в підсумку ми для себе створили, була повністю новою дисципліною, а я і моя команда перебували на вістрі цієї трансформації. Ми розробляли нові підходи, способи вирішення завдань та інструменти. При цьому, найчастіше, ми ігнорували традиційні методи. Ми були піонерами. Ми були дата-інженерами!

Дата-інжиніринг?
Наука про даних як самостійна дисципліна переживає період отроческого самоствердження і визначення себе. У теж час дата-інжиніринг можна було назвати її «молодшим братом», який теж проходив через щось подібне. Дата-інжиніринг приймав від свого «старшого родича» сигнали, шукав своє місце і власну ідентичність. Як і вчені, займаються обробкою даних, дата-інженери теж пишуть код. Він є высокоаналитическим, з великою часткою візуалізації.

Але на відміну від вчених, що працюють з даними і натхненними більш зрілим прабатьком сфери — програмуванням — дата-інженери створюють власні інструменти, інфраструктуру, фреймворки і сервіси. Насправді, ми набагато ближче до програмування, ніж до науки про даних.

Читати далі →

Gitlab «лежить», база знищена (відновлюється)

imageВчора, 31 січня, сервіс Gitlab випадково знищив свою продакшн базу даних (самі гіт-репозиторії не постраждали).

Справа була приблизно так.

Читати далі →

Налаштування DNS-сервера за стандартами безпеки Північної Кореї

image

Мені страшно уявити, з яким стресом пов'язана робота ІТ-фахівців Кім Чен Ина, так як він, швидше за все, з тих керівників, які весь час спостерігають за твоєю роботою з-за плеча, постійно стосуються екрану і з недобрим виразом обличчя натякають на «зникнення» всіх твоїх родичів у трьох поколіннях, якщо при розгортанні виправлень буде допущена хоча б одна помилка.

Ми часто чуємо про витік даних з великих компаній, державної підтримки хакерів і розробки нестандартних методів шифрування, однак необхідно визнати, що причиною більшості виникають щодня проблем безпеки є банальні помилки в конфігурації системи.

Читати далі →