Історія успіху «Яндекс.Пошти» з PostgreSQL

Володимир Бородін, системний адміністратор групи експлуатації систем зберігання даних в «Яндекс.Поштою», знайомить зі складнощами міграції великого проекту з Oracle Database на PostgreSQL. Це — розшифровка доповіді конференції HighLoad++ 2016.

Всім привіт! Мене звуть Вова, сьогодні я буду розповідати про бази даних «Яндекс.Пошти».

Спочатку кілька фактів, які будуть мати значення в майбутньому. «Яндекс.Пошта» — сервіс досить старий: він був запущений в 2000 році, і тому ми накопичили багато legacy. У нас — як це прийнято і модно говорити — цілком собі highload-сервіс, більше 10 мільйонів користувачів на добу, якісь сотні мільйонів. У бекенд нас прилітає більше 200 тисяч запитів в секунду в піке. Ми складаємо більше 150 мільйонів листів на добу, що пройшли перевірки на спам та віруси. Сумарний обсяг листів за всі 16 років — більше 20 петабайт.

Про що піде мова? Про те, як ми перевезли метадані з Oracle в PostgreSQL. Метаданих там не петабайты — їх трохи більше трьохсот терабайт. В бази влітає понад 250 тисяч запитів в секунду. Треба мати на увазі, що це маленькі OLTP-запити, здебільшого читання (80%).

Це — не перша наша спроба позбутися від Oracle. На початку нульових була спроба переїхати на MySQL, вона провалилася. В 2007 або 2008 була спроба написати щось своє, вона теж провалилася. В обох випадках був провал не стільки технічно причин, скільки з організаційних.

Читати далі →

Порівняння продуктивності аналітичної СУБД Exasol і Oracle In-Memory Option

Свою попередню статті я присвятив тому, як і на скільки можна прискорити аналітичні (типові для OLAP/BI систем) запити в СУБД Oracle за рахунок підключення опції In-Memory. У продовження цієї теми я хочу описати кілька альтернативних СУБД для аналітики і порівняти їх продуктивність. І я вирішив почати з in-memory RDBMS Exasol.
Для тестів, результати яких я публікую, обраний TPC-H Benchmark і при бажанні читачі можуть повторити мої тести.

Читати далі →

Подання даних SAP R/3 в Oracle Database з допомогою SAP Java Connector

черговий раз виникла необхідність пов'язати дві відомі системи між собою, тепер це будуть Oracle Database і SAP. Можливо, існують платні методи зв'язування, але в даному випадку мова йде про необхідність скористатися невеликими порціями даних.

Розповім про те, як можна відобразити дані, взяті з SAP, з допомогою оператора select. Приклад дуже простий, для демонстрації принципової можливості. Створений він на основі доданих до SAP JCo або загальнодоступних вихідних текстів.

Відразу зауважу, що SAP JCo видають тільки тим, хто платить. А Oracle Database не вітає викликів java з використанням бінарних бібліотек, тому, за замовчуванням така можливість повинна бути спеціально дозволена.

Читати далі →

Аудит баз Oracle



Здрастуйте, дорогі хабрачитатели! Природно бажання кожного наймача оцінити ефективність та якість виконуваної роботи співробітників, помножити прибуток і скоротити витрати. Підтримка ІТ-інфраструктури завжди є «чорним ящиком». За що заплачено гроші, адже ще нічого не зламалося? Так як вникати в проблематику, швидше за все, жоден керівник не захоче, з високою ймовірністю незабаром виникне необхідність у звіті про виконану роботу, і бажано — щоденному. Розглядаючи красиві циферки і стрункі графіки, замовник незмінно «входить у смак». Поступово з'являються звіти моніторингу інфраструктури, стану бекапів, втрачених інцидентів, роботи DLP-систем. І чим далі, тим страшніше. ІТ-підтримка починає програвати в ефективності, змінюється графік роботи команди, адже звіт потрібен вже вранці. Подібна практика неймовірно стимулює розумову активність в напрямку оперативного надання даних, до яких маєш майже ексклюзивний доступ. Мій спосіб вирішити дану проблему постараюся описати далі.

Читати далі →

Безоплатно, тобто даром: безкоштовне ERP-рішення для скромного e-commerce бізнесу на платформі Ultima Businessware

Всім привіт.

Представляємо увазі хабраколлег закритий бета-community-реліз нового продукту: безкоштовної (майже) ERP-системи для невеликого (майже) e-commerce бізнесу:



  • до 12 одночасних користувачів — безкоштовно
  • відкрита конфігурація з нульовими ліцензійними обмеженнями на модифікацію і використання
  • в якості веб-компонента для повнофункціонального інтегрованого інтернет-магазину використовується Бітрікс (замість Ultima eStore
  • інтеграція з 1С: Бухгалтерією 3.0 через REST API
  • до послуг розробників всі можливості платформи Ultima Businessware без обмежень
Крім дистрибутивів, доступна розгорнута повнофункціональна демо-версія у вигляді образу віртуальної машини — в тому числі для проб пера розробників.

Читати далі →

Що нового буде у Veeam Backup & Replication 9.0: новинки лінійки Veeam Explorers для відновлення об'єктів додатків

Оскільки вже стало доброю традицією передувати вихід нових версій наших продуктів короткими оглядами, почну, мабуть, «артпідготовку» до випуску Veeam Backup & Replication 9.0, наміченого на цей квартал.
Інструменти лінійки Veeam Explorers досить популярні серед користувачів, оскільки допомагають в пошуку та відновлення окремих об'єктів додатків без необхідності піднімати з бекапа сам сервер з додатком. Цей зручний спосіб відновлення вже реалізований для Microsoft Active Directory, microsoft Exchange, SharePoint і microsoft SQL Server – а в майбутній версії вийде і Veeam Explorer for Oracle. Сьогодні я коротко розповім про нього, а також про оновлення існуючих Veeam Explorers. За сім ласкаво просимо під кат.



Читати далі →

Налаштовуємо зв'язку Apache Zeppelin + Oracle

Давно шукаю зручний інструмент для виконання ad hoc SQL-запитів до БД Oracle, з можливістю швидкого побудови різних типів графіків на отриманих даних. Все, що може полегшити оперативне створення звітів, як кажуть, «на льоту». Зовсім недавно натрапив на ось такий інструмент як Apache Zeppelin. Короткий огляд можливостей у документації на сайті і демо-відео показав, що це штука досить цікава і має сенс більш щільно досліджувати її і налаштувати доступ з Apache Zeppelin до СУБД Oracle.



Читати далі →

ERP на віртуальній машині: тестуємо SAP + Oracle Database на віртуальних машинах VMware і СКАЛА-Р



Невеликий вступ
Ми в IBS хотіли вийти на Хабр ще з тих часів, коли комп'ютери виглядали як на цій картинці. Але весь час чогось не вистачало: то часу, то експертів, цікавих сюжетів. Нарешті-то все співпало і ми запускаємо свій блог – в основному про внутрянке нашій тестовій лабораторії (IBS InterLab), де розробляються іт-інфраструктурні рішення і тестуються технології для клієнтів, плюс трохи за іншими напрямами корпоративних ІТ. Писати будемо рідко, принаймні цього літа, але постараємося видавати максимально корисний матеріал. Спасибі.

Поїхали
Сьогодні, напевно, практично весь великий бізнес так чи інакше працює з ERP або іншими тяжкими бізнес-додатками. Природно, з часом виникає необхідність переїзду на віртуальні машини. Вирішувати цю задачу з наскоку – справа небезпечна, так як по ходу завжди вилазить цілий мішок сюрпризів, кожен з яких цілком може обернутися повним провалом проекту. Щоб такого не траплялося, команда IBS InterLab займається тестуванням різних технологій під завдання клієнта, і в рамках таких досліджень нам вдалося отримати результати, які можуть виявитися цікавими і корисними.

З чого все почалося?
Під завдання одного з замовників ми робили порівняльне тестування продуктивності тандемів SAP + Oracle Database і SAP + HANA. Ми переслідували кілька цілей: з'ясувати особливості поведінки нової для російського ринку СУБД HANA і показати можливості роботи сертифікованого під HANA обчислювального комплексу від Huawei (про це ми ще обов'язково розповімо окремо).


Читати далі →

Порівняння швидкості .NET провайдерів для роботи з Oracle DB

Деякий час назад, у мене з колегою стався невеликий теоретичний спір про те, як швидше вибирати і записувати дані: за допомогою виклику DML-команд (select/insert) безпосередньо з коду програми зовнішнього чи все таки краще використовувати збережені процедури БД? Суперечка переросла у практичну площину, коли ми приєдналися до команди одного проекту, що використовує Oracle DB, і я думав якогось .NET провайдера краще використовувати для наших цілей. Було вирішено вибрати не навмання, а орієнтуючись на результати тестів, в яких ми не тільки порівняємо провайдерів між собою, але і перевіримо різні підходи до роботи з БД.

Перші дві сторінки гугла визначили учасників тесту:

  1. Oracle ODP.NET
  2. Devart dotConnect для Oracle
Як бачите, вибір не багатий, але чим менше варіантів, тим простіше вибирати.

Читати далі →

Oracle Database In-Memory

Дана стаття підготовлена Олексієм Струченко, начальником відділу оптимізації СУБД і додатків компанії «Інфосистеми Джет»

Вийшла в липні 2014 року опція Database In-Memory є найбільш очікуваною і найбільш обговорюваною інновацією Oracle в сімействі продуктів Oracle Database. За останні кілька місяців співробітники компанії Oracle регулярно знайомили російське оракловое співтовариство з особливостями нової опції.

На Oracle Day 2014 в Москві мені випала честь доповнити теоретичну презентацію Ігоря Мельникова (Oracle) за Database In-Memory практичною демонстрацією. Цю демонстрацію в повному обсязі показати не вдалося – виявилося не так-то просто підключити проектор до ноутбука, сполученого з демонстраційної базою. Тому я вирішив скористатися трибуною Habrahabr і все-таки донести суть демонстрації Database In-Memory до спільноти.

Читати далі →