Доброго часу доби, %habrauser%! Сьогодні займемося підкоренням своїх кривих рук і спробуємо налаштувати моніторинг контролерів Adaptec на Hyper-V (core 2012r2) хостах за допомогою Zabbix 3.2, PowerShell і консольної утиліти Adaptec RAID Controller Command Line Utility призначеної для моніторингу і керування контролерами Adaptec.

Читати далі →

Я приєднався до команди Facebook в 2011 році в якості інженера бізнес-аналітика. До моменту, коли я залишив команду в 2013 році я вже був дата-інженером.

Мене не просували або призначали на цю нову позицію. Фактично, Facebook прийшла до висновку, що виконувана нами робота є класичною бізнес-аналітикою. Роль, яку в підсумку ми для себе створили, була повністю новою дисципліною, а я і моя команда перебували на вістрі цієї трансформації. Ми розробляли нові підходи, способи вирішення завдань та інструменти. При цьому, найчастіше, ми ігнорували традиційні методи. Ми були піонерами. Ми були дата-інженерами!

Дата-інжиніринг?
Наука про даних як самостійна дисципліна переживає період отроческого самоствердження і визначення себе. У теж час дата-інжиніринг можна було назвати її «молодшим братом», який теж проходив через щось подібне. Дата-інжиніринг приймав від свого «старшого родича» сигнали, шукав своє місце і власну ідентичність. Як і вчені, займаються обробкою даних, дата-інженери теж пишуть код. Він є высокоаналитическим, з великою часткою візуалізації.

Але на відміну від вчених, що працюють з даними і натхненними більш зрілим прабатьком сфери — програмуванням — дата-інженери створюють власні інструменти, інфраструктуру, фреймворки і сервіси. Насправді, ми набагато ближче до програмування, ніж до науки про даних.

Читати далі →

Наш час часто називають інформаційним століттям. Однак інформація була критично важлива для роду людського на протязі всього його існування. Людина ніколи не був найшвидшим, найбільш сильним і витривалим тваринам. Своїм становищем у харчовому ланцюзі ми зобов'язані двом речам: соціальності і здатності передавати інформацію більш ніж через одне покоління.


Те, як інформація зберігалася і поширювалася крізь століття, продовжує залишатися буквально питанням життя і смерті: від виживання племені і збереження рецептів традиційної медицини до виживання виду і обробки складних кліматичних моделей.

Читати далі →

Яндекс, як і будь-яка інша велика інтернет-компанія, що зберігає багато, а точніше дуже багато даних. Це і користувальницькі дані з різних сервісів, і намайненные сайти, і проміжні дані для розрахунку погоди, і резервні копії баз даних. Вартість зберігання ($/ГБ) — один з важливих показників системи. У цій статті я хочу розповісти вам про один з методів, який дозволив нам серйозно здешевити сховище.


В 2015 році, як ви всі пам'ятаєте, сильно зріс курс долара. Точніше, рости-то він почав в кінці 2014-го, але нові партії заліза ми замовляли вже в 2015-м. Яндекс заробляє в рублях, і тому разом з курсом зросла і вартість заліза для нас. Це змусило нас в черговий раз подумати про те, як зробити, щоб в поточний кластер можна було покласти більше даних. Ми таке, звичайно, робимо регулярно, але в цей раз мотивація була особливо сильною. До речі, якщо після посту у вас залишаться питання, які б ви хотіли обговорити особисто, приходьте на нашу встречу.
Кожен сервер кластера надає для нас наступні ресурси: процесор, оперативну пам'ять, жорсткі диски і мережу. Мережа тут — більш складне поняття, ніж просто мережева плата. Це ще і вся інфраструктура всередині дата-центру, і зв'язність між різними дата-центрами і пунктами обміну трафіком. У кластері для забезпечення надійності застосовувалася реплікація, і сумарний обсяг кластера визначався виключно через сумарну ємність жорстких дисків. Потрібно було придумати, як обміняти ресурси, що залишилися на збільшення місця.

Читати далі →

Нещодавно ми розповіли про переході на нову платформу, завдяки якій нам вдалося поліпшити роботу хмарного сховища. Ми детально описали, як ми доопрацювали логіку і архітектуру сховища і переписали деякі компоненти на Go, завдяки чому все стало працювати набагато швидше і стабільніше, ніж раніше.

При цьому ми розповіли про все: за час роботи над API ми запустили кілька нових функцій, які, як ми сподіваємося, виявляться корисними для вас.

Читати далі →

На забезпечення ефективної роботи дата-центрів витрачається дуже багато електроенергії. Тому електрика є однією з основних статей витрат власників ЦОД. І ці витрати постійно зростають, оскільки з'являються нові і нові сховища даних. Збільшення енергоспоживання тягне за собою підвищення витрат на експлуатацію обчислювальної інфраструктури. Також посилюється проблема забруднення навколишнього середовища через вироблення додаткової електроенергії.

У пості описані варіанти підвищення енергоефективності дата-центрів від провідних корпорацій.




Читати далі →

Технологічний процес стрімко розвивається, створюються нові технології та вдосконалюються розробки. Тим не менше, для більшості операторів і власників ЦОД досі залишається актуальною проблема вибору найбільш підходящої системи охолодження дата-центрів. На оптимізацію температурного режиму серверів витрачається занадто багато електрики (аж до 40-50 відсотків від загального енергоспоживання ЦОД). У той же час чималих грошей коштує і підвищення ефективність систем охолодження серверних ферм. І тому компанії постійно б'ються над вирішенням даної задачі. Системи і стратегії охолодження також з кожним разом удосконалюються. Це відбувається як завдяки заможним власникам дата-центрів, начебто корпорації Microsoft (інженери компанії подумують про те, щоб розмістити автономний дата-центр на дні Тихого океану), так і завдяки окремим вендорам, які витрачають частину свого прибутку на дослідження і розробки даної галузі. Спільними зусиллями ринок систем охолодження ЦОД рухається вперед.

Нижче наведено рекомендації і новини з приводу охолодження дата-центрів від компаній: Bluon Energy, Emerson, Star Refrigeration, Asetek і CoolIT Systems.




Читати далі →

останнім часом штучна, або віртуальна реальність (VR) все більше поширюється у сфері споживчої електроніки, а також в обробній промисловості, охороні здоров'я, освіті і т. д. Але в індустрії ЦОД цей напрямок практично не застосовується, не дивлячись на те, що саме сервери відповідають за візуалізацію контенту, який відображається більшістю гарнітур віртуальної реальності.




Читати далі →

Компанії всіляко прагнуть підвищити енергоефективність інфраструктури центрів обробки даних. Для цього інженери і оператори ЦОД використовують найрізноманітніші засоби, розробляють і впроваджують інноваційні технології. Одні компанії відкрито діляться своїми досягненнями в даній області, інші ж тримають в таємниці проекти з покращення інфраструктури серверних ферми. Але існує категорія компаній, які не мають власних дата центрів та заробляють на тому, що продають технологічні напрацювання та винаходи клієнтам або власникам ЦОД. У пості піде мова про запропонованих варіантах рішень таких компаній у сфері підвищення енергоефективності дата центрів.




Читати далі →

Публікується від імені IvanovAleksey.

В інтернеті мало інформації по тестуванню Data Warehouse.
Можна знайти загальні вимоги: повнота даних, якість і т. п.
Але ніде немає опису організації процесу, і якими перевірками можна покрити ці вимоги.
В цій статті спробую розповісти: як ми тестуємо Сховище даних "Тінькофф Банк".
Читати далі →