Доброго дня, колеги! Це блог відкритої російськомовній дата саєнтологічної ложі. Нас вже легіон, точніше 2500+ людина в слаке. За півтора року ми нагенерили 800к+ повідомлень (заради цього слак виділив нам корпоративний обліковий запис). Наші люди є скрізь і, може, навіть у вашій організації. Якщо ви цікавитеся машинним навчанням, але з якихось причин не знаєте про Open Data Science, то можливо ви в курсі заходів, які організовує спільнота. Самим масштабним з них є DataFest, який проходив нещодавно в офісі Mail.Ru Group, за два дні його відвідало 1700 осіб. Ми ростемо, наші ложі відкриваються в містах Росії, а також у Нью-Йорку, Дубаї і навіть у Львові, так, ми не воюємо, а іноді навіть і вживаємо міцні напої разом. І так, ми некомерційна організація, наша мета — просвітництво. Ми робимо все заради мистецтва. (пс: на фотографії ви можете спостерігати засідання ложі в одному з таємних храмів у Москві).

Мені випала честь зробити перший пост, і я, мабуть, отклонюсь від своєї звичної нейромережевої тематики і зроблю пост про базові поняття машинного навчання на прикладі однієї з найбільш простих і найбільш корисних моделей — лінійної регресії. Я буду використовувати мову пітон для демонстрації експериментів і відтворення графіків, все це ви з легкістю зможете повторити на своєму комп'ютері. Поїхали.


Читати далі →

Impact аналіз на прикладі інфраструктури корпоративного сховища даних

У цій статті я хочу розповісти, як можна вирішувати завдання impact аналізу або аналізу впливу складної, багаторівневої інфраструктури корпоративного сховища даних на прикладі нашого DWH Тинькофф Банку.



Працюючи з DWH всі напевно хоч раз задавалися питаннями:
  • «Що буде, якщо поміняти поле в таблиці?»
  • «На яких ETL процесах це позначиться?»
  • «Які звіти будуть порушені?»
  • «Які бізнес-процеси можуть постраждати?»
Відповісти на це питання, як правило непросто, оскільки потрібно переглянути дюжину ETL процесів, потім залізти в BI інструмент, знайти потрібні звіти, що тримати в голові, пам'ятати про те, що щось там будується ручним кодом і все це виливається у великий головний біль.
Навіть деколи невинне зміна може позначитися, наприклад, на звіті, який щоранку приходить на пошту до голови правління банку. Трохи утрирую, звичайно:)

Далі в статті я розповім, як і з допомогою чого можна зменшити головний біль і швидко проводити impact-аналіз в інфраструктурі DWH.


Читати далі →