Вітаю, дорогі читачі! Давненько ми не постили в блозі своєї компанії інформацію про MyTaskHelper. З тих пір багато води витекло і нарешті час-руки-необхідність дійшли й до того, що ми готові розповісти Вам, у що перетворився наш сервіс за ці кілька років.
По-перше, це повноцінний конструктор веб-форм. Не маючи ніяких навичок у програмуванні загалом і в веб-програмуванні зокрема користувач (навіть школяр чи пенсіонер), володіє комп'ютером та доступом до Інтернету, створить, налаштує і зможе вбудувати, наприклад, форму зворотного зв'язку, онлайн-опитування, реєстраційну форму etc.
До величезного вибору полів практично всіх типів (рядок тексту, багаторядковий текст, е-мейл, файл, дата, радіокнопка, формула — всього понад 20 типів) додана можливість налаштовувати дизайн і функціонал форми (додавати логотип і капчу, змінювати колір-розміри меж і веб-форми). А тим, у кого вже є готовий CSS-файл і того простіше: завантажуємо його в систему і веб-форма приймає необхідний зовнішній вигляд.

Читати далі →

Сходження дата-інженера

image

Я приєднався до команди Facebook в 2011 році в якості інженера бізнес-аналітика. До моменту, коли я залишив команду в 2013 році я вже був дата-інженером.

Мене не просували або призначали на цю нову позицію. Фактично, Facebook прийшла до висновку, що виконувана нами робота є класичною бізнес-аналітикою. Роль, яку в підсумку ми для себе створили, була повністю новою дисципліною, а я і моя команда перебували на вістрі цієї трансформації. Ми розробляли нові підходи, способи вирішення завдань та інструменти. При цьому, найчастіше, ми ігнорували традиційні методи. Ми були піонерами. Ми були дата-інженерами!

Дата-інжиніринг?
Наука про даних як самостійна дисципліна переживає період отроческого самоствердження і визначення себе. У теж час дата-інжиніринг можна було назвати її «молодшим братом», який теж проходив через щось подібне. Дата-інжиніринг приймав від свого «старшого родича» сигнали, шукав своє місце і власну ідентичність. Як і вчені, займаються обробкою даних, дата-інженери теж пишуть код. Він є высокоаналитическим, з великою часткою візуалізації.

Але на відміну від вчених, що працюють з даними і натхненними більш зрілим прабатьком сфери — програмуванням — дата-інженери створюють власні інструменти, інфраструктуру, фреймворки і сервіси. Насправді, ми набагато ближче до програмування, ніж до науки про даних.

Читати далі →

Еволюційний дизайн баз даних


За останнє десятиліття ми розробили і вдосконалили кілька методів, які дозволяють дизайну баз даних еволюціонувати паралельно з розробкою програми.
Це дуже цінна властивість гнучких методологій. Методи спираються на застосування безперервної інтеграції та автоматизованого рефакторінгу до розробки баз даних, а також на тісну взаємодію між розробниками додатків і адміністраторами БД. Ці методи працюють як в препродакшн і вже стартували системах, у свіжих проектах без легасі, так і в успадкованих системах.
В останнє десятиліття ми спостерігаємо зростання гнучких методологій. Порівняно зі своїми попередниками, вони змінюють вимоги до дизайну баз даних. Одне з найважливіших серед вимог – ідея еволюційної архітектури. В гнучкому проекті ви припускаєте, що не можете заздалегідь поправити вимоги системи. В результаті, мати деталізовану, чітку стадію дизайну на початку проекту стає непрактично. Архітектура системи повинна еволюціонувати одночасно з ітераціями софту. Гнучкі методи, зокрема, екстремальне програмування (XP), мають набір методик, які роблять цю еволюційну архітектуру практичною.
Читати далі →

Робота з БД в CleverStyle Framework

На рахунок БД на перший погляд може здатися, що функціональність з коробки досить убога. Частково це правда, але компенсується тим, арсенал дуже добре продуманий, вирішує поставлені завдання і орієнтований на продуктивність.
А якщо вам потрібні більш функціональні інструменти — їх завжди можна встановити за смаком, це набагато простіше ніж випиляти складного вайлуватого монстра.
Ця стаття покаже основні інтерфейси, а трейты
cs\CRUD
та
cs\CRUD_helpers
залишаться на інший раз.
Читати далі →

Adminer — веб-інтерфейс для баз даних розміром в один .php файл



У світлі недавнього поста про порівняння PostgreSQL і MySQL, в коментарях виникла проблема вибору зручного інтерфейсу для роботи з постгресом. Я сам зіткнувся з такою проблемою, вирішивши пошукати альтернативи всім відомому phpMyAdmin / php*Admin, який вважається стандартом у веб-майстрів.

Читати далі →

Трохи понагнетаем: стало зрозуміліше, що буде з персональними даними після 1 вересня 2015


Штрафи за різні порушення підсумовуються.

242-ФЗ підказує нам, що оператор зобов'язаний забезпечити запис, зберігання, редагування та вилучення персональних даних громадян Російської Федерації (це все, що прямо або побічно відноситься до суб'єкта ПДн. Та номер телефону, і навіть рівень захищеності її даних можна віднести сюди згідно з 152-ФЗ) з використанням баз даних, що знаходяться на території Російської Федерації. З 1 вересня 2015 року. За використання первинної бази за межами РФ вам світить відносно невеликий штраф і, що куди гірше, блокування ресурсів протягом 3 робочих днів з дати судового рішення. При цьому розблокувати доступ і «вийти» з реєстру можна буде тільки за рішенням суду.

Читати далі →

Нормалізація відносин. Шість нормальних форм

В даній темі я торкнуся 6 нормальних форм і методи приведення таблиць в ці форми.

Процес проектування БД з використання методу НФ є ітераційним і полягає в послідовному перекладі відносини з 1НФ в НФ більш високого порядку за певними правилами. Кожна наступна НФ обмежується певним типом функціональних залежностей і усуненням відповідних аномалій при виконанні операцій над відносинами БД, а також збереження властивостей передують НФ.

Читати далі →

Рефакторинг серверної страхової компанії: коли фізичного місця менше, ніж даних



Страхові — треті після банків і стільникових операторів споживачі «важкого» IT-заліза. На момент початку робіт ситуація була така: в офісі однієї компанії стояла їхня центральна серверна (нагадує невеликий машзал дата-центру), і в ній, в цілому, все чудово працювало.

Проблема була в тому, що місце під стійки (і в самих стійках) в серверній скінчилося ще 2 роки тому. В інших двох ЦОДах місце було, а ось тут — ні.

Друга проблема в тому, що основна база продакшну лежала на 149 томах, фізично — як швейцарський сир у серверах. Обумовлено це було тим, що коли вимагалося її збільшити, знаходили першу вільну дірку у фізичних дисках і пхали туди. Між томами бази могли перебувати бази інших проектів, ЗА різні тимчасові файли і так далі. Загалом, потрібно було наводити порядок.
Читати далі →