Розпочнемо рік з позитиву: як сідають адміни і CIO



Насправді, звичайно, ось прямо сісти — досить серйозне завдання навіть при повному раздолбайстве. Але втратити роботу за день і більше ніколи не повернутися в ІТ-сферу — таких випадків сотні.

Я розповім кілька байок. У деяких з них змінені деталі, щоб не можна було дізнатися компанію. Якщо ви впізнаєте свою — не турбуйтеся, напевно ці випадки майже типові для всієї країни. Ви ж знаєте анекдот про першого залетів дятла.


Три ІТ-директора за рік
В однієї роздрібної мережі за рік змінилося відразу три ІТ-директора. Останній змінювався при мені. Дзвінок з регіону вранці, кажуть: треба терміново відкрити нову точку. У них внутрішній SLA — тиждень. Чоловік пояснює: так і так, все готово, якщо чекати тиждень — це тиждень оренди. Вкрай дорого, просить допомогти, чим можна, щоб вийшло швидше. ІТ-директор йому відмовляє. Далі цей же мужик дзвонить засновнику. На наступний день ІТ-директор уже не працює. Причина — не зрозумів потреби бізнесу, підійшов до процесу формально.

Ми тут були на контракті в частині аутсорса. Новий ІТ-директор звернувся до нас і попросив хлопців для робіт, ми не відмовили — у наших договорах обслуговування такі форс-мажори закладаються як аварії. Треба сказати, що ми не раз з таким стикалися у різних замовників, і тому відразу закладаємо невеликий запас на термінові роботи. Всі впевнені, що їх не буде, але вони завжди трапляються.

З іншого боку, бувають і зворотні приклади. В одному банку ми підтримували протягом декількох років інтеграційну шину. ІТ-директор там щось накосячілі, і змінили його, його заступника та припинили договір з контрагентом щодо підтримки, то є з нами. Нашу команду вибили з об'єкта на наступний же день, 9 осіб. Віддали інфраструктуру двох адмінам, які вміли патчі накочувати. Вони почали швидко вчитися, але все одно не дуже допомагало, так як ми підтримували в режимі 24х7, а ці двоє все ж іноді спали. В результаті їх наполегливо примушували жити без сну і працювати за п'ятьох, поки не зрозуміли, що все марно, і не набрали нову команду.

Про благодійництво та її наслідки
Є ще один банк на Новий рік 2007-2008 скоротив посаду ІТ-директора. Так вийшло, в результаті ІТ стало займатися закупівлею барахла, а підтримкою не займався ніхто. І, що передбачувано, в якийсь момент ВСЕ ВПАЛО. Це було в свята. Ми в результаті на дружніх засадах для нового ІТ-директора підняли АБС, за фактом — в рамках благодійності, без контракту.

У однієї великої регіональної освітньої організації закупили величезний парк устаткування для зв'язку і великий парк для серверного вузла. З десяток мільйонів рублів. Після цього вони розформували весь ІТ-штат. Увечері в суботу моєму колезі подзвонив чоловік, який сказав: «Здрастуйте, я Микола, інженер тут, і я не знаю, що мені робити, тому що в понеділок буде масштабна перевірка. Можете хоча б пояснити, що за обладнання, як воно працює і куди ми ці гроші витратили?» У підсумку до обіду неділі хлопці просиділи на телефоні, перериваючись тільки за таймаутам стільникових операторів та в туалет сходити. Микола давав доступи, і з колегою вони віддалено розгортали відеоконференц-мережу. У понеділок вони успішно провели першу конференцію. Наскільки я знаю, інженер потім ще місяць стукав з питаннями, до тих пір поки ми ввічливо не дали зрозуміти, що ця послуга платна.

Один раз було змагання у вирішенні проблеми. Дзвінок від замовника: «Все погано, мережа не працює». Ми отримали команду «рятувати». Висунувся наш хлопець з ікс-команди і продажник. Коли приїхали, виявилося, що там 5 команд з інших інтеграторів. Років десять тому ми були б єдині, а тут пахло грошима, і тому вулик гудів. Проблема не вирішувалася довго. До вечора залишилося вже три команди. Наші трималися, в 5 ранку на місці виявилися тільки ми з вендором — разом проблему вирішили. Через тиждень виставили рахунок, без обговорення суми замовник оплатив. Рідкісний випадок, тому що коли проблема вирішується, надана послуга нічого не коштує.

Ще був замовник з банку, який порахував в нашому калькуляторі ІТ-послуг вартість підтримки. На виході видається результат в першому наближенні, без знання нюансів інфраструктури замовника закладається середній випадок по країні — коли в мережі є архітектурні складності. Після слід детальний розмова, обстеження та інші реверанси — звичайно, фінальна вартість може сильно варіюватися, причому в обидві сторони. Тим не менше їх CIO нас довго маринував: мовляв, чому так дорого, чому ви думаєте, що у нас мережа розвалена. У підсумку ми далі попереднього аудиту не пішли, відмовилися від контракту. Була проблема в інфраструктурних сервісах — косяк на рівні архітектури, міна сповільненої дії. Але вони вважали, що милиці — відмінний будівельний матеріал. Як я тут три мільйони на рік буду платити за підтримку? Щоб було трохи зрозуміліше: кілька років тому для опису ситуації прозвучала фраза: «Банківські стандарти для бекапа тільки на папері, а хелпдеск — це дві пляшки коньяку аудитору».

За моїми даними (ми потім кілька років тому зустрілися з учасниками історії), за рішення проблеми вони заплатили 14 мільйонів. В той момент банк стояв, включилося жорстке кризове управління, і рахунок за рішення колеги з іншого інтегратора їм вкрутили відмінний. Підняли дещо-як на те ж море милиць — і після цього вони все-таки замовили підтримку і переробку мережі.

Часто великі компанії готові платити більше за зменшення ризиків. Наприклад, був тендер однієї американської компанії в РФ, яка мала купу дрібних постачальників на два десятки сервісів. Їх дістало адмініструвати всі окремо. Оголосили конкурс НА ВСЕ. І вийшов один великий контракт на саппорт від інфраструктури до підтримки прикладного SAP. Зараз взагалі тенденція — багато конкурси спрямовані на позбавлення від маленьких постачальників, укрупнення сервісних контрактів. Нішеві рішення на одному сервері на десяток людей відмирають — вони намагаються включити всі такі штуки в великий контракт. Тенденція до укрупнення прийшла від західного бізнесу, у них зараз це майже всюди практикується.

Часто нас наймають, щоб в разі чого було на кого перекласти відповідальність. В цілому за це ми і беремо гроші, тому що беремо відповідальність.

«Правило десяти»
В одному далекому засніженому місті ми ставили балансировщики для оптимізації трафіку. Процедура проста: розрив між каналом і дата-центром ставляться нові залозки, прибираються старі. Ситуація трохи ускладнилася тим, що хлопці, користуючись нагодою, вирішили заодно поміняти інтерфейси c 1G на 10G, оскільки в новому році була запланована заміна комутаторів ядра мережі. Все це відбувалося наприкінці грудня, терміни злетіли, критично було закрити до кінця року. Швидко узгодили, поспілкувалися з інженерами, попереписывались тиждень, двоє вихідні — субота та неділя — повинні піти нічні роботи, потім спостереження. Колега прилетів і почув епохальну фразу: «На ось горілочки. Ми тут подумали, давай взагалі по-іншому». Їм там треба було замінити ще одну залізяку, і вони придумали нову схему, намалювали її на фліпчарті. На узгодження — добу. Але, що нам дуже сподобалося, був детальний роллбек-план, який за опрацьованості був прописаний на рівні hardcore, тобто до всіх дрібниць і випадків на кшталт висадки прибульців.

Колега уточнює, чому так. Кажуть: «Треба бути дуже й дуже обережними». Виявляється, мовляв, «є момент: ліміт на кількість критичних інцидентів в рік — не більше 10. Дев'ятий був у листопаді. Будь-який розрив зв'язку з центром — це критика. Працюємо дуже акуратно і ніжно. На кону премії. Якщо що — взагалі всі залишаться без подарунків». З п'ятниці на суботу на резервному Цоді. Подивилися, перевели трафік на резервну майданчик, з суботи на неділю робили в основному — перевели назад. Неділя моніторили, в понеділок в повну силу спостерігали. Все закінчилося добре. З тих пір ми полюбили банки, де є схожі правила. Треба сказати, що вони нас кликали, зокрема, щоб підстрахуватися (в цілому могли б і самі змонтувати). Але безперебійна робота — я маю на увазі премії — дорожче.

За що все ж сідають?
Як це буває в реальності, думаю, вже зрозуміло. Тепер пара прикладів саме «жорстких посадок».

У грудні 2013 року в роботі Citibank в Північній Америці стався збій, який тривав кілька годин. Збій був викликаний системним адміністратором. Тоді співробітник захотів помститися керівництву, скинувши налаштування конфігурації 9 з 10 маршрутизаторів, що належать банку. Сисадмін Браун визнав свою провину в суді. У результаті його приговорили до 21 місяця позбавлення волі і штрафу в 77.200 доларів.

Служба генерального інспектора NASA провела перевірку в ІТ-департаменті космічного агентства США, в ході якої з'ясувалося, що колишня CIO не зуміла компетентно організувати управління ІТ-інфраструктурою організації. Перевіряючі виявили, що в результаті неефективного контролю за витратами на ІТ федеральний бюджет щорічно втрачає більше мільярда доларів.

У нас найчастіше штрафують. Директора ІТ-департаменту великого відомства оштрафували судом на 20 тисяч за те, що ті не змогли приписаний Рахунковою палатою термін випустити нормативні документи (визнано адміністративним правопорушенням). Часто судять системних адміністраторів за піратський «лівак»: ось на 3 роки за встановлення неліцензійних програм (березень 2005-го), ось за незаконну установку Autodesk Ink Microsoft Windows XP (червень 2009-го).

Колишній сисадмін ЧФ ЗАТ «АБС РУСЬ» засуджений за блокування робочої мережі (жовтень 2016-го). Як було встановлено слідчими УФСБ, влітку 2015 року обвинувачений, використовуючи своє службове становище, здійснив неправомірний доступ до телеком-мережі компанії, в результаті якого відбулося блокування інформації як самої компанії, так і низки інших, у тому числі пов'язаних з оборонно-промисловим комплексом. В результаті злочинних дій засудженого була паралізована вся мережа підприємств, що виразилося непрацездатності основних програм, використовуваних його співробітниками при виконанні своїх трудових функцій.

З відомих мені людей ніхто не сідав, але втрачали роботу в момент. Найкращий приклад — був випадок, коли CIO, головний адмін і заступник CIO в держкомпанії проклацали терміновий лист від міністра. Це був їх останній робочий день як у цій держкомпанії, так і взагалі в держапараті.

В електроенергетиці нас взяли на «підстраховочний» контракт — там кожен день треба відправляти один XLS на біржу електроенергії. Прощелкал такий звіт — знімають компанію з біржі. Можна гріти повітря, ярд втрат відразу просто тому, що «не подана». Теж каструють методом відриву, але до суду не доходить. Нам розповідали про попередніх невдах, коли підписували контракт.

У роздробі падіння фіскальних реєстраторів, процесингу або логістики в пік продажів — це капець. Половина айтішників відразу піде шукати роботу — навіть розбиратися в кінці піку не стануть, хто і що. Були приклади. Теж була пара підстраховочних договорів: рятувати дупу, якщо все звалилось — ікс-команда, на виїзд.

Один раз ми з адміном серверну шукали. Він просто не знав, де вона, хоча працював вже більше року.

На виробництвах ще жорсткіше, там АСУ ТП. На небезпечному виробництві, якщо виникла несправність датчиків, може, наприклад, турбіну заклинити. Саме тому за підтримку виробничого обладнання ІТ-фахівці вкрай не люблять братися — там баг може означати смерть робітника. Хоча, звичайно, частіше це профуканный регламенту — наприклад, я знаю випадок з травмами на ескалаторі, коли стрічка порвалася в метро (пропустили регламент обслуговування, аварійне гальмо не спрацював).

Ще за персональні дані хороші штрафи тепер пішли, тому теж багато контрактів на підтримку дістається.

Мабуть, коли наступний замовник мене запитає, чому наш калькулятор видає такі дивні числа, я йому покажу цей пост. І поясню, що якщо він готовий брати відповідальність на себе — не питання, можна дешевше. Але зазвичай відповідальність все ж на нас. Або ж ми страхуємо. Це розуміння, як правило, знімає всі питання.

Посилання
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.