збій у дата-центрі може призвести до скасування тисяч рейсів найбільших авіакомпаній

В минулий понеділок багато інтернет-ЗМІ писали про те, що тисячі авіарейсів друге за розміром і значущістю авіакомпанії світу були скасовані. Мова йде про Delta Air Lines. Тисячі і тисячі пасажирів Delta Air Lines не змогли нікуди відлетіти, оскільки рейси, на які вони купили квиток, просто перестали існувати. Як виявилося, проблема — в збої комп'ютерної системи компанії. Причому не регіональної, а в основній — проблема трапилася в головному дата-центрі Delta Air Lines, розташованому в Атланті, США.


Службовець Delta Airlines допомагає пасажиру, чий рейс скасували, розібратися в ситуації

У компанії є і дублюючі системи, які в разі проблеми в основному дата-центрі повинні були почати роботу, замінивши собою проблемні сервери. Але цього не сталося, вторинна, дублююча система теж не функціонувала. Цікаво, що за словами керівництва, компанія витратила десятки мільйонів доларів США в дублюючі системи. Фахівці Delta Air Lines змогли відновити лише за шість годин, але за цей час компанія втратила мільйони доларів через скасування рейсів і пов'язаних із цим збитків. Проблема — збій в енергосистемі і неполадки з запасним генератором.

Як виявилося, штатний перемикання з основною енергосистеми на допоміжний генератор призвело до виходу з ладу останнього. Сталася пожежа, яка швидко був погашений. Але вся інфраструктура дата-центру Delta Air виявилася знеструмленою. Тільки через кілька годин вдалося ввести в експлуатацію 400 500 серверів, і ще через деякий час відновилася робота решти 100 серверів. Весь цей час майже весь флот з 800 літаків залишався на землі. А скасування всього одного авіарейсу обійшлася компанії в $17 000, плюс довелося компенсувати пасажирам транспорт, харчування, додаткові витрати і т. п.

Ще одна проблема — застаріла інфраструктура дата-центру. Електронна система бронювання квитків була створена в 1960 році. З тих пір вона неодноразово перебудовувалася, оновлювалася, але все ж ІТ-інфраструктура компанії не відповідає сучасним вимогам. Обсяг даних, з якими працюють сервера компанії великий, а бекапи робляться кілька разів в день, а не в постійному режимі, тіньові копії не створюються. В результаті при аварійній ситуації відновлення нормальної роботи дата-центру вимагає більше часу, ніж якщо б дані бэкапились безперервно.

А що з Southwest Airlines?


Це ще одна велика авіакомпанія, яка втратила мільйони доларів США із-за збою в дата-центрі, який стався ще 20 липня. А причина збою — часткова відмова у роботі одного-єдиного маршрутизатора, яких в дата-центрі компанії сотні. Служба підтримки ДЦ не помітила проблеми, і буквально через кілька хвилин вся система розсипалася, як картковий будиночок. Керівник компанії порівняв подію з повінню, яке трапляється раз в 1000 років.

Протягом наступних чотирьох днів були скасовані 2 300 рейсів, сотні тисяч пасажирів нікуди не полетіли, протягом чотирьох днів квитки було неможливо забронювати. Все це коштувало компанії десятків мільйонів доларів у вигляді прямих і непрямих збитків. Акції Southwest Airlines впали на 11% і поки що динаміка зворотного зростання не надто активна.

Після проведення детального розслідування події виявилося, що збій стався сам по собі, втручання з боку не було. За словами фахівців, система резервного копіювання і зберігання інформації в дата-центрі компанії була налаштована неправильно, так що скористатися всіма цими даними, ввівши в роботу запасну систему, виявилося не можна.

У найближчому майбутньому компанія планує розгорнути нову систему бекапів, з новим обладнанням, що повинно звести до мінімуму повторення такої ситуації в майбутньому. Тим не менш, свої 10-15 мільйонів доларів США компанія втратила.

І це ще не все
Southwest Airlines і Delta Airlines не єдині авіакомпанії, які втратили гроші з-за збоїв обладнання дата-центрів. У травні компанія JetBlue просила своїх пасажирів реєструватися в аеропорту «вручну», а не автоматично. Причина — все той же збій комп'ютерної системи. Плюс United Airlines скасувала сотні авіарейсів з-за збоїв у власному дата-центрі в минулому році.

Основне джерело проблем — недостатня кількість серверів для бекапа, неправильно настроєна система резервування даних, проблеми з енергетичною інфраструктурою, економія. Плюс до всього, тут є проблема відсутності уніфікації обладнання та сервісів — у кожної компанії технічні системи власні, інколи унікальні, розроблювані протягом десятків років. У результаті загальні рішення, рекомендовані у разі збоїв в структурі дата-центрів, для ряду таких компаній просто незастосовні. А це тягне за собою, як бачимо, мільйонні збитки.

Відповідно до недавнього дослідження, проведеного інститутом Понемона, збій в дата-центрі обходится його власникам в середньому в $74000 (в 2015 році). Найдорожчим виявилась одна з торішніх аварій, із загальною сумою збитків для власника дата-центру в $2.4 млн.

Інші наші публікації:
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.