Palantir: як виявити ботнет

У 2009 році китайська киберразведка на своїй шкурі відчула міць всевидючого ока Palantir. Аналітики зInformation Warfare Monitor розкрили великі китайські розвідувальні операції — Ghostnet і Shadow Network. отчет)

Разом з компанією Edison продовжуємо розслідування можливостей системи Palantir.


«Сподіваюся, що трохи залишилося років до того, як людський мозок і обчислювальні машини будуть тісно пов'язані, а вийшло партнерство буде думати так, як людський мозок ніколи не зможе, і обробляти дані способами, недоступними відомим машинам.»Сказав Джозеф Ликлайдер 56 років тому, стартонув кафедри інформаційних технологій у провідних вузах Америки і почав будувати ARPANET. «Люди будуть ставити цілі, формулювати гіпотези, визначати критерії та виконувати оцінку. Комп'ютери будуть робити рутинну роботу щоб розчистити шлях до відкриттів в технічних і наукових областях».

«Взаємодоповнюваність людини і комп'ютера — не тільки глобальний факт. Це ще й шлях до створення успішного бізнесу. Я усвідомив це на власному досвіді, отриманому в PayPal. У середині 2000-х наша компанія, переживши крах міхура доткомів, швидко зростала, але нас турбувала одна серйозна проблема: через шахрайства з кредитними картами ми втрачали більше 10 мільйонів доларів щомісяця. Здійснюючи сотні і навіть тисячі переказів в хвилину, ми не могли фізично відстежувати кожен з них — жодна команда контролерів не в змозі працювати з подібною швидкістю. Ми вчинили так, як вчинила б на нашому місці будь-яка команда інженерів: спробували знайти автоматизоване рішення.»
Сказав Пітер Тіль і заснував Palantir.

Під катом кейс про те, як за допомогою інструменту фінансової аналітики можна розкрити ботнет.
Кейс «вигаданий», але на скріншотах фігурують дані 2009 року.

(За допомога з перекладом спасибі Ворсину Олексію)



0:00 Це відео покаже, як за допомогою продукту Palantir для фінансової аналітики ми можемо дослідити, нефінансові дані структуровані в часі.
0:09 Якщо бути точним, то ми покажемо викриття можливої ботнет-атаки, зроблене на основі аналізу деякої кількості киберданных з допомогою Palantir Finance і Palantir Goverment.
0:16 Даними буде вся інформація про підключення відхилених маршрутизатором за чотири дні.
0:22 Ми побачимо, як аналітик буде вивчати дані і досліджувати те, що виглядає підозріло.
0:28 Ми почнемо на дуже загальному рівні, над усією сукупністю об'єктів і будемо додавати фільтри по одному, спускаючись, таким чином, вниз, крок за кроком.
0:35 Полі внизу буде показувати відфільтровані об'єкти.
0:41 Щоб почати, ми розподілимо дані про відхилених підключення по портах, на які вони спрямовані. Ми зробимо це, використовуючи фільтр.
0:48 Існує багато видів фільтрів для дослідження даних.



0:51 Ми можемо фільтрувати за властивостями даних, і для цього використовуємо фільтри зліва, у верхній частині екрана.
0:54 За числовим значенням, використовуючи гістограму та інші фільтри.
0:58 За властивостями, заснованим на часі, за допомогою фільтрів timeline.
1:01 Ми хочемо дізнатися, наскільки багато підключень було відхилено на всіх портах призначення, так що ми додамо фільтр «за призначенням порту».
1:10 Фільтр «гістограма» показує нам розподіл за портів призначення.



1:14 По осі Х розташовані різні групи портів, по осі Y ми бачимо скільки підключень зафіксовано в port bucket.



1:21 Гістограма показує нам кілька різних речей: по-перше, ми бачимо, що майже всі порти були задіяні.
1:27 Найбільша концентрація активності, помітна в портах до 5000, що має сенс, так як цей відрізок включає в себе найбільш часто використовувані порти, наприклад AD порт для HTTP або порт 23 для Telnet.



1:37 Давайте подивимося на найбільший стовпець.
1:41 Дивлячись на поле внизу, ми бачимо що цей стовпець відноситься до порту 1434, що має значення, так як цей порт використовується для MS SQL, і він часто є мішенню для хробака SQL slammer.



1:51 Порти з більш високою нумерацією рідше використовуються в легітимних цілей, так що ми досліджуємо один з цих сегментів портів.
1:56 Ми можемо клікнути на сегмент портів, щоб відфільтрувати результати по об'єктах з цього сегменту.
2:00 Цей сегмент може містити кілька портів, але нас цікавить тільки один, найбільш часто задіяний.
2:07 Ми можемо використовувати збільшення (Zoom) – одну з функцій вибору в гістограмі.
2:09 Збільшивши, ми бачимо, що порт 18100 відповідальний майже за все підключення.



2:15 Ми виділимо цей порт, щоб досліджувати підключення, адресовані до нього.
2:20 Давайте подивимося, як ці підключення розподілені по IP адресою.
2:25 Ми можемо додати фільтр «категорія» (category), щоб побачити всі IP-адреси, які є цільовими для цього сегмента (портів).
2:30 Ми бачимо, що майже всі підключення адресовані одному IP.



2:33 Ми виділимо цю адресу, щоб побачити тільки пов'язані з ним підключення.
2:37 Тепер ми досліджуємо ці підключення по часу їх появи.
2:41 Ми зробимо це, додавши фільтр «підключення» (connection time).



2:45 Ми можемо побачити, що вся маса підключень сталася протягом десяти годин, і кількість підключень наростало, досягла піку і з часом зійшло нанівець.

2:53 Це цікавий приклад, ми повернемося до нього пізніше.
2:56 Щоб отримати краще уявлення про дані, давайте дослідимо джерела цих підключень. Особливо, ми хочемо побачити такі характеристики підключень, як IP-адреса і порт джерела з часу підключення.
3:07 Ми можемо досліджувати за допомогою фільтра «діаграма розсіювання» (scatterplot).
3:12 За вісь X ми візьмемо час, за вісь Y – порт джерела підключення.
3:20 Ми можемо використовувати кольори як третю вісь, значення IP адреса джерела підключення.
3:31 Це означає, що одні і ті ж IP адреси джерел будуть виділятися одним кольором.
3:37 Ми можемо побачити тут дещо цікаве: деякі порти були цільовими тільки для невеликої кількості IP-адрес, що ми можемо побачити по точках схожого кольору і розташованим тільки по горизонталі.



3:47 Ряд інших портів, схоже, був метою для всього безлічі IP адрес.
3:52 Ми так само можемо побачити кілька діагональних помаранчевих смуг, давайте вивчимо їх докладніше.
4:00 Те, що смуги диагональны, означає, що номер порту джерела підключення постійно збільшувався.



4:06 Те, що смуги близькі за кольором означає, що підключення приходило зі схожих IP адрес.
4:09 Давайте подивимося, чи зможемо ми сконцентруватися на них.
4:13 Для початку виберемо смужку. Як тільки ми вибрали кілька номерів із смуги, ми можемо додати фільтр по IP адресою джерела підключення.



4:23 І ми бачимо, що всі ці підключення прийшли з одного IP, чого я і очікував за кольором.



4:29 Ми можемо виділити цей IP і помістити цей фільтр поверх іншого, щоб уточнити результати діаграми розсіювання.
4:35 Ми можемо згорнути фільтр по категоріях і побачити діаграму розсіювання тільки з цього IP адресою.



4:41 Ми бачимо, що цей IP адреса, безсумнівно, перенацеливается на різні порти відправлення, з плином часу. Це класична поведінка при скануванні портів.
4:50 Ця робота розкрила підозрілу активність: багато різних IP циклічно і через безліч портів були націлені на підключення до одного IP і одного порту за короткий проміжок часу.
5:02 Тепер ми використовуємо Palantir Goverment, щоб проаналізувати ці дані в часі та за географічною ознакою.



5:06 Ми створили фільтр, щоб ущільнити підмножина даних, які ми знайшли цікавими з допомогою Palantir Finance. Параметрами фільтра стали об'єкти «підключення», націлені на IP адресу 25.134.141.209 і порт 18100.



5:20 Результати фільтра з'явилися на графі.



5:25 Ми можемо відкрити timeline і побачити, що вона схожа з тією, що ми бачили в Palantir Finance.
5:30 Тепер ми перетягнемо ці об'єкти на карту, щоб побачити розташування IP адрес цих підключень.



5:37 Теплова карта з допомогою кольору допомагає перевірити щільність з'єднань.



5:42 Ми бачимо, що найбільша щільність в Китаї.
5:47 За допомогою time line ми можемо побачити, як події розвивалися.
5:51 Ми створюємо віконце часу і рухаємо його, щоб побачити, як реагує теплова карта.



5:57 Ми бачимо, що підключення почалися в Китаї, потім поширилися на Японію та Індонезію, потім ми бачимо області в Південній Америці, Європі та Австралії.
6:11 Нарешті, коли темп підключень сходить нанівець, вони знову сконцентровані в Китаї і Індонезії.
6:23 Ця timeline і схема активації досить ясно вказує на ботнет атаку. Коли атака починається, і все більше число комп'ютерів втягується в неї, число підключень зростає до максимуму, а потім поступово знижується, так як кожен комп'ютер намагається виконати різну кількість підключень або підключається з різною швидкістю.
6:40 За цю робочу сесію ми використовували Palantir Finance, щоб досліджувати великий обсяг даних, і успішно звели його до підмножини даних, з допомогою фільтрів.
6:49 Ми змогли побачити кілька характеристик даних і виявили підозрілу активність.
6:56 Результати роботи Palantir Finance ми відкрили в Palantir Goverment, який дав можливість провести географічний і часовий аналіз, що дало можливість візуалізувати те, як події розвивалися.
7:05 В кінцевому рахунку, наш аналіз завершився розкриттям активності, яка з високою часткою ймовірності є ботнет атакою.
7:11 Ті ж техніки, що ми використовували при розкритті характерних рис ботнет атаки з великого обсягу даних про підключення, може бути використаний для виявлення іншої зловмисної активності в мережі, включаючи narrow-не-розбери-що, витяг даних, атаки з використанням методів соціальної інженерії, і багато іншого.
7:26 Все це: комбіноване пропозицію Palantir Cyber, — готове рішення для боротьби з найбільш обтяжливими завданнями в мережі, встающими перед урядовими та комерційними установами.



Ще про Palantir:





Разом з компанією Edison продовжуємо весняний марафон публікацій.

Я постараюся докопатися до першоджерел IT-технологій, розібратися, як мислили і які концепції були в головах у першопрохідців, про що вони мріяли, яким бачили світ майбутнього. Для чого замислювалися «комп'ютер», «мережа», «гіпертекст», «підсилювачі інтелекту», «система колективного вирішення задач», який сенс вони вкладали в ці поняття, якими інструментами хотіли добитися результату.

Сподіваюся, що ці матеріали стануть натхненням для тих, хто задається питанням, як перейти «від Нуля до Одиниці» (створити щось, чого раніше і в помині не було). Хочеться, щоб IT та «програмування» перестали бути просто «кодингом заради бабла», і нагадати, що вони задумувалися як важіль, щоб змінити методи ведення війни освіта, спосіб спільної діяльності, мислення і комунікації, як спроба вирішити світові проблеми і відповісти на виклики, що постали перед людством. Як-то так.

0 березня. Сеймур Пейперт
1 березня. Xerox Alto
2 березня «Зателефонуйте Джейк». Історія NIC і RFC
3 березня Грейс «бабуля COBOL» Хопер
4 березня Маргарет Гамільтон: «Пацани, я вас на Місяць відправлю»
5 березня Хеді Ламарр. І в кіно знятися оголеною і у ворога торпедою пульнути
7 березня Чудова шістка: дівчата, які термоядерний вибух розраховували
8 березня «Відеоігри, я ваш батько!»
9 березня З днем народження, Джеф Раскін
14 березня Джозеф «Lick» Ликлайдер: «Интергалактическая комп'ютерна мережа» і «Симбіоз людини і комп'ютера»
15 березня Вэнивар Буш: «Як ми можемо мислити» (As We May Think)
16 березня З днем народження, Річард Столлман
21 березня Дуглас Енгельбарт: «The Mother of All Demos». Частина 1

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.