Вас атакує штучний інтелект



В кінці минулого року «штучний інтелект» багато разів згадували підсумки та прогнози IT-індустрії. І в нашу компанію, яка займається інформаційною безпекою, все частіше стали надсилати з різних видань запитання про перспективи AI. Але експерти з безпеки не люблять коментувати цю тему: можливо, їх відштовхує саме ефект «жовтої преси». Легко помітити, як виникають такі питання: після чергової новини типу «Штучний інтелект навчився малювати як Ван Гог» журналісти хапаються за гарячу технологію і йдуть опитувати по ній всіх підряд – а чого може досягти AI в тваринництві? А в сфері освіти? Десь у цьому списку автоматично виявляється і безпеку, без особливого розуміння її специфіки.

Крім того, журналістика, щедро підгодована IT-індустрією, обожнює розповідати про досягнення цієї індустрії в рекламно-захоплених тонах. Саме тому ЗМІ прожужжали вам всі вуха про перемогу машинного інтелекту в грі Го (хоча від цього немає ніякої користі в реальному житті), але не особливо дзижчали про те, що в минулому році загинуло як мінімум дві людини, які довірили своє життя автопилоту автомобіля Tesla.

У цій статті я зібрав деякі спостереження про штучний інтелект з еволюційної точки зору. Це незвичайний підхід, але як мені здається, саме він найкраще дозволяє оцінити роль AI-агентів безпеки, а також безпеку AI в інших сферах.

Середовище і адаптація
Практично будь-яка новина про штучний інтелект розповідає про підвищення рівня самостійності машин: «комп'ютер обіграв...», «нейронна мережа навчилася...». Це нагадує описи лабораторних дослідів з тваринами. Однак у вивченні поведінки тварин вчені давно прийшли до необхідності досліджень у природному середовищі, оскільки саме середовище та адаптація до неї формують багато властивості організмів, неочевидні і незатребувані в лабораторіях.

Точно так само перспективи AI стануть зрозуміліше, якщо замість "ідеального коня у вакуумі" уважніше вивчити середовища, де AI мешкає. І помітити, наскільки розрізняються його успіхи в залежності від середовища. Спроби створення машинних перекладачів тривають понад півстоліття, на них витрачені мільярди доларів, але все одно для перекладу з китайської ви швидше наймете перекладача-людини, чим будете довіряти програмі. З іншого боку, боти для високочастотного трейдингу, які з'явилися десь у 2006 році, всього через пару років стали відігравати серйозну роль в економічних кризах. Ці роботи просто окупували ту цифрову середу, в якій вони відчувають себе як риба у воді – тобто набагато краще, ніж люди.

Не менш зручна цифрова середа створена для автоматизації хакерських атак: безліч пристроїв з безліччю стандартних вразливостей раптово об'єдналися в загальнодоступний океан завдяки Інтернету. Як показав досвід минулого року, щоб захопити мільйон камер безпеки і побудувати з них ботнет, програмі достатньо володіти мінімальним інтелектом. Але тільки якщо вона одна. Наступна версія ботнету Mirai, захопила ресурси попередньої, виявилася вже поскладніше. Так включається ще один двигун еволюції – конкуренція.



Гонка озброєнь і «змішана техніка»
Дивно, але більшість академічних досліджень в області AI ігнорували той факт, що інтелект взагалі – це результат жорстокої битви за виживання. Цілі десятиліття теоретичні «когнітивні науки» без особливого успіху намагалися моделювати те, що активно зростало десь поруч, в протистоянні шкідливих програм і систем безпеки.

Якщо ви почитаєте у «Вікіпедії» визначення дисципліни Artificial Life, то не знайдете там ні слова про комп'ютерні віруси – хоча вони демонструють все те, що ця дисципліна намагається моделювати аж до сімдесятих років. У вірусів є адаптивне поведінка (різні дії в різних умовах, вміння обманювати «пісочниці» і відключати антивіруси), є самовідтворення з мутаціями (так що сигнатури батьків стають марні для лову нащадків), є мімікрія (маскування під легальні програми) і багато ще чого. Якщо вже де шукати штучне життя – то вона саме тут.

Чи це допомагає зустрічному розвитку інтелекту захисних систем? Звичайно. Особливо якщо врахувати, що з ними воюють не лише віруси, але і колеги-безпечники. Наприклад, компанія Google останні два роки регулярно ламає антивіруси (чужі, звичайно ж). Уразливості в системах захисту знаходили і раніше, але завдяки Google антивірусні продукти вже починають сприйматися як загроза. Можна припустити, що глобальний пошуковик зачищає галявину, щоб викотити власні продукти в області безпеки. А може вже і викотив, але не для всіх.

Тут саме час сказати чарівні слова «машинне навчання» і «поведінковий аналіз» — адже саме такими технологіями може відзначитися Google, який контролює величезні потоки даних (індексація сайтів, пошта, браузер тощо). Однак і ці технології безпеки розвиваються трохи інакше, ніж в академічних іграшках AI.

Для початку подивимося на когнітивні науки, які я звинуватив у гальмах. Понад півстоліття в дослідженнях поведінки тварин і людей йшов спір «біхевіористів» і «этологов». Перші, переважно американські вчені, стверджували, що поведінка – лише набір рефлексів, реакцій на навколишнє середовище; найбільш радикальні з них сповідували принцип tabula rasa щодо навчання, заявляючи, що можуть перетворити будь-якого новонародженого у представника будь-якої заданої професії, оскільки його свідомість – чистий аркуш, куди треба просто записати правильні інструкції. Другий напрямок, етологія, виникло серед європейських зоологів, які наполягали на тому, що багато складні патерни поведінки є вродженими, і для їх розуміння потрібно вивчати будову і еволюцію організму, ніж спочатку займалася порівняльна анатомія, а потім нейробіологія і генетика.

Саме ці дві групи сперечаються визначили академічні напрямки розвитку штучного інтелекту. Прихильники спадного AI намагалися описати весь світ «зверху вниз», у вигляді символьних правил реагування на зовнішні запити – так з'явилися експертні системи, діалогові боти, пошуковики. Прихильники висхідного підходу будували низькорівневі «анатомічні» моделі – перцептрони, нейронні мережі, клітинні автомати. Який підхід міг перемогти в США в епоху процвітання біхевіоризму та ідеї свідомості як «чистого аркуша»? Звичайно, низхідний. Лише ближче до кінця XX століття висхідні реабілітувалися.

Однак на протязі десятиліть в теоріях AI майже не розвивалася ідея про те, що краща модель інтелекту повинна бути «змішаної», здатної застосовувати різні методи. Такі моделі стали з'являтися тільки в кінці XX століття, причому знову-таки не самостійно, а слідом за досягненнями природничих наук. Згорткові нейронні мережі виникли після того, як з'ясувалося, що клітини зорової кори кішки обробляють зображення в дві стадії: спочатку прості клітини виявляють прості елементи образу (лінії під різними кутами), а потім на інших клітинах відбувається розпізнавання зображення як набору з цих простих елементів. Без кішки, звичайно, не можна було здогадатися.

Ще один яскравий приклад – метання Марвіна Мінскі, який у 50-ті роки став творцем теорії нейронних мереж, в 70-е розчарувався в них і подався до «низхідним», а в 2006 році покаявся і випустив книгу The Emotion Machine, де насварив раціональну логіку. Невже до цього люди не здогадувалися, що емоції – це інший, не менш важливий вид інтелекту? Звичайно, здогадувалися. Але щоб зробити з цього поважають науку, їм знадобилося дочекатися появи MRT-сканнеров з красивими картинками. Без картинок в науці – ніяк.

А ось еволюція через гонку озброєнь в дикому середовищі Інтернету йде значно швидше. Міжмережеві екрани рівня додатків (WAF) з'явилися зовсім недавно: гартнеровский рейтинг Magic Quadrant для WAF випускається тільки з 2014 року. Тим не менш, вже на момент цих перших порівняльних досліджень виявилося, що деякі WAF використовують відразу кілька різних інтелектів". Це і сигнатури атак (спадний символьний інтелект), і поведінковий аналіз на основі машинного навчання (будується статистична модель нормального функціонування системи, а потім виявляються аномалії), і сканери вразливостей для проактивного патчінга (цей вид інтелекту у людей називається «самокопання»), і кореляція подій для виявлення ланцюжків атак у часі (хто-небудь в академічних розробках AI будував інтелект, здатний працювати з концепцією часу?). Залишилося додати зверху ще який-небудь «жіночий інтелект», який буде повідомляти про атаки приємним голосом – і ось вам цілком реалістична модель людського розуму, як мінімум в плані різноманітності способів мислення.



Імітація і ко-еволюція
Вище було сказано, що теоретики AI сильно залежали від віянь когнітивних наук. Ну гаразд, вони не цікавилися комп'ютерними вірусами – але може бути, замість цього вони навчилися добре імітувати людини, за заповітами великого Тюрінга?

Навряд чи. Уже багато років різні візіонери обіцяють, що рекламні системи, зібравши наші персональні дані, смаки і інтереси, почнуть досить точно передбачати нашу поведінку – і отримувати всякі вигоди від такої прозорливості. Але на практиці ми бачимо, що контекстна реклама цілий місяць показує нам річ, яку ми вже давно купили, а Facebook приховує листи, які насправді є важливими.

Чи означає це, що людина дуже складний для імітації? Але з іншого боку, один з головних трендів року – безліч серйозних атак на основі банального фішингу. Багатомільйонні втрати банків, витік листування великих політиків, заблоковані комп'ютери метро Сан-Франциско – все починається з того, що одна людина відкриває одне електронний лист. Там немає ніякої імітації голосу або логічного діалогу, ніякої нейронної мережі. Просто один лист з правильним заголовком.

Так може, для більш реалістичної картини світу варто переписати тьютинговское визначення з точки зору безпеки? — давайте вважати машину «мислячої», якщо вона може обікрасти людину. Так-так, це порушує гарні філософські уявлення про інтелект. Зате стає зрозуміло, що імітація людини на основі його минулого досвіду (пошукові запити, історія листування) випускає з уваги безліч інших варіантів. Людина може зацікавитися речами, які зачіпають самі базові загальні цінності (еротика) — або навпаки, включають цікавість відносно рідкісних явищ, взагалі не зустрічалися в минулому досвіді людини (перемога у лотереї).

До речі, багато фантасти відчували, що з усіх варіантів «гри в імітацію» найбільшої уваги стоїть саме та, яка пов'язана з безпекою. Не так важливо, що у Філіпа Діка андроїдів обчислювали за неправильної емоційної реакції (це можна підробити), а у Мерсі Шеллі – за невміння написати хайку (цього і більшість людей не вміють). Важливо, що це була гра на виживання, а не просто наслідування. Порівняйте це з розпливчастими цілями контекстної реклами – включаючи таку велику мету, як «освоїти заданий бюджет, але при цьому дати зрозуміти, що цього мало». І ви зрозумієте, чому штучний інтелект рекламних систем не поспішає розвиватися, на відміну від систем безпеки.

І ще один висновок, який можна зробити з успішності фішингових атак — спільна еволюція машин і людей впливає на обидві сторони цього симбіозу. Боти поки насилу говорять по-людськи, зате у нас вже є сотні тисяч людей, які все життя говорять і думають на машинних мовах; раніше цих бідолах чесно називали «програмістами», тепер їх політкоректно маскують під словом «розробники». Та й інші мільйони громадян, підсівши на машинні формати мислення (лайки, смайли, теги), стають більш механізовані й передбачувані — а це спрощує техніки впливу.

Більш того, заміна різноманітного сенсорного досвіду на один шаблонний канал комунікації (вікно смартфона з френдлентой Фейсбуку) веде до того, що вселити людині чужий вибір стає простіше, ніж обчислювати його власні смаки. На початку минулого століття Леніну доводилося годинами наживо виступати з броньовика для переконування народних мас, які вважалися «неграмотними» — але сьогодні такий же ефект на грамотних людей надають банальні спам-боти в соціальних мережах. Вони не тільки розводять громадян на мільйони доларів, але і беруть участь в державних переворотах – так що агентство стратегічних досліджень DARPA вже сприймає їх як зброю і проводить конкурс по боротьбі з ними.

І ось що цікаво: у конкурсі DARPA методи захисту припускають гонку озброєнь у тієї ж електронної середовищі соціальних мереж, немов таке середовище є незмінною даністю. Хоча це якраз той випадок, який відрізняє нас від тварин: люди самі створили цифрову середу, в якій навіть прості боти легко дурять людину. А значить, ми можемо зробити і зворотний трюк в цілях безпеки. Висуши болото, вимруть і малярійні комарі.

Можливо, такий підхід здасться комусь архаїчним – мовляв, автор пропонує відмовитися від прогресу. Тому наведу більш практичний приклад. У минулому році з'явилося кілька досліджень, автори яких використовують машинне навчання для підслуховування паролів через «супутні» електронні середовища – наприклад, через флуктуації сигналу Wi-Fi при натисканні клавіш, або через включений поруч Skype, що дозволяє записати звук цих самих клавіш. Ну і що, будемо винаходити у відповідь нові системи зашумлення ефіру? Навряд чи. У багатьох випадках ефективніше буде вирубати зайвий «ефір» на момент ідентифікації, та й саму ідентифікацію за паролем (простий машинний мову!) замінити на щось менш примітивне.



Паразити складності і AI-психіатри
Оскільки в попередніх рядках я принизив AI до простих социоботов, тепер поговоримо про зворотну проблему — про складності. Будь-яку новину про розумних нейронних мережах можна продовжити жартом про те, що їх досягнення ніяк не відносяться до людей. Наприклад, читаємо заголовок «Нейронна мережа навчилася відрізняти злочинців» — і продовжуємо "… а її творці не навчилися". Ну справді, як ви можете інтерпретувати або перенести куди-то знання, які являють собою абстрактні вагові коефіцієнти, розмазані по тисячам вузлів і зв'язків нейромережі? Будь-яка система на основі такої машинного навчання – це «чорний ящик».

Інший парадокс складних систем полягає в тому, що вони ламаються простими способами. У природі це з успіхом демонструють різні паразити: навіть одноклітинна істота начебто токсоплазми примудряється управляти складними організмами ссавців.

Разом ці дві властивості інтелектуальних систем дають відмінну мета для хакерів: зламати легко, зате відрізнити зламану систему від нормальної – важко.

Першими з цим зіткнулися пошуковики: на них пишним цвітом розквітнув паразитний бізнес пошукової оптимізації (SEO). Досить було згодувати пошуковику певну «наживку», і заданий сайт потрапляв у перші рядки видачі за заданими запитами. А оскільки алгоритми пошукової системи для звичайного користувача незрозумілі, то він найчастіше і не підозрює про такий маніпуляції.

Звичайно, можна виявляти косяки «чорного ящика» за допомогою зовнішнього оцінювання експертами-людьми. Сервіс Google Flu Trends взагалі перестав публікувати свої прогнози після публікації дослідження, яке виявило, що цей сервіс сильно перебільшував все епідемії грипу з 2011 по 2014-й, що могло бути пов'язано з банальною накруткою пошукових запитів. Але це тихе закриття – швидше виняток: зазвичай сервіси з подібними косяками продовжують жити, не дарма ж на них гроші витрачали! Зараз, коли я пишу ці рядки, Яндекс.Перекладач каже мені, що «bulk» перекладається як «Навальний». Але у цього глючного інтелекту є зворушлива кнопка «Повідомити про помилку» — і можливо, якщо нею скористаються ще п'ятсот осудних людей, накручений Навальний теж згине.

Постійними людськими поправками годуються тепер і самі пошуковики, хоча вони не люблять це визнавати, і навіть назву для цієї професії придумали максимально загадкове («асесор»). Але за фактом – на галерах машинного навчання Гугла і Яндекса вколюють тисячі людей-тестувальників, які цілими днями займаються похмурою роботою за оцінкою результатів роботи пошукових систем, для подальшого коригування алгоритмів. Про тяжку долю цих бурлаков не знав президент Обама, коли у своїй прощальній промові обіцяв, що штучний інтелект звільнить людей від малокваліфікованої роботи.

Але чи допоможе такий саппорт, коли рівень складності підвищиться до персонального штучного інтелекту, з якими всі нещасні будуть нещасливі по-своєму? Скажімо, ваша персональна Siri або Alexa видала вам цікаву відповідь. Що це, недоліки стороннього пошуковика? Або косяк самонавчання з вашої минулої історії покупок? Або розробники просто додали боту трохи спонтанності та гумору в синтезатор мови, щоб він звучав більш природно? Або ваш AI-агент зламаний хакерами? Дуже непросто буде з'ясувати.

Додамо сюди, що вплив інтелектуальних агентів уже не обмежується «відповідями на питання». Зламаний бот з гри доповненої реальності, типу Pokemon Go, може піддати небезпеці цілу юрбу людей, заводячи їх у місця, більш зручні для грабежу. А якщо вже згадана «Тесла» на автопілоті врізається в мирно стоїть вантажівка, як це траплялося не раз у минулому році – у вас просто немає часу подзвонити в саппорт.

Може, нас врятують більш розумні системи безпеки? Але от біда: стаючи більш складними і озброюючись машинним навчанням, вони теж перетворюються у «чорні ящики». Вже зараз системи моніторингу подій безпеки (SIEM) збирають стільки даних, що їх аналіз нагадує чи то ворожіння шамана на нутрощах тварин, то спілкування дресирувальника з левом. По суті, це новий ринок професій майбутнього, серед яких AI-психіатр – навіть не сама шизовая.



Моральний Бендер
Ви напевно помітили, що описані в цій статті, відносини людей і машин – конкуренція, симбіоз, паразитизм – не включають більш звичну картинку, де розумні машини є слухняними слугами людей і дбають тільки про людське благо. Так-так, всі ми читали Азімова з його принципами робототехніки. Але в реальності нічого подібного в системах штучного інтелекту досі немає. І не дивно: люди самі поки не розуміють, як можна жити, не завдаючи шкоди жодній іншій людині. Більш популярна мораль полягає в тому, щоб піклується про благо для певної групи людей – але іншим групам при цьому можна і нашкодити. Всі рівні, але деякі рівніші.

У вересні 2016-го британський Інститут стандартів випустив "Керівництво з етичного дизайну роботів". А в жовтні дослідники з Google представили свій "тест на дискримінацію AI-алгоритмів. Приклади в цих документах дуже схожі. Британці переживають, що поліцію захоплять роботи-сексисты: на основі даних про більш частих злочини серед чорношкірих система починає вважати більш підозрілими саме чорношкірих. А американці скаржаться на надто розбірливий банківський AI: якщо чоловіки вдвічі частіше виявляються неспроможні виплатити кредит, ніж жінки, машинний алгоритм на основі таких даних може запропонувати банку виграшну стратегію, яка полягає у видачі кредитів переважно жінкам. Це буде «неприпустима дискримінація».

Начебто все логічно, але ж влаштовуючи рівноправність у цих випадках, можна запросто збільшити ризики для інших людей. Та і як взагалі машина буде застосовувати абстрактну етику замість голої статистики?

Ймовірно, це і є головний нинішній тренд в темі «безпека AI» — спроби обмежити штучний інтелект за допомогою принципів, які самі по собі сумнівні. У жовтні минулого року адміністрація президента США випустила документ під назвою "Підготовка до майбутнього штучного інтелекту". У документі згадані багато з тих ризиків, які я описав вище. Проте відповіддю на всі проблеми є розмиті рекомендації про те, що «треба тестувати, треба переконуватися в безпеці». Із змістовних законів, що стосуються AI, названі тільки нові правила міністерства транспорту США з приводу комерційного використання безпілотників – їм, наприклад, заборонено літати над людьми. З іншого боку, главку про летальний автономне зброю (LAWS) скромно повідомляє, що «майбутнє LAWS складно передбачити», хоча воно вже давно використовується.

Ту ж тему розвинув Європарламент, який на початку 2017 року опублікував свій набір розпливчастих рекомендацій про те, як впроваджувати етику в роботів. Тут навіть зроблена спроба визначити їх юридичний статус, не такий вже далекий від людського — «електронна особу зі спеціальними правами і обов'язками». Ще трохи, і нам заборонять прати глючні програми, щоб не порушити їх права. Втім, у російських власна гордість: представники Держдуми РФ порівнюють штучний інтелект з собакою, на яку потрібно надіти намордник. На цьому місці з'являється прекрасна тема для протестних виступів – за свободу роботів в отдельнно взятій країні.

Жарти жартами, але не виключено, що саме в цих туманних принципах криється краще рішення проблеми безпеки AI. Нам здається, що еволюційна гонка озброєнь може розвинути штучні інтелекти до небезпечного переваги над Homo sapiens. Але коли розумним машинам доведеться зіткнутися з людської бюрократією, етикою і політкоректністю, це може значно притупити весь їхній інтелект.

===============================
Автор: Олексій Андрєєв, Positive Technologies

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.