Як зараз використовують нейромережі: від наукових проектів до розважальних сервісів

В 1960-х роках з'явився новий підрозділ інформатики — штучний інтелект (ШІ). Півстоліття інженери продовжують розвивати обробку природної мови і машинне навчання, щоб виправдати надії на появу сильного ШІ.

Ми в 1cloud, пишемо в блозі не тільки про себе [клієнтоорієнтованість, безпека], але і розбираємо цікаві теми на зразок ментальних моделей або систем зберігання даних на основі ДНК.

Сьогодні ми розповімо про те, як машинне навчання використовується зараз: чому нейронні мережі популярні у фізиків, як працюють рекомендаційні алгоритми YouTube і допоможе машинне навчання «перепрограмувати» наші хвороби.


/ Zufzzi / Wikimedia / CC0

Всесвіт тільки здається неосяжною

Математичних функцій на порядок більше, ніж можливих мереж для їх апроксимації. Але глибокі нейронні мережі якимось чином знаходять правильну відповідь. Генрі Лін (Henry Lin) з Гарварду і Макс Тегмарк (Max Tegmark) з Массачусетського технологічного інституту пытаются зрозуміти, чому так відбувається.

Вчені прийшли до висновку, що Всесвіт керується лише невеликою частиною всіх можливих функцій: закони фізики можна описати функціями з простим набором властивостей. Ось чому глибоким нейронних мереж не потрібно апроксимувати всі можливі математичні функцій, а тільки невелику їх частину.

«З незрозумілих до кінця причин, наш Всесвіт може бути точно описана поліноміальними гамильтонианами низького порядку», — кажуть Лін і Тегмарк. Зазвичай многочлени, що описують закони фізики, мають від 2 до 4. Тому Лін і Тегмарк вважають, що глибинне навчання унікальним чином підходить для побудови «фізичних» моделей.

У законів фізики є кілька важливих властивостей — вони зазвичай симетричні по відношенню до обертання і переміщення. Ці властивості також спрощують роботу нейронних мереж – наприклад, апроксимацію процесу розпізнавання об'єкта. Нейронних мереж не потрібно апроксимувати нескінченне число можливих математичних функцій, а тільки невелика кількість найпростіших.

Ще одна властивість Всесвіту, який можуть використовувати нейронні мережі — це ієрархія її структури. Штучні нейронні мережі часто створюються за подобою біологічних, тому ідеї вчених пояснюють не тільки успішну роботу глибинного навчання машин, але здатність людського мозку розуміти Всесвіт. Еволюція привела до появи структури мозку людини, яка ідеально підходить для розбору складною Всесвіту на зрозумілі складові.

Робота вчених з Гарварда та MIT повинна допомогти істотно прискорити процес розвитку штучного інтелекту. Математики можуть покращувати аналітичне розуміння роботи нейронних мереж, фізики і біологи – розбиратися в тому, як взаємозалежні явища природи, нейронні мережі і наш мозок, що призведе до переходу на новий рівень роботи з ШІ.

Визначення особистості з зображень

Нещодавно вчені з Техаського університету в Остіні і Корнелльського університету Річард МакФерсон (Richard McPherson), Риза Шокр (Reza Shokr) і Віталій Шматиков (Vitaly Shmatikov) опублікували статті, в якій розповіли про власний метод розпізнавання зображень на основі штучних нейронних мереж. За допомогою цієї системи можна встановити особистість людини по базі даних, навіть на спеціально захищених зображеннях.

Експеримент проводився на декількох методах захисту або обфускации осіб — пикселизации, розмиття і новому методі P3 (Privacy-Preserving Photo Sharing), суть якого полягає в шифруванні частини JPEG-зображення і відділенні цінною для розпізнавання інформації від іншої частини. Під час дослідження вчені застосовували нейронні мережі для розпізнавання людей на чотирьох наборах даних, які використовуються для тестування алгоритмів визначення осіб, об'єктів та рукописних цифр.

По базі даних MNIST, що складається з чорно-білих рукописних цифр, розроблена нейронна мережа визначає почерк з точністю близько 80% на захищених алгоритмом P3 зображеннях з рівнем 20 (рекомендованим творцями P3 як самого відповідного значення). На захищених мозаїкою (т. е. при пикселезации) з блоками роздільною здатністю 8 × 8 або нижче, точність розпізнавання перевищує 80%. Точність випадкового вгадування в даному випадку становить лише 10%.

У наборі даних CIFAR-10, що складається з кольорових зображень автомобілів і тварин, вчені домоглися точності в 75% з захистом P3, 70% при пикселизации з блоками 4 × 4 і 50% з блоками 8 × 8. Точність випадкового вгадування в даному випадку також становить 10%.

У наборі даних AT&T з чорно-білих фотографій 40 чоловік, вони домоглися точності у 57% при розмитті, 97% при захисті P3 і більше 95% при пикселизации. Точність випадкового підбору в цьому прикладі становить 2,5%.

При тестуванні на наборі даних FaceScrub з фотографій 530 знаменитостей вчені досягли 53% точності розпізнавання при пикселизации з блоками 16 × 16 і 40% точності при захисті P3. Точність випадкового вгадування в даному випадку становить 0,19%.

Головна причина, чому цей метод працює в таких важких умовах — для нього не потрібно заздалегідь вказувати конкретні відповідні людині риси і навіть не потрібно розуміти, що приховують частково зашифровані або затемнені зображення.

Замість цього нейронні мережі автоматично визначають релевантні елементи і навчаються використовувати кореляції між прихованою і видимою (наприклад, значні й «незначні» частини в уявленні JPEG-зображення). Це – один з прикладів того, як нейронні мережі навчаються виконувати завдання, у вирішенні яких довгий час людський інтелект був набагато успішніше штучного.

Нова система рекомендацій YouTube

Розробники з компанії Google Підлогу Ковінгтон (Paul Covington), Джей Адамс (Jay Adams) і Емре Сэрджин (Emre Sargin) описали роботу системи рекомендацій YouTube, заснованої на глибоких нейронних мережах.

Як і у випадку з іншими продуктами Google, YouTube почали перехід на використання глибоких нейронних мереж для більшості проблем, пов'язаних з навчанням. Розроблена система рекомендацій заснована на технології Google Brain, яка нещодавно було викладено у відкритий доступ TensorFlow.

Ця технологія являє собою гнучку середовище для експериментування з різними архітектурами глибоких нейронних мереж і застосування великомасштабного розподіленого навчання. Моделі, розроблені інженерами Google, вивчають приблизно один мільярд параметрів і навчені на сотні мільярдів прикладів.



Система складається з двох нейронних мереж: одна – для генерації «кандидатів» [перегляд], а інша – для їх ранжирування. Мережа генерації кандидатів збирає події з історії активності користувача YouTube в якості вхідної інформації і виділяє сотні невеликих підкатегорій відеороликів з величезного набору.

Фактично мережа генерації кандидатів дозволяє відібрати ролики, які дивилися користувачі з схожими інтересами. Схожість між користувачами визначається по тому, скільки однакових відео вони переглянули (ID відеороликів), за їх пошуковим запитам і демографічними даними (віком, підлозі і т. д.).

Під час процесу генерації кандидатів величезний обсяг відео з YouTube «просіюють» до сотень роликів, які можуть бути цікаві користувачеві. Раніше для цієї мети застосовувався метод матричної факторизації, і перші версії моделі нейронної мережі повторювали цю поведінку за допомогою неглибоких мереж, які використовували тільки переглянуті раніше відео. Інженери Google називають свій підхід нелінійним узагальненням технік факторизації.

І хоча в YouTube присутні механізми зворотного зв'язку (подобається/не подобається, опитування тощо), для навчання моделі нейронної мережі розробники використовують неявне взаємодія [користувача з системою] у вигляді переглядів, де прочитані до кінця відео вважається позитивним прикладом, а представлене у видачі, але не прочитані – негативним. Вибір на такому рівні заснований на набагато більш об'ємною історії користувача, що допомагає підбирати більш точні рекомендації, коли явних відгуків недостатньо.

Щоб показати користувачеві невелике число «кращих» рекомендацій у вигляді списку, необхідно точно розділяти «кандидатів» за їх відносну важливість для користувача. Мережа ранжирування виконує цю задачу, визначаючи для кожного відео свою оцінку і застосовуючи багатий набір характеристик, що описують відео і користувача. Відеоролики з найвищою оцінкою ранжуються і видаються користувачеві. Двоетапний підхід дозволяє розробникам працювати з мільйонами роликів, і при цьому бути впевненими, що підібраний для кожного користувача набір буде персоналізований і цікавий.

Велика кількість відео завантажується на YouTube кожну секунду, а для такого сервісу дуже важливо рекомендувати «свіжі» ролики, щоб підтримувати активність користувачів. Крім відстеження нових відеороликів, розробники прагнуть удосконалювати систему в напрямку автоматичного пошуку і поширення популярного контенту. Розподіл популярності відео може сильно змінюватися з часом, однак усереднена ймовірність перегляду ролика за період навчання у кілька тижнів, буде мати вигляд мультиномиального розподілу по всьому набору контенту.

Розвиток медицини і біокомп'ютери

У компанії Microsoft считают, що рак схожий на комп'ютерний вірус, і його можна перемогти, зламавши код. Співробітники компанії використовують штучний інтелект в новому медичному проекті по знищенню ракових клітин.

В одному з напрямів цього медичного проекту використовуються машинне навчання і обробка природної мови – вони необхідні вченим для оцінки всього обсягу раніше зібраних даних при підборі плану лікування пацієнтів.

Компанія IBM працює над схожим проектом, використовуючи програму Watson Oncology, яка аналізує стан пацієнта за зібраними даними. Ще в одному проекті Microsoft застосовується система комп'ютерного зору для радіології, щоб відслідковувати процес розвитку пухлин.

Крім того, корпорація планує навчитися програмувати клітини імунної системи як комп'ютерний код. Джанет Уинг (Jeanette M. Wing), віце-президент Microsoft Research, пояснила, що комп'ютери майбутнього можуть не тільки складатися з кремнію, але і з живої матерії, що підштовхує компанії до пошуку можливих способів биопрограммирования.

Старі ідеї працюють по-новому

Штучні нейронні мережі — це далеко не нова концепція, вона з'явилася ще в 1950-х роках, а багато проривні дослідження в цій області припали на 1980-і і 1990-є. Але сьогодні в розпорядженні інженерів є інструменти на порядок потужніша, а нові значущі шляху розвитку машинного навчання, можливо, ще не придумані.

«ШІ — це нове електрика. Штучний інтелект робить зараз те ж, що 100 років тому зробив електрика, трансформуючи індустрію за індустрією», — вважає Ендрю Ин (Andrew Ng), старший науковий співробітник Baidu Research.

Про що ще можна почитати в нашому блозі на Хабре на тему штучного інтелекту, нейронних мереж і машинного навчання:

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.