Ю. Шмідхубер: «Чудово бути частиною майбутнього штучного інтелекту»



В останні дні вересня в Амстердамі проходила конференція з графічним технологій GTC EUROPE 2016. Професор Юрген Шмибдхубер представляв свою презентацію, як науковий директор IDSIA, швейцарської лабораторії, де він з колегами займається дослідженнями в області штучного інтелекту.

Головна теза виступу — справжній штучний інтелект змінить все вже незабаром. Здебільшого стаття, яку ви зараз читаєте, підготовлена за матеріалами презентації професора Шмидхубера.

Найвпливовішим відкриттям 20-го століття вважають процес Габера-Боша: вилучення азоту з тонкого шару повітря для отримання добрива. В результаті це призвело до вибуху популяції в менш розвинених країнах. Для порівняння:


Вражаючий стрибок, а вибух штучного інтелекту в 21-му столітті буде ще більш значним на думку Юргена Шмидхубера

Все почалося з того, що Конрад Цузе у 1941-му представив перший працюючий на загальних мікросхемах комп'ютер. Комп'ютери ставали все швидше і дешевше з кожним роком. За 75 років вони подешевшали в 1000 000 000 000 000 раз.

У 1987-му теза дипломної роботи Шмидхубера звучав приблизно так: «перша конкретна розробка рекурсивного саморозвивається ІІ».

Історія глибинного навчання почалася в 1991-му році. Батьком глибинного навчання Шмідхубер заслужено вважає Олексія Григоровича Івахненко. Без його методології та систем управління не було б і відкриттів у лабораторії професора в Швейцарії.

У 1965-му році він опублікував перші навчаються алгоритми для глибоких мереж. Звичайно, те, що ми звикли сьогодні називати «нейромереж», тоді навіть не здавалося таким. Івахненко вивчав глибинні багатошарові перцептрони з функціями поліноміальної активації і прогресуюче з кількістю шаром навчання з регресійним аналізом. У 1971-му була описана мережа глибинного навчання з вісьмома шарами. Сьогодні до цих пір використовуються знахідки того часу.

Отримуючи навчальний набір вхідних векторів з відповідною метою вихідних векторів, шари з вузлами додаткових і мультиплікативних нейронів ростуть з прирощенням і навчаються з допомогою регресійного аналізу. Після цього відбувається видалення зайвої інформації з допомогою перевірочних даних, де використовується регуляризация для відсіювання зайвих вузлів. Числа шарів і вузлів в одному шарі можуть навчатися проблемозависимым способом.

Тепер про контрольованої зворотного зв'язку. Роботи піонерів області:
  • Безперервна зворотний зв'язок обчисленнях Ейлера-Лагранжа + Динамічне програмування, Брайсон 1960, Келлі 1961;
  • Зворотний зв'язок через правило ланцюга, Дрейфус, 1962;
  • Сучасна ОС в окремих дискретних схожих на нейромережі (включаючи код Fortran-а) мережах, Линмаинма, 1970;
  • Зміна ваг контролерів, Дрейфус, 1973;
  • Автоматична диференціація могла показати ОС в будь-якому дифференцируемом графі, Спилпеннинг, 1980;
  • ОС в застосуванні до нейросетям, Вербос, 1982;
  • RNN-приклади, Вільямс, Вербос, Робінсон, 1980;


RNN — це рекурсивні нейронні мережі з глибинним навчанням. У 1991-му році професор Шмідхубер створив перший мережа з глибинним навчанням. Процес неконтрольованої підготовки перед навчанням для ієрархічної тимчасової пам'яті виглядає так: стек RNN&гаггсжатие історії&гаггускорение контрольованого навчання. LSTM — long short-term memory — це різновид нейромережі. LSTM RNN сьогодні широко застосовуються у виробництві і дослідженнях для розпізнання послідовностей даних у зображеннях i відео. Приблизно в 2010-му історія повторилася: неконтрольовані FNN повсюдно замінилися частково контрольованими FNN.

На вхід в мережу ІІ надходять сигнали різного типу: зображення, звуки, емоції, можливо, — а на виході системи виходить рух м'язів (у людини або робота) та інші дії. Суть роботи в тому, щоб поліпшувати алгоритм — він розвивається подібно до того, як тренують моторику маленькі діти.
Метод LSTM був розроблений в Швейцарії. Ці мережі більш досконалі і універсальні, ніж попередні, — вони готові до глибинного навчання і різних завдань. Мережа народилася з-за цікавості автора, а тепер широко використовується. Наприклад, це функція голосового введення в Google Speech. Використання LSTM покращило цей сервіс на 50 відсотків. Процес навчання мережі виглядав в даному випадку так: безліч людей наговорювали фрази для прикладу навчання. На початку навчання нейромережа не знає нічого, а потім, після того, як вона слухає багато уривків, наприклад, англійської, вчиться розуміти його, запам'ятовуючи правила мови. Пізніше мережа може робити переклади з однієї мови на іншу. Приклади використання — на зображенні нижче.



Найбільше LSTM використовується в Google, Microsoft, IBM, Samsung, Apple, Baidu. Цим компаніям потрібні нейромережі для розпізнання мови, зображень, завдань машинного перекладу, створення чат ботів і ще багато-багато чого.

Повернемося знову в минуле: двадцять років тому кращим гравцем в шахи стала машина. Ігрові чемпіони нелюдського походження з'явилися в 1994-му — TD-Gammon в грі Backgammon. Учня переможця створили в IBM. Для шахів — теж в IBM — сконструювали необучающегося Deep Blue. Це відноситься до машинного зору.

У 1995-му робокар проїхав з Мюнхена в Данію і назад за громадським автобанів зі швидкістю до 180 км\год без GPS. У 2014-му році також був 20-річний ювілей появи самоврядних машин в потоці на автостраді.

У 2011-му пройшов конкурс дорожніх знаків у Силіконовій долині. Під час нього розробка лабораторії Шмидхубера показала результати в два рази кращі, ніж людські, в три рази вище, ніж найближчий штучний учасник змагань і в шість разів краще, ніж безнейронная штука FIRST (розпізнавання візуальних патернів). Таке використовується в самоврядних автомобілях.

Були й інші перемоги.



Аналогічна техніка застосовується і в медичних випадках. Наприклад, розпізнання небезпечних передракових клітин на ранній стадії мітозу. Це означає, що один лікар зможе вилікувати більше пацієнтів в одиницю часу.



Попередня LSTM і магістральні мережі — в кожному шарі функція х+х, для навчання нейромереж з сотнями шарів.



Краще сегментування в мережах LSTM:


Студенти професора створили бібліотеки нейромереж з відкритим кодом Brainstorm.

Тим часом роботи були зайняті розвитком дрібної моторики. А LSTM-мережі навчилися зав'язувати вузли.



За трохи більше, ніж 20 років, глибинне навчання пройшло шлях від завдань з мінімум в 1000 обчислювальних етапів (1991-1993) до попереджувальних рекурсивних нейромереж з більш ніж 100 шарами (2015).

Всі пам'ятають, як Google купив DeepMind за 600 млн доларів. Тепер у компанії ціле підрозділ, що займається завданнями машинного навчання і ІІ. Перші працівники, засновники, DeepMind були вихідцями з лабораторії професора Шмидхубера. Пізніше в DeepMind перейшло ще два доктори наук з IDSIA.

Ще одна робота професора Шмидхубера по знаходженню складних нейроконтроллеров з мільйонними масами була представлена в 2013-му на GECCO. Відноситься до пошуку в стислій мережі.

У 1990-1991-х роках рекурсивне навчання візуального уваги на повільних комп'ютерах мало на меті отримати додатковий фіксований вхід. В 2015-му — все теж саме. У 2004-му проходив кубок роботів в лізі найшвидших зі швидкістю 5 метрів в секунду. У конкурсі було успішно використано те, що Шмідхубер пропонував ще в 1990 — прогнозування очікувань і планування з використанням нейронних мереж.

«Відродження» 2014-2015 або як його називають в англійській RNNAIssance (Reccurent Neural Networks based Artificial Intelligence), являло собою вже навчання мисленню: теорія алгоритмічної інформації для нових комбінацій посиленого навчання рекурентних нейромоделі світу і контролерів на основі RNN.



Цікаву наукову теорію наводить професор в якості пояснення феномену «веселощів». Формально, веселощі — це щось нове, дивовижне, що привертає увагу, креативне, цікаве, поєднує в собі мистецтво, науку, гумор. Цікавість, наприклад, використовується в вдосконаленні навичок людиноподібних роботів. Це займає багато часу. В ході експерименту робот навчається ставити стаканчик на маленьку підставку. Вивчається вплив внутрішньої мотивації і зовнішньої похвали на процес навчання.

Знаєте про PowerPlay? Він не тільки вирішує, але і постійно вигадує проблеми на межі відомого і невідомого. Так, по наростаючій, тренується вирішення загальних завдань шляхом постійного пошуку найпростішої досі невирішеною завдання.

Що буде далі на думку Шмидхубера: створення невеликого, схожого на тварину (наприклад, мавпу чи ворону), ІІ який буде вчитися думати і планувати ієрархічно. Еволюції знадобилися б мільярди років на створення таких тварин і набагато менше часу на перехід від них до людської суті. Технологічна еволюція набагато швидше натуральної.

Кілька слів про прекрасне простому паттерне, відкритому в 2014-му році. У ньому йдеться про науковому зростанні в більшості історично важливі події у всесвіті з точки зору людини.

Комментарий професори з приводу наукової фантастики:
Я волію називати сингулярність Омегою тому, що це як раз те, що Тейяр де Шарден казав 100 років тому та тому, що це звучить схоже на «О мій бог» В 2006-му я описав історичний шаблон який підтверджує, що 40 000 років домінуючого становища Людини призведуть до точки Омега за кілька наступних декад. Так, я показую неймовірно точний експонентний ріст, який описує весь шлях розвитку аж до Великого Вибуху. У ньому — уся історія, ймовірно, найбільш важливі події з точки зору людини. Ймовірність помилки менше 10%. Вперше я заговорив про це в 2014-му році.




Космос не дружній до людині на відміну від правильно спроектованих роботів
Після презентації в Амстердамі в частині питань і відповідей було порушено момент, пов'язаний із появою так званих роботів-журналістів або будь-яких інших моделей, здатних виконувати роботу багатьох людей. Ведуча цікавилася, чи варто людям з «текстової сфери» турбуватися про присутність штучного інтелекту та його розвитку. Професор вважає, що роботи не можуть замінити людину, вони створені, щоб допомагати йому. І боротися з людиною вони не стануть, тому що мають різні з ним мети. Цікаво, що популярні фантастичні фільми інтерпретують тему невірно. Війни в реальному житті ведуться між схожими істотами — люди б'ються з іншими людьми, а не з ведмедями, наприклад. А от, чи буде ШІ використовуватися для «поганих військових речей», це залежить від етики людей — так що це питання не про розвиток ІІ.

Важливо пам'ятати витоки
У минулому році журнал Nature опублікував статті, вона про те, що глибинне навчання дозволяє обчислювальних моделей, що складається з безлічі шарів обробки, вивчати подання даних на багатьох рівнях абстракції. Такі методи дуже сильно поліпшили стан речей у сфері розпізнавання мовлення, візуальних об'єктів та інших областях, наприклад, відкриття ліків і розшифровка генома. Глибоке навчання розкриває заплутану структурність у величезних наборах даних. Для цього використовуються алгоритми зворотного зв'язку — вони вказують, як машина повинна змінити свої внутрішні параметри, які використовуються для обчислення подання в кожному шарі з подання в попередньому шарі. Глибокі згорткові мережі стали проривом в обробці зображень, відео, мови і звуку, а рекурентні мережі пролили світло на послідовні дані, такі як текст і мова.

Ось який критичний коментар дав Юрген Шмідхубер.
Машинне навчання — це наука про отримання довіри. Товариство машинного навчання виграє від правильних рішень щодо видачі відповідальності» вірним людям. Винахідник важливого методу повинен отримати схвалення на винахід цього методу. Далі інша людина, хто популяризує ідею методу, також повинен отримати довіру на це. Це можуть бути різні люди. Відносно молода галузь досліджень машинне навчання повинна прийняти кодекс честі від більш зрілих наук — наприклад, математики. Що це значить. Наприклад, якщо ви доводите нову теорему використовуючи відомі вже методи, це повинно бути чітко і ясно. Ну, а якщо ви изобретаете щось, що вже відомо і дізналися про це по факту, то ви теж повинні чітко про це згадати, і навіть пізніше. Тому важливо посилатися на все, що було придумано раніше.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.