Огляд курсів за Deep Learning

Привіт, Хабр! Останнім часом все більше і більше досягнень в області штучного інтелекту пов'язано з інструментами глибокого навчання або deep learning. Ми вирішили розібратися, де ж можна навчитися необхідним навичкам, щоб стати фахівцем в цій області.

image


1. «Deep Learning» від Google
Лектор: Vincent Vanhoucke, провідний науковий співробітник Google, керівник за технологіями проекту Google Brain
Платформа: Udacity
Вартість: безкоштовно
Мова: англійська
Тривалість: приблизно 3 місяці (можна проходити у власному темпі)
Терміни проведення: вільні, постійний курс
Посилання на курс: www.udacity.com/course/deep-learning--ud730

Програма

Машинне навчання: основи машинного навчання, логістична регресія, стохастична оптимізація, завантаження і передобробка даних, підбір параметрів, крос-валідація, оцінка якості.

Глибокі нейронні мережі: введення в нейронні мережі, архітектура глибоких нейронних мереж, підбір гиперпараметров, регуляризация.

Згорткові нейронні мережі: введення і основні принципи роботи, архітектура згорткових нейронних мереж, регуляризация і підбір параметрів, обробка зображень і інші додатки.

Глибокі нейронні мережі для роботи з текстами: основні підходи до обробки текстів у машинному навчанні, мішки слів, word2vec, рекурентні нейронні мережі, LSTM, регуляризация.

Переваги

  • Курс від лідерів індустрії Google, в якому вони широко використовують свою бібліотеку глибокого навчання TensorFlow — активно розвивається, і один з кращих доступних на сьогоднішній день інструментів.
  • Велика кількість інтерактивних опитувань і цікавих практичних завдань у форматі iPython notebook + курсовий проект: розробка мобільного додатку, який розпізнає цифри на зображеннях з камери телефону в реальному часі.
  • Активні форуми курсу, можливість обговорення завдань з викладачами та іншими студентами.
  • Програма не перевантажена, покриває як загальну теорію нейронный мереж, так і їх основні типи, використовувані в глибокому навчанні: згорткові та рекурентні.
Недоліки

  • Курс на англійській мові.
  • Достатньо висока складність: насичений курс просунутого рівня, має обмежену вступну частину, яка охоплює лише частину базових тим машинного навчання, не включає математику і основи Python.
  • У практичних завданнях використані стандартні навчальні задачі розпізнавання зображень і обробки текстів, практичні додатки вивчених моделей до завдань бізнесу в завданнях відсутні і в курсі не обговорюються.
  • У безкоштовній версії всі практичні завдання перевіряються самим учням на основі результатів роботи моделей та метрик якості, отримання коментарів від викладачів або інших студентів не передбачено.


2. Neural Networks for Machine Learning від Університету Торонто
Лектор: Geoffrey Hinton, професор університету Торонто, відомий британський інформатик і когнітивний психолог, вніс великий внесок в теорію штучних нейронних мереж.
Платформа: Coursera
Вартість: безкоштовно
Мова: англійська
Тривалість: 4 місяці
Терміни проведення: зараз стартує перезапуск після перерви з 2012 року
Посилання на курс: www.coursera.org/learn/neural-networks

Програма

Введення, навчання перцептронів, процедура зворотного поширення помилки, отримання векторів ознак для слів, розпізнавання об'єктів за допомогою нейронних мереж, оптимізація: прискорення процесу навчання, рекурентні нейронні мережі, поліпшення узагальнюючої здатності нейронних мереж, комбінування нейронних мереж, мережі Хопфілда і машини Больцмана, обмежені машини Больцмана, нейронні мережі Deep Belief, глибокі нейронні мережі з генеративних предобучением, моделювання ієрархічних структур, нові додатки глибоких нейронних мереж.

Переваги

  • Автор курсу – видатний вчений, один з піонерів в області штучних нейронних мереж.
  • Курс покриває як загальні принципи побудови і роботи нейронних мереж, так і їх сучасний розвиток аж у рамках глибокого навчання з додатками до розпізнавання мови і візуальних об'єктів, сегментації зображень, моделюванню природних мов і людських рухів і т. д. Нейронні мережі тут вивчаються дуже глибоко, багато тем в інших курсах не розглядаються.
  • Після розгляду кожного з алгоритмів даються практичні поради щодо його застосування для вирішення завдань машинного навчання, побудови архітектури та підбору параметрів.
  • Доступні лабораторні завдання і тести.
  • Даний курс має дуже велику кількість слухачів і проводиться не вперше, має великі форуми, де можна задати питання і обговорити завдання.
Недоліки

  • Висока складність: багато математики, досить складні завдання для самостійної роботи, велика теоретична частина, насичена програма.
  • Завдання виконуються в Octave, а не в Python, сучасні бібліотеки глибокого навчання не використовуються.
  • Високий поріг входження: для проходження курсу буде достатньо хороших знань математики, однак перед цим курсом рекомендується спочатку пройти курс по машинному навчання від Andrew Ng на тій же платформі, інакше буде надто багато нової інформації і курс буде важко сприймати.


3. «Нейронні мережі» від Інституту біоінформатики
Лектори: Анатолій Карпов, аспірант кафедри загальної психології Спбду, читає курс математичної статистики та аналіз даних R для біологів в Інституті біоінформатики; Арсеній Москвичев, інженер-дослідник, випускник біологічного факультету Спбду; Анастасія Міллер, математико-механічний факультет Спбду, JetBrains.
Платформа: Stepik
Вартість: безкоштовно
Мова: українська
Тривалість: приблизно 3 місяці (можна проходити у власному темпі)
Терміни проведення: курс завершений, але збережений вільний доступ до матеріалів
Посилання на курс: stepik.org/course/Нейронные-сети-401

Програма

Основи лінійної алгебри, перцептрон і градієнтний спуск, алгоритм зворотного поширення помилки, моніторинг стану мережі, висновок.

Переваги

  • Курс російською мовою.
  • Не дуже висока складність, буде зрозумілий не тільки випускникам технічних та фізико-математичних спеціальностей, але навіть школярам.
  • Невисокий поріг входження: потрібно тільки знання Python і шкільної математики.
  • лекції вбудовано велику кількість практичних завдань та тестів, також курс містить ряд повноцінних практичних завдань у форматі iPython Notebook.
Недоліки

  • Не використовуються сучасні бібліотеки і фреймворки глибокого навчання.
  • Вступний курс: присвячений власне нейронних мереж, що становить основу глибокого навчання, але конкретні видів нейронних мереж, що використовуються в глибокому навчання, та їх застосування в програмі курсу відсутні.
  • Курс орієнтований на академічне співтовариство, у тому числі на школярів і студентів, бізнес-додатки не обговорюються.
4. «Convolutional Neural Networks for Visual Recognition» від Стенфорда
Лектори: професор і керівник лабораторій комп'ютерного зору і штучного інтелекту Стенфордського університету Fei-Fei Li та її учні Justin Johnson і Andrej Karpathy (PhD студенти)
Платформа: Stanford University
Вартість: безкоштовно
Мова: англійська
Тривалість: приблизно 3 місяці (можна проходити у власному темпі)
Терміни проведення: вільні
Посилання на курс: cs231n.stanford.edu

Програма

Введення в комп'ютерний зір, лінійна класифікація зображень, оптимізація, стохастичний градієнтний спуск, введення в нейронні мережі, навчання нейронних мереж, введення в згорткові нейронні мережі, згорткові нейронні мережі для локалізації об'єктів, візуалізація згорткових нейронних мереж побудова зображень, рекурентні нейронні мережі, довгі мережі короткої пам'яті, огляд бібліотек глибокого навчання, практика навчання мереж: мультипроцессность, використання GPU/CPU, ефективні згортки, курсовий проект.

Переваги

  • Висока академічна репутація університету.
  • Повнота програми: програма охоплює як загальні принципи роботи нейронних мереж та їх навчання, так і основні види нейронних мереж, які використовуються не тільки в комп'ютерному зорі, але і в глибокому навчанні в цілому.
  • Обговорюються практичні питання навчання нейронних мереж на GPU/CPU, сучасні бібліотеки глибокого навчання.
  • Для зовнішніх слухачів курсу створено спільноту в reddit, де можна обговорити завдання і задати питання.
Недоліки

  • Курс на англійській мові.
  • Висока складність, орієнтація на академічне співтовариство: це оригінальний курс Стенфордського університету, орієнтований на його студентів.
  • Більше теорії, ніж практики, конкретних бібліотек та програмним реалізаціям приділяється менше часу, ніж теоретичної частини, курс не прив'язаний до конкретної бібліотеки.
  • Високі вхідні вимоги: необхідні міцні знання з математики, машинного навчання, Python і його бібліотек.
  • Це не масовий онлайн курс, а опубліковані у відкритому доступі матеріали університетського курсу.
5. «Deep Learning for Natural Language Processing» від Стенфорда
Лектори: Richard Socher, професор Стенфордського університету та провідний науковий співробітник Salesforce.
Платформа: Stanford University
Вартість: безкоштовно
Мова: англійська
Тривалість: приблизно 3 місяці (можна проходити у власному темпі)
Терміни проведення: вільні, але не всі лекції є
Посилання на курс: cs224d.stanford.edu

Програма

Введення в обробку природних мов і глибоке навчання, прості векторні представлення слів: word2vec, GloVe, просунуті векторні представлення слів, нейронні мережі для розпізнавання іменованих сутностей, практичні питання конструювання мереж, навчання та підбору параметрів, введення в TensorFlow, рекурентні нейронні мережі, мережі GRU і LSTM та їх використання в машинному перекладі, рекурсивні нейронні мережі їх застосування в парсингу і аналізі тональності, згорткові нейронні мережі в класифікації текстів, розпізнавання мови, машинний переклад, моделі seq2seq, майбутнє нейронних мереж для обробки природних мов: мережі динамічної пам'яті, курсовий проект.

Переваги

  • Висока академічна репутація університету.
  • Повнота програми: охоплені всі основні моделі та види нейронних мереж, що використовуються в глибокому навчанні для аналізу текстів, у тому числі перспективні і розвиваються.
  • Використовується сучасна бібліотека глибокого навчання TensorFlow, охоплені практичні питання навчання мереж, побудови їх архітектури та підбору параметрів.
  • Курс має окремий форум на платформі Piazza, де можна обговорити завдання і задати питання.
Недоліки

  • Курс на англійській мові.
  • Висока складність, орієнтація на академічне співтовариство: це оригінальний курс Стенфордського університету, орієнтований на його студентів.
  • Більше теорії, ніж практики, конкретних бібліотек та програмним реалізаціям приділяється менше часу, ніж теоретичної частини.
  • Високі вхідні вимоги: необхідні міцні знання з математики, машинного навчання, Python і його бібліотек.
  • Це не масовий онлайн курс, а опубліковані у відкритому доступі матеріали університетського курсу.
6. «Data Science: Deep Learning in Python» від Lazy Programmer
Автор курсу: аналітик даних, розробник і big data інженер з широким академічним досвідом (викладав математичний аналіз, статистику, машинне навчання, алгоритми, комп'ютерну графіку і фізику в університетах Columbia University, NYU, Humber College і The New School) та досвідом роботи з онлайн реклами і digital media, що ховається під ім'ям Lazy Programmer. Крім даного курсу веде ще ряд курсів по глибокому навчання.
Платформа: Udemy
Вартість: 120$
Мова: англійська
Тривалість: не вказана, курс містить 37 лекцій, об'єднаних у 7 розділів
Терміни проведення: вільний, постійний курс
Посилання на курс: www.udemy.com/data-science-deep-learning-in-python

Програма

Введення в нейронні мережі, многоклассовая класифікація, навчання нейронних мереж, налаштування гиперпараметров, крос-валідація, регуляризация, робота з TensorFlow, проекти: розпізнавання вираз обличчя і передбачення поведінки користувача сайту.

Переваги

  • Велику кількість тестів і практичних завдань, у тому числі 2 курсових проекту.
  • Низький поріг входження: потрібні тільки деякі відомості з вищої математики та основи Python.
  • Практико-орієнтований курс, не переобтяжений математикою і складною теорією, проте містить усі необхідні теоретичні відомості.
  • Курс охоплює як основи теорії нейронних мереж, так і конкретні види нейронних мереж, які застосовуються в глибокому навчанні.
  • Курс орієнтований в тому числі і на практичні програми в бізнесі, містить курсовий проект в області, в якому студенти будуть передбачати поведінку користувача на сайті Інтернет-магазину.
  • Використовуються сучасні бібліотеки аналізу даних і глибокого навчання, в тому числі TensorFlow.
Недоліки

  • Курс на англійській мові.
  • Не безкоштовний, має досить високу ціну для онлайн-курсів.
  • Обмежене число студентів, за весь час всього 2500 – обмежені можливості користуватися форумами і допомогою community.
  • Обмежена програма: курс покриває тільки частину основних тем глибокого навчання, наприклад, обробка текстів та рекурентні нейронні мережі залишені за рамками цього курсу, але їх можна знайти в інших курсах автора.


7. «Reinforcement Learning» від Georgia Institute of Technology
Лектори: Charles L. Isbell, Georgia Institute of Technology, професор, фахівець в області штучного інтелекту. Michael L. Littman, Brown University, професор, фахівець в області навчання з підкріпленням.
Платформа: Udacity
Вартість: безкоштовно
Мова: англійська
Тривалість: приблизно 4 місяці (можна проходити у власному темпі)
Терміни проведення: вільні, постійний курс
Посилання на курс: www.udacity.com/course/reinforcement-learning--ud600

Програма (неповна)

Введення у навчання з підкріпленням, марківські процеси прийняття рішень, у т. ч. узагальнені і частково спостережувані, винагороди і їх послідовності, політики і їх пошук, поведінкові структури, оцінка політик і агентів, TD-навчання (temporal difference), Q-навчання, збіжність, просунутий алгоритмічний аналіз, стратегія дослідження (розвідки), теорія ігор та її зв'язок з машинним навчанням.

Переваги

  • Курс підготовлений провідними дослідниками в області навчання з підкріпленням.
  • Дуже широке охоплення тем, включаючи суміжні галузі, такі як теорія ігор.
  • Велика кількість цікавих практичних завдань.
  • Незважаючи на те, що у сфері глибокого навчання з підкріпленням були отримані видатні результати (наприклад, AlphaGo від Google DeepMind) і цей напрямок досить перспективно, в інших курсах, представлених в цьому огляді, тема навчання з підкріпленням не розкривається.
Недоліки

  • Курс на англійській мові.
  • Високий поріг входження: необхідні знання машинного навчання математики на рівні випускника західного університету. Також потрібно знати мову Java, введення в Java в курсі відсутня.
  • Висока складність: багато математики, велика теоретична частина.
  • Охоплює тільки один напрям досить специфічний напрям машинного навчання, що застосовується в галузі штучного інтелекту.
  • Не всі розділи курсу присвячені саме глибоке навчання. Для глибокого навчання з підкріпленням ви можете додатково використовувати матеріали курсу Deep Reinforcement Learning, Berkley.
  • Курс орієнтований на академічне співтовариство, бізнес-додатки не розглядаються.


Список інших онлайн-курсів по глибокому навчання є в добірці Eclass.cc

TL:DR В сухому залишку переваги більшості онлайн-курсів полягають в їх вартості, зручності (можна вчитися з будь-якого місця в будь-який час), гарне охоплення теоретичних тем. Основні недоліки: орієнтація на академічне співтовариство і недостатня увага практичних питань, більшість програм англійською мовою.

Нещодавно на Data Science Week ми анонсували свою очну програму по deep learning.

«Deep learning» від New Professions Lab
Викладач: Григорій Сапунов, CTO і співзасновник Intento, екс-керівник розробки сервісу Яндекс.Новини. Програмує більше 20 років, з них близько 15 років займається аналізом даних, штучним інтелектом і машинним навчанням, з 2011 року займається Deep Learning, брав участь у проектах RoadAR (нейромережеве розпізнавання об'єктів на дорозі), Icon8 (нейромережеві фільтри) та ін
Майданчик: Москва, м. Краснопресненська
Вартість: 60 тис. руб.
Мова: українська
Тривалість: очний день + тиждень лабораторної роботи + очний день
Терміни проведення: з 26 листопада по 3 грудня
Посилання на курс

Програма

1 День
Огляд сучасних можливостей нейронних мереж
Основи нейронних мереж
Принципи класифікації зображень. Згорткові мережі (CNN)
Case studies. Розбір відомих моделей: LeNet, AlexNet,…
Практика: Бібліотека Caffe. Створення власного нейромережевого класифікатора з нуля
Використання згорткових мереж для інших завдань (перенесення стилю, детекція/сегментація, класифікація текстів, ...)
Case studies: Перенесення стилю зображення. Як працюють алгоритми, які стоять за сервісами типу Prisma
Тижнева лабораторна робота по класифікації зображень.

День 2
Розбір лабораторної роботи та нагородження переможців
Основи рекурентних мереж (RNN)
Класифікація текстів за допомогою нейромереж. Word2vec, doc2vec. Полносвязные мережі, згорткові мережі, рекурентні мережі для класифікації
Практика: Бібліотека Keras/Theano. Робота з сентимент-аналізу текстів з використанням RNN
Sequence Learning і парадигма seq2seq. Приклади задач, що розв'язуються за допомогою seq2seq: переклад, генерація текстів, розпізнавання мови,…
Case study: «Створюємо чат-бота». Генерація текстів в діалогах
Мультимодальное навчання. Зв'язок згорткових і рекурентних мереж. Case study: генерація описів картинок
Майстер-клас застосування deep learning в бізнесі
Особливості програми:

  • Упор на рішення практичних задач
  • Розбір бізнес-кейсів
  • Теорії рівно стільки, щоб почати ставати фахівцем в області глибокого навчання
  • Лабораторна робота на виданої GPU-машині в хмарі
  • Можливість задавати питання викладачеві
  • Відсутність віддаленого участі (на поточний момент)
  • Теоретичним питанням не приділяється такої ж уваги, як в онлайн-курсах


Почитати докладніше про програму можна здесь, а за кодом HABR-DL (його потрібно сказати менеджеру) ви отримаєте знижку 10%.

Будемо раді вашим коментарям і питань.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.