Learning to learn
В цей раз я проводив експерименти на тему learning to learn, тобто алгоритмів, які можуть вчитися, як краще вчитися.

Цілі експерименту:
1) Створити алгоритм оптимізації, який можна деяким стандартним способом пристосувати до будь-якої оптимізаційної задачі або безлічі завдань. Під словом «пристосувати» я маю на увазі зробити, щоб алгоритм дуже добре справлявся з цим завданням».
2) Налаштувати алгоритм під одну задачу і подивитися, як змінилася його ефективність на інших завданнях.

Читати далі →


Викладаю звіт про свій експеримент в області машинного навчання. На цей раз темою експерименту було створення AI для управління моделькою автомобіля.

Читати далі →


Привіт усім, хто почав проходити курс! Нові учасники, ласкаво просимо! Друге заняття присвячене візуалізації даних в Python. Спочатку ми подивимося на основні методи бібліотек Seaborn і Plotly, потім поанализируем знайомий нам по першої статті набір даних по відтоку клієнтів телеком-оператора.
Нагадаємо, що до курсу ще можна підключитися, дедлайн по 1 домашнього завдання – 6 березня 23:59.
стаття вже буде істотно довше. Готові? Поїхали!

Читати далі →

Старт відкритого курсу OpenDataScience
Привіт всім, хто чекав запуску відкритого курсу щодо практичного аналізу даних і машинного навчання!


Перша стаття присвячена первинного аналізу даних з Pandas.
Поки в серії планується 7 статей, які йдуть разом з зошитами Jupyter (репозиторій mlcourse_open), змаганнями і домашніми завданнями.
Далі йде список майбутніх статей, опис курсу і власне, перша тема – введення в Pandas.
Читати далі →

Була ніч, вогні Бориспільської траси пролітали повз вікон таксі. Водій вимкнув музику, нестерпно давившую мені на мозок після важкого перельоту, і, щоб не заснути, почав говорити.
Спочатку, звичайно, про політику, «довели країну», і все в такому роді, потім про щось особисте. Я теж не хотів відключатися прямо на передньому сидінні, тому намагався його слухати.
 … І тоді нам усім прийде кінець, — долинули до мене уривки фраз.   Точніше тільки їм, не мені. Я надійно підстрахувався. Коли їх всіх водіїв таксі, маршруток, навіть трамваїв викинуть на вулицю, мене вже там не буде. Я буду сидіти в теплі, пити каву і голосно-голосно сміятися.
  Чому-чому їх викинуть на вулицю?   заспанно перепитав я.
  Ти що, про Убер не чув? Що вони з водіями роблять — тільки репетиція, так. Скоро, вже дуже скоро вони запустять свої автопілоти. Це буде дешевше, безпечніше, крутіше! Всіх цих нездар чекає робота на будівництві. Або бомжатник. Але не мене, я розумніший їх.
— Так?   я протер очі.
Читати далі →

Добрий день! Це другий дайджест матеріалів за машинного навчання та аналізу даних. Незважаючи на свята, на цьому тижні було багато цікавого.
image
Події майбутнього тижня
1. imageСемінар СМиГО: Multi-Class Classification: How to Deal with Multi-class Huge Scale Problems Efficiently? 28 лютого.
2. imageData science сніданок. 1 березня.
3. imageSuperjob Data Science Meetup. 2 березня.
4. imageOpen & Big Data Hackathon 2017. р. Санкт-Петербург. 3 березня.
5. imageData Science Weekend. 3 березня.
6. imageMoscow Data Science meetup. 3 березня.
7. imageДень відкритих даних в Москві. 4 березня.

Навчальні курси, конференції
1. imageНа Физтехе стартує курс «Додаткові глави машинного навчання».
2. imageML-тренування. DeepHack RL, Avito BI. Відео.
3. imageДіалогові інтерфейси: проблеми і виклики. Відео.
4. imageNIPS 2016 Workshop on Adversarial Training. Груднева конференція в Барселоні. Відео.
5. imageDeep Learning Summer School and Punishment Learning Summer School.

Читати далі →


Дата інженер в очікуванні завдання на спарці.
За роки розробки Wrike у нас накопичилося багато розрізненої інформації про дії користувача. Ця інформація розкидана по декількох баз даних, логів, і зовнішніх сервісів, і нам, аналітикам, потрібно зібрати ці дані разом, знайти в них закономірності і знайти відповіді на вічні запитання SaaS'а:
  • Чому йдуть клієнти?
  • Які користувачі приносять нам гроші?
  • Як розвивати продукт далі?
Більшість завдань ми вирішуємо за допомогою SQL, але запити до логів через SQL — громіздкі і повільні. Їх можна використовувати для автоматики або докладної аналітики, але якщо потрібно щось швидко подивитися, на підготовку даних піде більше часу, ніж на аналіз.
Якщо дивитися доводиться багато і часто, це викликає біль, у цій статті ми розповімо, як її подолати і як отримати максимальну користь з отриманих даних.
Читати далі →

Є одна дуже цікава новина, яка залишилася мало висвітленою, особливо в руском сегменті Інтернету. Perspective API від Google тепер доступний для розробників. Що це ще за чергова хрень запитаєте ви? Якщо коротко, то це API або сервіс, який дозволяє оцінити «токсичність» коментарів у мережі. Так, це не жарт, все саме так. Ви навіть можете зайти і перевірити свій коментар на цю саму «токсичність». Серед партнерів проекту такі новинні агентства як The New York Times, The Guardian, The Economist та інтернет енциклопедія Wikipedia.

Читати далі →

Хабр, привіт! У сучасному машинному навчанні та науці про даних можна виділити кілька трендів. Перш за все, це глибоке навчання: розпізнавання зображень, аудіо та відео, обробка текстів на природних мовах. Ще одним трендом стає навчання з підкріпленням — reinforcement learning, що дозволяє алгоритмам успішно грати в комп'ютерні і настільні ігри, і дає можливість постійно поліпшувати побудовані моделі на основі відгуку зовнішнього середовища.

Є і ще один тренд, менш помітний, так як його результати для зовнішніх спостерігачів виглядають не так вражаюче, але не менш важливе — автоматизація машинного навчання. У зв'язку з його стрімким розвитком знову актуальним стає питання про те, чи не будуть data scientist'и зрештою автоматизовані і витіснені штучним інтелектом.

Читати далі →

Багато матеріалів по нейронних мереж одразу починаються з демонстрації досить складних архітектур. При цьому самі базові речі, які стосуються функцій активацій, ініціалізації ваг, вибору кількості шарів у мережі і т. д. якщо і розглядаються, то побіжно. Виходить починаючому практику нейронних мереж доводиться брати типові конфігурації і працювати з ними фактично наосліп.

У статті ми підемо іншим шляхом. Почнемо з найпростішої конфігурації — одного нейрона з одним входом і одним виходом, без активації. Далі будемо маленькими ітераціями ускладнюють конфігурацію мережі і спробуємо вичавити з кожної з них розумний максимум. Це дозволить посмикати мережі за ниточки і напрацювати практичну інтуїцію в побудові архітектур нейромереж, яка на практиці виявляється дуже цінним активом.
Читати далі →