Глибоке навчання з підкріпленням віртуального менеджера в грі проти неефективності


Про успіхи Google Deepmind зараз знають і говорять. Алгоритми DQN (Deep Q-Network) перемагають Людини з непоганим відривом все більшу кількість ігор. Досягнення останніх років вражають: буквально за десятки хвилин навчання алгоритми навчаються і вигравати людини в теніс та інші ігри Atari. Нещодавно вийшли в третій вимір — перемагають людини в DOOM в реальному часі, а також вчаться керувати машинами і вертольотами.
DQN використовувався для навчання AlphaGo програванням тисяч партій в поодинці. Коли це ще не було модним, в 2015 році, передчуваючи розвиток даного тренду, керівництво Phobos в особі Олексія Спаського, замовило відділу Research & Development провести дослідження. Необхідно було розглянути існуючі технологій машинного навчання на предмет можливості використання їх для автоматизації перемоги в управлінських іграх. Таким чином, у даній статті піде мова про проектування самообучающегося алгоритму в грі віртуального управлінця проти живого колективу за підвищення продуктивності.
Читати далі →

З чого почати впровадження Hadoop в компанії



Олексій Еремихин ( alexxz
Я хочу навести порядок у головах, щоб люди зрозуміли, що таке Hadoop, і що таке продукти навколо Hadoop, а також для чого не тільки Hadoop, але і продукти навколо нього можна використовувати на прикладах. Саме тому тема — «З чого почати впровадження Hadoop в компанії?»

Структура доповіді наступна. Я розповім:

  • які завдання я пропоную вирішувати з допомогою Hadoop на початкових етапах,
  • що таке Hadoop,
  • як він влаштований всередині,
  • що є навколо нього,
  • як Hadoop застосовується в Badoo у рамках рішення задач з першого пункту.

Читати далі →

Школа Даних «Білайн»: з Наступаючим



Отже, закінчується 2016 рік. Для нас він був дуже активним. Було 6 випусків нашої курсу для аналітиків, 5 випусків курсу для менеджерів (Data-MBA). Ми запустили курс в Санкт-Петербурзі та вже провели перший випуск. У партнерстві ми також навчали студентів Вищої Школи Економіки і Російської Економічної Школи, проводили майстер-класи в Сколково, брали участь у десятках хакатонов по всій країні, консультували провідні компанії щодо застосування аналітики і монетизації даних. В цьому році один з наших викладачів став першим у світі в рейтингу Kaggle.

Читати далі →

Класифікатори: аналіз активності відвідувачів сайтів

1. Вступ
Дана замітка розповідає про деякі аспекти практичного застосування класифікаторів у системах аналізу активності відвідувачів сайтів. Показано приклади коду для завдань машинного навчання, які активно застосовуються як для глобального аналізу статистики в інтернет, так і для локальних задач класифікації поведінкових факторів на великих порталах.

Читати далі →

Kaggle: Allstate Claims Severity



Хотілося б описати рішення до недавнього змагання з машинного навчання Allstate Claims Severity. (Мій результат 40 з 3055). Так як це змагання типу «ансамблева рубилово», як правило, обговорення рішень викликає нездорові священні війни між тими, хто пробував брати участь і тими хто немає, так що для початку я зроблю невеликий ліричний відступ.

Заздалегідь вибачаюся за велику кількість англійських слів. Які-то я не знаю як перекласти, а які-то мені перекладати не хочеться.

Мені подобається думати про машинному навчанні як про трьох мало пов'язаних між собою напрямках, що я і спробував зобразити на картинці вище, і кожен з цих напрямків переслідує свої цілі.

Наприклад, в академічному середовищі твоя продуктивність, так і взагалі особиста крутизна міряється кількістю та якістю опублікованих статей — і тут важлива новизна ідей, але наскільки ці ідеї можна застосувати на практиці прямо зараз це справа десята.

У бізнесі скільки грошей твої моделі приносять компанії і тут важлива інтерпретованість, масштабованість, швидкість роботи і інше.

У змагальному машинному навчанні завдання — всіх перемогти. Тобто те, що модель буде масштабованою, і тренувати її треба тижнями — це допустимо.


Читати далі →

Дослідження датасета з IMDB



Проблематика
Фільми — це круто, фільми надихають нас, наповнюють упевненістю, загалом дають нам багато чого. І тому у цій статті я б хотів розповісти вам про дослідження тенденцій сучасного кінематографа з допомогою інструментів аналізу даних, який вже був презентований у фіналі Science Slam ITMO University 2.0. Повний випуск доступний тут.

Читати далі →

Топ-10 ключових анонсів від Microsoft в 2016 році

Традиційно проводжаємо минає 2016 рік добіркою ключових анонсів від корпорації Microsoft. Під катом ми зібрали десять найяскравіших новин.



Читати далі →