Підсумки Black Box Challenge

Привіт, Хабр! Три місяці тому ми оголосили про старт змагання з машинного навчання BlackBox Challenge, а нещодавно воно закінчилося. В цьому пості організатори змагання розкажуть про те, як все пройшло.


Надихнувшись результатами Google DeepMind reinforcement learning, ми зрозуміли, як здорово, коли система не використовує людську експертизу, а сама вчиться розуміти навколишнє середовище. Ми вирішили зробити змагання, в якому учасникам потрібно створити саме таку систему.

Що за челлендж?
Формат BlackBox Challenge це синтез класичного формату змагань з машинного навчання (як на сайті Kaggle) і змагань з програмування штучного інтелекту (наприклад, Russian AI Cup). Учасником пропонувалося написати бота, який грає в гру з невідомими правилами — на кожному кроці боту дається 36 змінних, що описують стан середовища, і він повинен виконати одну з чотирьох дій.

З одного боку, змагання вийшло інтерактивним — потрібно було написати агента, який взаємодіє із зовнішнім середовищем. З іншого боку, закони цієї середи були невідомі учасникам — це змусило їх не використовувати апріорні знання про пристрої гри, а застосовувати сучасні методи машинного навчання.

Підсумки
Змагання тривало три місяці, за цей час було завантажено 3347 рішень, з яких 1459 — це нетривіальні рішення, які не збігаються з опублікованими прикладом (baseline агент).

Кількість зареєстрованих учасників — 1360, з яких 415 завантажили принаймні одне рішення.
93 учасники змогли перевершити baseline на валидационном рівні.

Призи
Призовий фонд склав 800,000 рублів:

  • 1 місце: 300,000 рублів
  • 2 місце: 175,000 рублів
  • 3 місце: 125,000 рублів
  • 4-8 місця: Xbox One
  • спеціальний приз 100,000 рублів за найцікавіше рішення, вибране експертами DCA
В останні тижні змагання в лидерборде йшла запекла боротьба, і долю призів вирішили лічені бали.

З великим відривом переможцем змагання став учасник insight з результатом 4693 очок на фінальному рівні.

Учасники з другого по п'яте місце — 5vision, alexandrbugaychuk, grmel89 і wrwrwr — йдуть дуже близько один до одного. Розрив між результатами 2-го і 5-го місця менше 150 очок! Це вражаюче мало, і щоб розібратися, ми побудували графіки кращих рішень на валидационном та фінальному рівні (зверніть увагу, що графіки побудовані для кращих рішень на фінальному рівні).


З них видно, що і самі рішення цих учасників теж дуже близькі і різниця в результатах обумовлена випадковістю, притаманною грі. Цього разу фортуна була на боці 5vision і alexandrbugaychuk, вітаємо! Призові 6-8 місця зайняли VictorGNC, cosionix і AGilmullin (Kesha), подолавши базового бота більш, ніж на 1000 очок. Це відмінний результат.

Учасники SDil і ottogin замикають першу десятку, також обігнавши базового бота більш, ніж на 1000 очок.
Повна таблиця фінальних результатів доступна посилання.

Номінація «найцікавіше рішення»
Крім основного набору призів, ми також розігрували номінацію «найцікавіше рішення», в якій експерти DCA оцінювали привабливість і перспективність підходів учасників.

Більшість рішень виявилися многопараметрическими моделями, в яких параметри змінювалися випадковим чином, часто з допомогою еволюційних алгоритмів. Якість моделі визначалося по результату на одному з ігрових рівнів. Судячи з результатів, такі підходи виявилися досить ефективними. Схожим чином було отримано наш лінійний бот (baseline).

Було, однак, декілька учасників, які діяли по-іншому і теж досягли хороших результатів. Експертам з DCA було важко вибрати саме цікаве рішення, але врешті-решт перемогло рішення команди 5vision, яким вдалося реалізувати витончену ідею з використанням policy iteration. Команда отримує додаткові 100,000 рублів.

Також хочеться відзначити рішення guillermobarbadillo — єдиний, кому вдалося застосувати Q-learning, ottogin — за знайдений спосіб supervised навчання нейронної мережі і, звичайно, insight — за незвичайний і ефективний підхід до сэмплированию.

далі
Ми відкрили систему перевірки для тих, хто хоче вирішити чорний ящик в своє задоволення і перевірити ідеї на які не вистачило часу.
Судячи з відгуків, багатьом сподобався такий формат змагання, тому незабаром ми плануємо провести змагання з новою цікавій інтерактивній завданням.

З питань співпраці ми доступні за адресою wow@blackboxchallenge.com

Дякуємо за участь!
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.