Як ми запускали програму Deep Learning

Хабр, привіт.

Як ви знаєте, для навчання глибоких нейронних мереж оптимально використовувати машини з GPU. Наші освітні програми завжди мають практичний ухил, тому для нас було обов'язково, щоб під час навчання у кожного учасника була своя віртуальна машина з GPU, на якій він міг вирішувати завдання під час занять, а також лабораторну роботу протягом тижня. Про те, як ми вибирали інфраструктурного партнера для реалізації наших планів і готували середовище для наших учасників, і піде мова в нашому пості.

Читати далі →

Вебінар: Введення в Data Science



Команда FlyElephant запрошує всіх 21 грудня о 18.00 (EET) на вебінар «Введення в Data Science». У його рамках ми розглянемо на прикладах, що таке Data Science, Data Mining, Machine Learning і Deep Learning, хто такий data scientist і якими інструментами він користується для збору, зберігання, обробки і візуалізації даних. Поговоримо про платформі FlyElephant і чим вона може бути корисна для роботи data scientist'а.

Зареєструватися на вебінар можна тут.
Джерело: Хабрахабр

Передбачення тяжкості страхових вимог для компанії Allstate. Дипломний проект нашого випускника

Хабр, привіт! Наш випускник 4-го набору програми «Фахівець з великим даними» Кирило Данилюк поділився своїм дослідженням, яке він виконав в якості фінального проекту в одному з курсів. Вся документація і опис є на його гітхабі. Тут же ми наводимо переклад його звіту. Обережно — лонгрид.

Читати далі →

«До чого дійшов прогRесс». Заміна «розумового» праці механічним процесом на базі R

Кожен новий день часто підкидає нові задачки. Не в сенсі їх радикальної новизни, а в сенсі «ще одного типу завдань», які зазвичай зустрічаються в бізнес-оточенні.
На цей раз завдання виявилася гранично проста і прагматична, але її рішення дає далекосяжні наслідки.
Кейс
Суть завдання в наступному:
Читати далі →

Як ми брали участь у HR-хакатоне. Наші випускники діляться своїм рішенням і враженнями від участі

Всім привіт!
23-24 листопада в Digital October проходив хакатон з аналізу даних в HR-сфері, в якому перемогла команда випускників нашої програми "Фахівець з великим даними". Кирило Данилюк, Ігор Парфьонов, Єгор Андрєєв і Олександр Иваночкин діляться своїм рішенням і враженнями від участі.
Читати далі →

Приклад використання Product API від Fetchee для парсингу товарів інтернет-магазину

image

У цій інструкції ми розповімо про те, як з допомогою Fetchee Product API отримати дані про товар URL на прикладі інтернет-магазину lamoda.

Для тих, хто не читав нашу минулу замітку — Product API буде корисний розробників, яким потрібно отримувати дані про товари з будь-якого магазину, але які не хочуть витрачати час на створення власної системи парсинга або вже усвідомили, що open-source бібліотеки володіють істотними обмеженнями і вимагають багато часу на підтримку. Наш автоматичний і не вимагає налаштування API для парсингу eCommerce даних дає можливість зосередиться на розробці основних функцій програми. До того ж спробувати його дуже просто. Деталі під катом.

Читати далі →

FlyElephant святкує перший рік роботи в публічному доступі і анонсує співробітництво з HPC-HUB



У листопаді FlyElephant святкує перший рік роботи в публічному доступі. FlyElephant — це платформа для дата сайнтистов, інженерів і вчених, яка прискорює бізнес за допомогою автоматизації Data Science і Engineering Simulation.

Читати далі →

Порівняння технологічних підходів до вирішення завдань з вилучення даних

Метою статті є спроба порівняльного аналізу основних підходів у вирішенні завдань семантичного аналізу текстів, їх відмінності та ефективності на рівні концепцій, без врахування нюансів, комбінацій варіантів і можливих трюків, які сприяють поліпшенню очікуваного результату.
На сьогоднішній день існує величезна кількість матеріалів описує ті чи інші техніки вирішення завдань семантичного аналізу текстів. Це і латентно-семантичний аналіз, SVM-аналіз, «перенос-згортка» і багато іншого. Писати чергову статтю про огляд і порівняння конкретних алгоритмів – це значить даремно витрать час.
Мені б хотілося в рамках декількох статей обговорити базові ідеї і проблеми, що лежать в основі семантичного аналізу з точки зору їх практичного застосування, якщо можна так висловитися, з базовою філософсько-онтологічної точки зору. Якою мірою можливо використовувати породжувальні граматики для аналізу тексту? Накопичувати варіанти написання та різного роду "корпуси" або розробляти алгоритми аналізу на підставі правил?
В рамках нашого міркування я свідомо постараюся піти від будь-яких термінів та усталених виразів, бо як говорив У. Куайн – терміни це всього лише імена в рамках онтологій не мають ніякого практичного значення для вирішення завдань логіки і розуміння чого-небудь зокрема.[1] Тому, з його дозволу, будемо спиратися на одиничні дескрипции Рассела, а простіше кажучи, давати повні описи в збиток існуючим усталеним термінам.

Читати далі →

Як зупинити відтік людей з онлайн-курсу і заодно потрапити на хакатон

Онлайн-курси, крім своєї зручності та доступності, славляться тим, що на них надзвичайно легко забивати, що з успіхом і роблять багато слухачів. Забивати слухачам трапляється з різних причин — незрозумілий курс, минув дедлайн, не встиг набрати бали, вийшов Fallout 4 – у всіх свої виправдання. А ось у нас виправдань бути не може: якщо людина покидає курс, світ втрачає потенційного розробника або фахівця з аналізу даних, а ще кіловат-години і витрачений нашим героєм час.
найскладніша задача тут — визначити, хто з користувачів втече, а знаючи їх, вже набагато простіше запобігти втрати: «попереджений, значить озброєний».
В кінці статті ви дізнаєтеся, як за допомогою рішення проблеми потрапити на хакатон з аналізу даних
image

Читати далі →