Cognitive Services & LUIS: Введення в розпізнавання природної мови

У цій статті ми поговоримо про розуміння мови (про лінгвістичних обчисленнях, таких як призначення міток, синтаксичний аналіз і так далі) і звернемо особливу увагу на два API: Linguistic Analysis API і інтелектуальну службу розпізнавання мови (LUIS). Якщо ви любите англійську мову так само, як російська і захоплюєтеся навчанням штучного інтелекту, ласкаво просимо під кат.



Читати далі →

Як отримувати п'ятірки за допомогою аналізу даних?


Привіт, Хабр! Я впевнений, що серед нас є багато студентів і, напевно, всі з них визнають, що на своєму студентському шляху зустрічали такі науки, про граніт яких можна зламати зуби. Ось тому хочу вам розповісти про те, як хобі — наука про даних, допомогло мені здати один з найскладніших предметів у семестрі на п'ятірку. Якщо вам цікаво — прошу під кат.

Читати далі →

Машинний пошук аномалій в поведінці інтернет-магазинів і покупців

<img src=«habrastorage.org/files/7d4/9e8/8b4/7d49e88b474c4a3a8661b24ef21a2837.jpg» alt=«image» alt text"/>
Якийсь час назад ми підключили модуль машинного навчання до системи, яка захищає платежі та перекази в Яндекс.Гроші від шахрайства. Тепер вона розуміє, коли відбувається щось підозріле, навіть без явних інструкцій у налаштуваннях.
У статті я розповім про методики і складнощі пошуку аномалій в поведінці покупців і магазинів, а також про те, як використовувати моделі машинного навчання, щоб все це злетіло.
Читати далі →

Чернетка книги Ендрю Ина «Жага машинного навчання», глави 1-7

У грудні минулого року в листуванні американських колег за data science прокотилася хвиля обговорення довгоочікуваного чернетку нової книги гуру машинного навчання Ендрю Ина (Andrew Ng) «Жага машинного навчання: стратегії для інженерів в епоху глибинного навчання». Довгоочікуваного, тому що книга була анонсована ще влітку 2016 року, і ось, нарешті, з'явилося кілька розділів.

image
Уявляю увазі Хабра-спільноти переклад перших семи глав з доступних в даний момент чотирнадцяти. Зауважу, що це не фінальний варіант книги, а чернетку. У ньому є ряд неточностей. Ендрю Ин пропонує писати свої коментарі і зауваження сюди. Починає автор з речей, які здаються очевидними. Далі очікуються більш складні концепції.

Читати далі →

Нейробайесовский підхід до завдань машинного навчання. Лекція Дмитра Вєтрова в Яндексі

Цим постом ми завершуємо серію лекцій з Data Fest. Одним з центральних подій конференції стала доповідь Дмитра Вєтрова — професора факультету комп'ютерних наук НДУ ВШЕ. Дмитро входить в число найбільш відомих в Росії фахівців з машинного навчання і, починаючи з минулого року, працює в Яндексі провідним дослідником. У доповіді він розповідає про основи байєсівського підходу і пояснює, які переваги дає цей підхід при використанні нейронних мереж.


Під катом — розшифровка та частина слайдів.


Читати далі →

Логіка свідомості. Частина 11. Природне кодування зорової і звукової інформації

У попередньої частини були сформульовані вимоги до процедури універсального узагальнення. Одна з вимог наголошувала, що результат узагальнення повинен не просто містити набір понять, крім цього отримані поняття зобов'язані формувати певний простір, в якому зберігаються уявлення про те, як отримані поняття співвідносяться між собою.

Якщо розглядати поняття як «точкові» об'єкти, то таку структуру можна частково описати матрицею взаємних відстаней і представити у вигляді зваженого графа, де вершини — це поняття, а кожному ребру зіставлено число, що відповідає відстані між поняттями, які це ребро з'єднує.

Ситуація дещо ускладнюється, коли поняття мають природу множин (малюнок нижче). Тоді можливі формулювання типу: «поняття C містить поняття A і B», «поняття A і B різні», «поняття A і B мають щось спільне». Якщо покласти, що близькість визначається в інтервалі від 0 до 1, то про малюнок зліва можна сказати: «близькість A і C дорівнює 1, близькість B і C дорівнює 1, близькість A і B дорівнює 0).

Читати далі →

Нейронні мережі, генетичні алгоритми та інше... Міфи і реальність

продовження статті «Порівняння технологічних підходів до вирішення завдань з вилучення даних» розглянемо технології, найбільш часто згадуються в зв'язку з поняттям «штучний інтелект» в контексті пошукових завдань. На habrahabr.ru опубліковано безліч статей на цю тему, наприклад, про використання нейромереж пошуку Яндкса, в якій говориться, що «Фактично, формулу ранжирування пише машина (виходило близько 300 мегабайт)», про глибокому навчанні, імовірнісному програмуванні і т. д.

Хотілося б розглянути дану тему з точки зору філософії логіки, визначити межі та проблеми застосування і трохи поміркувати про можливості вирішення за допомогою нейронних мереж завдань машинного навчання?
В якості основи для наших міркувань ми можемо вибрати будь-яку з наведених нижче технологій. Зважаючи на те, що найбільш часто згадується нейронні мережі, їх і візьмемо. Набравши щось про нейромережі в пошуковому рядку, ми отримаємо величезну масу статей про «неймовірних» успіхи", досягнуті нейронними мережами. Це і повідомлення про нових апаратних рішеннях, наприклад, спінові електронні пристрої, і заяви IBM, про те що нейронні мережі з аналізу слів зможуть виявляти психічні хвороби, і «супергеройське» зір, і безліч інших чудес науки. Тому, спробуємо зробити короткий огляд поточного стану справ.

Читати далі →

Комплексна нейронну мережу на основі ряду Фур'є функції багатьох змінних

Є багато завдань, для вирішення яких нейронні мережі прямого поширення з сигмоїдною активаційний функцією не є оптимальними. Наприклад — завдання розпізнавання бінарних зображень, з первинною обробкою за допомогою перетворення Фур'є. В ході цих перетворень зображення стає інваріантним до зміщень, масштабування і повороту. Приклад таких перетворень наведено нижче.[1] На виході такий метод видає вектор комплексних чисел. Сучасні нейронні мережі не можуть з ними працювати т. к. вони працюють тільки з речовими числами.
image

Читати далі →