Багато матеріалів по нейронних мереж одразу починаються з демонстрації досить складних архітектур. При цьому самі базові речі, які стосуються функцій активацій, ініціалізації ваг, вибору кількості шарів у мережі і т. д. якщо і розглядаються, то побіжно. Виходить починаючому практику нейронних мереж доводиться брати типові конфігурації і працювати з ними фактично наосліп.

У статті ми підемо іншим шляхом. Почнемо з найпростішої конфігурації — одного нейрона з одним входом і одним виходом, без активації. Далі будемо маленькими ітераціями ускладнюють конфігурацію мережі і спробуємо вичавити з кожної з них розумний максимум. Це дозволить посмикати мережі за ниточки і напрацювати практичну інтуїцію в побудові архітектур нейромереж, яка на практиці виявляється дуже цінним активом.
Читати далі →



Наталя Єфремова занурює публіку у специфіку практичного використання нейромереж. Це — розшифровка доповіді Highload++.

Добрий день, мене звати Наталя Єфремова та я research scientist у компанії N-TechLab. Сьогодні я буду розповідати про види нейронних мереж та їх застосування.

Спочатку скажу кілька слів про нашу компанію. Компанія нова, може бути, багато хто з вас ще не знають, чим ми займаємося. В минулому році ми виграли змагання MegaFace. Це міжнародне змагання по розпізнаванню осіб. У цьому ж році була відкрита наша компанія, тобто ми на ринку вже близько року, навіть трохи більше. Відповідно ми одна з лідируючих компаній у розпізнаванні осіб та обробки біометричних зображень.

Перша частина моєї доповіді буде присвячена тим, хто не знайомий з нейтронними мережами. Я займаюся безпосередньо Deep Learning. У цій сфері я працюю більше 10 років. Хоча вона з'явилася трохи менше, ніж десятиліття тому, раніше були якісь зачатки нейронних мереж, які були схожі на систему Deep Learning.

Читати далі →

Всім доброго часу доби! Я студент, для дипломної роботи обрав тему «інформаційні нейронні мережі (ШНМ). Завдання, де потрібно працювати з числами, вирішувались досить легко. І я вирішив ускладнити систему, додавши обробку слів. Таким чином, я поставив перед собою завдання розробити «робота-співрозмовника», який міг би спілкуватися на якусь певну тему.
Так як тема спілкування з роботом досить обширна, діалог в цілому я не оцінюю (привіт товаришеві Тьюринга), розглядається лише адекватність відповіді «співрозмовника» на репліку людини.
Читати далі →

Створюємо нейронну мережу InceptionV3 для розпізнавання зображень



Привіт, Хабр! Під катом піде мова про реалізацію сверточной нейронної мережі архітектури InceptionV3 з використанням фреймворку Keras. Статтю я вирішив написати після ознайомлення з туториалом "Побудова потужних моделей класифікації з використанням невеликої кількості даних". З схвалення автора туториала я трохи змінив зміст своєї статті. На відміну від запропонованої автором нейронної мережі VGG16, ми будемо навчати гугловскую глибоку нейронну мережу Inception V3, яка вже встановлена в Keras.

Ви навчитеся:

  1. Імпортувати нейронну мережу Inception V3 з бібліотеки Keras;
  2. Налаштовувати мережу: завантажувати ваги, змінювати верхню частину моделі (fc-layers), таким чином, пристосовуючи модель під бінарну класифікацію;
  3. Проводити тонке налаштування нижнього згорткового шару нейронної мережі;
  4. Застосовувати аугментацію даних за допомогою ImageDataGenerator;
  5. Навчати мережу по частинах для економії ресурсів і часу;
  6. Оцінювати роботу моделі.
При написанні статті я ставив перед собою завдання представити максимально практичний матеріал, який розкриє деякі цікаві можливості фреймворка Keras.

Читати далі →

Нейронні мережі для початківців. Частина 2



Ласкаво просимо у другу частину керівництва по нейронних мереж. Відразу хочу принести вибачення всім, хто чекав другу частину набагато раніше. З певних причин мені довелося відкласти її написання. Насправді я не очікував, що у першій статті буде такий попит і що так багато людей зацікавить ця тема. Взявши до уваги ваші коментарі, я спробую надати вам якомога більше інформації і в той же час зберегти максимально зрозумілий спосіб її викладу. У даній статті, я буду розповідати про способи навчання/тренування нейромереж (зокрема метод зворотного поширення) і якщо ви з якихось причин ще не прочитали першу частину, настійно рекомендую почати з неї. В процесі написання цієї статті, я хотів розповісти про інших видах нейромереж і методи тренування, однак, почавши писати про них, я зрозумів що це піде врозріз з моїм методом викладу. Я розумію, що вам не терпиться отримати як можна більше інформації, проте ці теми дуже великі і потребують детального аналізу, а моїм основним завданням є не написати чергову статтю з поверхневим поясненням, а донести до вас кожен аспект порушеної теми і зробити статтю максимально легким в освоєнні. Поспішаю засмутити любителів «покодить», так як я все ще не буду вдаватися до використання мови програмування і буду пояснювати все «на пальцях». Досить вступу, давайте тепер продовжимо вивчення нейромереж.

Читати далі →

Нейронні мережі — XOR [JS]

Добрий день. У минулій статті «Нейронні мережі за 1 день» ми розглянули НС яка вирішувала завдання AND, причому мережа була одношарова. В цей раз ми створимо нейронну мережу, яка буде здатна вирішити завдання XOR, вона буде багатошарова. Ця стаття навчить вас використовувати метод зворотного поширення помилки, введе в класифікацію.

image

Читати далі →

Нейробайесовский підхід до завдань машинного навчання. Лекція Дмитра Вєтрова в Яндексі

Цим постом ми завершуємо серію лекцій з Data Fest. Одним з центральних подій конференції стала доповідь Дмитра Вєтрова — професора факультету комп'ютерних наук НДУ ВШЕ. Дмитро входить в число найбільш відомих в Росії фахівців з машинного навчання і, починаючи з минулого року, працює в Яндексі провідним дослідником. У доповіді він розповідає про основи байєсівського підходу і пояснює, які переваги дає цей підхід при використанні нейронних мереж.


Під катом — розшифровка та частина слайдів.


Читати далі →

Логіка свідомості. Частина 11. Природне кодування зорової і звукової інформації

У попередньої частини були сформульовані вимоги до процедури універсального узагальнення. Одна з вимог наголошувала, що результат узагальнення повинен не просто містити набір понять, крім цього отримані поняття зобов'язані формувати певний простір, в якому зберігаються уявлення про те, як отримані поняття співвідносяться між собою.

Якщо розглядати поняття як «точкові» об'єкти, то таку структуру можна частково описати матрицею взаємних відстаней і представити у вигляді зваженого графа, де вершини — це поняття, а кожному ребру зіставлено число, що відповідає відстані між поняттями, які це ребро з'єднує.

Ситуація дещо ускладнюється, коли поняття мають природу множин (малюнок нижче). Тоді можливі формулювання типу: «поняття C містить поняття A і B», «поняття A і B різні», «поняття A і B мають щось спільне». Якщо покласти, що близькість визначається в інтервалі від 0 до 1, то про малюнок зліва можна сказати: «близькість A і C дорівнює 1, близькість B і C дорівнює 1, близькість A і B дорівнює 0).

Читати далі →

Дослідження зв'язності в мозку на основі електрофізіологічних даних. Лекція в Яндексі

Раз вже ідеологія нейромереж в IT будувалася з огляду на реальний прототип, про нього теж іноді корисно згадати. Пропонуємо подивитися або почитати лекцію Іллі Захарова, випускника кафедри психофізіології факультету психології МГУ. Ілля пояснює, як можна аналізувати мережі в мозку, які дані для цього потрібні, які підводні камені можуть виникати при аналізі, а головне — що нового дозволили дізнатися подібні дослідження.


Під катом — розшифровка і більшість слайдів.


Читати далі →

Комплексна нейронну мережу на основі ряду Фур'є функції багатьох змінних

Є багато завдань, для вирішення яких нейронні мережі прямого поширення з сигмоїдною активаційний функцією не є оптимальними. Наприклад — завдання розпізнавання бінарних зображень, з первинною обробкою за допомогою перетворення Фур'є. В ході цих перетворень зображення стає інваріантним до зміщень, масштабування і повороту. Приклад таких перетворень наведено нижче.[1] На виході такий метод видає вектор комплексних чисел. Сучасні нейронні мережі не можуть з ними працювати т. к. вони працюють тільки з речовими числами.
image

Читати далі →