чи Багато треба, щоб зробити стартап з використанням великих даних і ШІ?

Припустимо, ви хочете створити додаток, що буде щось передбачати, рекомендувати, розпізнавати зображення або голос, розуміти текст на природній мові… Для цього вам знадобляться знання машинного навчання, в тому числі його складних і просунутих розділів, таких як глибоке навчання, великі навчальні вибірки і складні алгоритми, сервери для отримання і обробки даних від користувачів, засоби зберігання і обробки великих даних. Звучить занадто складно? Якщо у вас немає диплома Стенфордського університету, ви не готові наймати команду data scientist'ів і розгортати кластери Hadoop, але у вас є хороша бізнес-ідея, існує більш простий і менш витратне рішення – використовувати API машинного навчання і штучного інтелекту.

На щастя, багато задачі машинного навчання досить стандартні і виникають у багатьох областях. Наприклад, розпізнавання емоцій за фотографіями. За допомогою розпізнавання емоцій можна вирішувати безліч завдань: відслідковувати поснулих або відволікають учнів у класі, тестувати рекламні ролики по емоційної реакції на них фокус-групи, виявляти підозрілу поведінку покупців у магазині для боротьби з крадіжками, визначати, як краще спілкуватися з клієнтом або кандидатом при прийомі на роботу, персоналізувати зовнішній вигляд додатків. Задача розпізнавання емоцій, як і багато інших, вже вирішена на досить хорошому рівні. Тільки для одного цього завдання доступно більше 20 API-сервісів: Emotient, Affectiva, EmoVu, Nviso,Kairos Emotion Analysis API Microsoft Project Oxford, Noldus Face Reader API, Sightcorp F. A. C. E., SkyBiometry, Face++ та багато інших. Загальна кількість API-сервісів машинного навчання та ІІ підрахувати важко, вони з'являються як гриби після дощу, при цьому дуже багато з них володіють високою якістю розпізнавання/передбачення. Так що для будь-якої стандартної задачі машинного навчання ви легко зможете знайти підходящий API. Замість того, щоб кожного разу винаходити велосипед, можна використовувати в своїх проектах вже готові сервіси разом зі всією необхідною інфраструктурою.

image

Існуючі API машинного навчання та штучного можна розділити на основні групи. Перша – це сервіси-гіганти, що включають в себе цілі пакети API для вирішення різних завдань. Такі сервіси також надають інфраструктуру зберігання і попередньої обробки даних, що постійно працюють сервери для обробки вхідних даних і формування відповідей режимі онлайн, мають зручні та інтуїтивно зрозумілими інтерфейсами для побудови моделей і оцінки їх якості, для візуалізації даних, структури моделей і одержаних результатів. До цієї групи відносяться рішення від найбільших компаній: Amazon Machine Learning, Microsoft Azure Machine Learning і Microsoft Cognitive Services, Google Cloud Prediction API і Google Cloud Machine Learning IBM Watson Cloud і AlchemyAPI, BigML та інші. Безумовними перевагами таких сервісів є доступ до високопродуктивних обчислювальних машин, серверів та інфраструктури для роботи з великими даними, висока якість документації і наявність готових бібліотек для роботи з API з різних мов програмування.

Багато з цих сервісів, наприклад, Amazon Machine Learning, Azure Machine Learning і BigML, роблять акцент на просте і інтуїтивно зрозуміле використання: від користувача не вимагається знання алгоритмів машинного навчання і попередньої обробки даних, він отримає всі необхідні підказки та пояснення, візуалізації, все буде зроблено за нього. При цьому ці сервіси використовують досить прості алгоритми бінарної і мультиклассовой класифікації і регресії, які можна легко реалізувати за допомогою бібліотек Python і пакетів R і які не вимагають великих обчислювальних потужностей. Застосовуються алгоритми часто недостатньо гнучкі, проте все одно здатні давати дуже хороші результати, наприклад, при їх застосуванні до завдань Kaggle. Ці сервіси при побудові моделей перебирають усі можливі варіанти алгоритмів. Наприклад, BigML робить акцент на деревах рішень, а Amazon Machine Learning використовує тільки класифікатори на основі стохастичного градієнтного спуску, залишаючи за рамками розгляду випадкові ліси і інші алгоритми. Такі рішення можна віднести до категорії «машинне навчання для чайників» — вони корисні для розробників і аналітиків, які хочуть отримати постійно працює сервіс та інфраструктуру роботи з великими даними і при цьому, можливо, не мають достатніх знань в області машинного навчання. Сервіси цієї групи надають власні сховища даних, якщо дані занадто великі для завантаження, вони автоматично будують необхідні статистичні агрегати. Ряд сервісів дозволяє підключати сторонні сервіси і джерела даних, в тому числі Hadoop і Spark, інтегрувати скрипти на R і Python (наприклад, Azure Machine Learning), що робить їх більш гнучкими і дозволяє використовувати їх для більш широкого кола завдань.

image

Інша частина найбільших пакетів API машинного навчання та ІІ дозволяє використовувати досить складні для самостійної реалізації моделі та алгоритми, засновані на глибокому навчанні, пов'язані переважно з обробкою зображень і природних мов. Завдання глибокого навчання часто досить складні, вимагають просунутих теоретичних знань і значних обчислювальних потужностей для навчання та використання моделей. У цьому випадку використання API виявляється особливо доцільним навіть для тих, хто добре знайомий з машинним навчанням. Спектр таких можливостей API-сервісів дуже широкий. Наприклад, можливості Microsoft Cognitive Services в області аналізу відео і зображень включають: опис зображення (хто або що на ньому зображено і що відбувається), категоризацію, визначення типу (фото або малюнок), виявлення контенту для дорослих, визначення домінуючих кольорів, пошук на фотографіях певних людей, наприклад, знаменитостей, логотипів і предметів, аналіз того, що відбувається на відео практично в реальному часі, розпізнавання тексту на зображеннях, генерацію мініатюр, виявлення і відстеження рухів. Виявлення осіб, визначення статі, віку, пози, наявності очок, бороди та інших рис зовнішності для людей на фото і відео, верифікацію по фото (порівняння знімка з бази і знімки з камери), угруповання фото одних і тих же людей, стабілізацію нечітких відео, створення мініатюр кадрів. Можливості цього сервісу в області аналізу мови і природної мови поки обмежуються англійською мовою, проте багато інші сервіси підтримують російську мову, наприклад, повністю безкоштовний wit.ai, придбаний Facebook, і його російський конкурент api.ai (розуміння текстових і голосових команд і питань на природних мовах, перетворення мови в текст), IBM AlchemyAPI (аналіз тональності тексту, виявлення сутностей і ключових слів), Google Natural Language API (класифікація текстів, графи зв'язків, вилучення інформації з текстів, аналіз тональності, намірів, витяг інсайтів; підтримує російську мову за допомогою технології машинного перекладу Google Translate, використовує глибоке навчання і word2vec). Список доступних API постійно поповнюється, деякі сервіси надають дуже цікаві і не представлені в інших пакетах інструменти. Наприклад, IBM Watson пропонує інструмент Personality Insights, що дозволяє визначати риси особистості людини, його потреби і цінності, наміри і інші характеристики з його записів у Твіттері, соціальних мережах або по іншим текстовим джерел. Російська мова, на жаль, поки не підтримується.

Крім розглянутих вище найбільших пакетних API-сервісів існує безліч API машинного навчання і штучного інтелекту, спрямованих на вирішення окремих завдань. Наприклад, Diffbot дозволяє автоматично сканувати сторінки сайтів, витягувати з них потрібну інформацію: тексти, зображення, відео, інформацію про продукти, коментарі і ін., в очищеному в структурованому вигляді, а також дозволяє класифікувати сторінки. При цьому використовуються широкий спектр технологій: аналіз структури сторінок, машинне навчання, штучний інтелект, обробка природних мов і машинне зір. На сайті сервісу доступно більше 35 бібліотек для роботи з API з різних мов програмування. Restb надає API для рішення широкого класу задач комп'ютерного зору, в тому числі в області діагностики захворювань, фільтрації контенту, біологічних досліджень, визначення марки, року випуску та типу обробки салону автомобілів. Сервіс clarifai дозволяє формувати набір тегів для зображень і відео. Deepomatic уміє класифікувати зображення, а також дозволяє створювати чат-ботів з функціями розпізнавання зображень і візуального пошуку. Наприклад, ви можете сфотографуватися в примірювальній магазину в одязі, яку ви там вибрали, і чат-бот автоматично підбере інші моделі з асортименту, які з цієї одягом вдало поєднуються. Рішення, засновані на Deepomatic, дозволяють знаходити інформацію про фільм з його постеру, інформацію про картини або скульптури на виставці за її фото, зробленому на камеру телефону, дозволяють завантажувати музику, сфотографувавши обкладинку альбому на диску і т. п.

image

На основі API машинного навчання і штучного інтелекту було створено безліч комерційно успішних продуктів. Наприклад, Ford використовує Google Prediction API для передбачення маршруту, який обере водій, орієнтуючись на час, швидкість, графік поїздки та історію типових для даного водія маршрутів, для оптимізації витрати палива. Додаток LifeLearn Sofie використовує сервіси IBM Watson і допомагає ветеринарам визначити захворювання і схему лікування, скануючи колекції медичної літератури на основі результатів огляду. Інформація передається з додатком на природній мові через розпізнавання мови. У ветеринарії використання таких додатків особливо важливо, так як пацієнти не можуть висловити свої симптоми, у ветеринарів часто немає часу на вивчення медичних книг та журналів, і іноді доводиться працювати з породами та видами тварин, з якими ветеринар раніше не стикався. Компанія vRad успішно застосовує глибоке навчання через API сервісу MetaMind, який тепер є частиною модуля CRM системи Salesforce Salesforce Einstein, для підвищення швидкості і точності виявлення небезпечних для життя пацієнтів аномалій, насамперед, крововиливів у мозок.

Прикладів успішного застосування API машинного навчання та ІЇ у бізнесі, в розробці програм і створення стартапів, звичайно, значно більше, так що ніщо не заважає вам реалізувати свої бізнес ідеї, навіть якщо ви поки не володієте всіма необхідними технологіями, і заробити на їх реалізації. При невеликому щомісячному числі запитів (кілька тисяч) більшість розглянутих сервісів можна використовувати безкоштовно, так що у вас є можливість все спробувати на практиці і протестувати при розробці. Далі оплата буде залежати тільки від реально використовуваних потужностей (платите тільки за те, що використовуєте), при цьому тарифи за користування сервісами, особливо на початкових етапах, коли користувачів у вашого додатка ще трохи, будуть нульовими або зовсім невеликими. Ніяких великих початкових вкладень не потрібно, так що витрати можуть швидко окупитися. Так що, якщо у вас є бізнес-ідея, яка передбачає використання машинного навчання і штучного інтелекту, використання API – відмінна можливість її реалізувати!
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.