5 трендів в області аналізу і обробки даних в 2015 році

image

Початок року саме час для прогнозів і передбачень. У цьому пості я зібрав огляд трендів в області аналітики і систем обробки даних на 2015 рік.

З кожним роком все більше компаній приходять до висновку, що правильне використання аналітичних систем і систем обробки великих масивів даних дає суттєву конкурентну перевагу на ринку. Така ситуація призводить до активного розвитку аналітичних відділів у компаніях і істотним інвестиціям в інфраструктуру обробки даних.

Згідно різним звітів щорічний приріст витрат на розвиток систем аналізу та обробки даних складає 20% — 30%. Сумарний прогнозований обсяг витрат на системи обробки даних і аналітичні сервіси в 2015 році складе ~3B$.

Великий попит на аналітичні системи та істотні інвестиції є потужним драйвером для швидкого розвитку індустрії великих даних і появи величезної кількості нових продуктів і рішень.

Згідно з дослідженнями великих консалтингових компаній, таких як Deloitte і Forrester, в 2015 році можна буде виділити наступні основні тренди в області аналізу і обробки даних.

  • Автоматизація та коммодизация процесів обробки даних
  • Розвиток аналітичних систем реального часу
  • Поява нових інструментів для аналізу даних датчиків і різних пристроїв
  • Розвиток когнітивних систем та систем автоматичного ухвалення рішення
  • Зміни в законодавстві, пов'язані із зберіганням і обробкою даних


1. Автоматизація та коммодизация процесів обробки даних
Великі витрати на технічне обслуговування систем зберігання та обробки даних змушують компанії шукати більш дешеві рішення. Одним з таких рішень є відмова від власних дата-центрів і перехід на хмарні технології зберігання та аналізу даних, такі як Amazon WS, Microsoft Azure.

Гостра нестача фахівців в області аналізу даних служить гарним стимулом для розвитку автоматизованих інструментів, які не потребують глибоких знань в області технологій і орієнтованих на вирішення бізнес-завдань. В якості прикладу таких інструментів можна привести Tableau, IBM Watson і Azure Machine Learning.

Окремо варто відзначити розвиток систем автоматичної попередньої обробки сирих і неструктурованих даних подібних OpenRefine і DataWrangler.

2. Розвиток аналітичних систем реального часу
Традиційних аналітичних рішень на основі реляційних баз даних і OLAP технологій, що вимагають порівняно великого часу для обробки запитів і формування звітів вже недостатньо для вирішення сучасних бізнес завдань.

Компаніям для прийняття ефективних рішень потрібно аналізувати дані в реальному часі. Це призведе до розвитку технологій потокової обробки даних і швидкого доступу до даних, що зберігаються в оперативній пам'яті. Одними з перших продуктів призначених для вирішення цих завдань є Apache Storm і Cloudera Impala.

3. Поява нових інструментів для аналізу даних датчиків і різних пристроїв
Пересувна електроніка та інтернет речей продовжать активно розвиватися в 2015 році. Подібні гаджети вже знаходять широке застосування у сфері розваг та моніторингу здоров'я. Аналізуючи інформацію з цих пристроїв можна підвищити ефективність їх використання.

Широке поширення гаджетів призводить до появи нових завдань, пов'язаних з аналізом сигналів різного роду датчиків і сенсорів. На відміну від транзакційних даних, дані сенсорів можуть бути зашумлены і схильні до спотворень, що в свою чергу вимагає особливого підходу до обробки таких сигналів. Для завдань, пов'язаних зі збором і аналізом інформації з датчков будуть створені спеціальні інструменти.

Також будуть активно розвиватися стандарти щодо інтеграції датчиків і аналітичних систем, що дозволить істотно прискорити розвиток інтернету речей в цілому.

Окремо варто відзначити, що дані носимой електроніки дозволять збирати більше інформації про поведінку і перевагах користувачів, що швидше за все призведе до появи нових гравців на ринку даних.

4. Розвиток когнітивних систем та систем автоматичного ухвалення рішення
Експерти прогнозують активний розвиток технологій в області взаємодії людини і штучного інтелекту. Зокрема, розвиток систем автоматичного прийняття рішень в бізнес-процесах, систем аналізу текстової інформації, голосу, зображень та відео. Серед вже існуючих продуктів можна відзначити такі, як Google Now і Word Lense.

5. Зміни в законодавстві, пов'язані із зберіганням і обробкою даних
Вже сьогодні ми щодня генеруємо так багато даних, що по ним можна досить точно скласти портрет кожної людини, виявити його переваги і дізнатися особисту інформацію. З розвитком інтернету речей і появою нових гаджетів обсяг даних буде тільки збільшуватися, а разом з цим буде збільшуватися частка особистої інформації збереженої в дата-центрах.

Такий розвиток ситуації призведе до підвищення соціального тиску на сервіси компанії, які мають безпосереднє відношення до обробки подібного роду даних, що призведе до втручання регулятора і появи нових законів, що обмежують використання особистої інформації і визначають вимоги до безпеки зберігання даних.

Ймовірно, нові вимоги змусять переглянути архітектурні рішення компаній і призведуть до появи гібридних систем при яких частина даних замість хмари буде зберігається в захищених локальних дата-центрах.

Висновок
Незважаючи на великі досягнення за попередні періоди, 2015 рік обіцяє бути дуже цікавим з точки зору розвитку аналітичних систем і появи нових можливостей для революційних рішень в області обробки та аналізу даних.

А що ви думаєте про тренди в аналітиці і системах обробки даних на 2015 рік? Які з вже існуючих технологій будуть затребувані в цьому році? Які завдання ще тільки належить вирішити? Давайте обговоримо в коментарях.

Матеріали
www.lavastorm.com/assets/Forrester-Predictions-2015-Agile-Features-Keep-the-BI-Market-Moving.pdf
public.deloitte.com/media/analytics/trends/pdf/us-da-analytics analytics-trends-2015.pdf
research.gigaom.com/report/outlook-big-data-and-analytics-in-2015
channels.theinnovationenterprise.com/articles/big-data-top-trends-in-2015

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.