Новину покликала в дорогу: надшвидкий енергоефективний оптичний співпроцесор для великих даних



Минулого тижня Phys.org вибухнув новостью: стартап LightOn запропонував альтернативу центральних процесорів (CPU) і графічних процесорів (GPU) для вирішення завдань аналізу великих даних. Авторський колектив базується в університеті П'єра і Марії Кюрі, Сорбонні і всіх інших правильних місцях у Франції. Рішення засноване на оптичній аналогової обробки даних «зі швидкістю світла». Звучить цікаво. Оскільки в прес-релізі не було жодних науково-технічних подробиць, довелося пошукати інформацію в патентних базах даних та на сайтах університетів. Результати розслідування під катом.

Рішення LightOn засноване на порівняно новому класі алгоритмів, заснованому на випадкових проекціях даних. Перемішування даних відтворюваним і контрольованим чином дозволяє отримувати корисну інформацію, наприклад для вирішення задач класифікації або compressive sensing (російського терміна не знаю). При роботі з великими обсягами даних лімітуючим фактором є саме обчислення випадкових проекцій. LightOn розробив оптичну схему розрахунку випадкових проекцій і зараз отримує фінансування на розробку співпроцесора, який здатний при мінімальних витратах енергії виконувати всю важку роботу по вилученню суттєвих ознак з сирих даних в потоковому режимі.

Це дозволить, наприклад, замінити графічні процесори при обробці відео — і аудіоданих в мобільних пристроях. Оптичний співпроцесор споживає одиниці Ватів, і тому може працювати в безперервному режимі, наприклад, щоб розпізнати сакраментальну фразу «OK GOOGLE» без додаткових дій з боку користувача. В області великих даних оптичний співпроцесор допоможе впоратися з експоненціально зростаючими обсягами інформації в таких областях, як інтернет речей, дослідження генома, розпізнавання відео.

Як це працює?
статті розглядається постановка завдання гребеневої регресії (ridge regression) з простенької функцією ядра (kernel function), де епсилон — це еліптичні інтеграли.



Незважаючи на страхітливий вигляд, ця функція має дзвоноподібний вигляд, описує міру близькості між векторами ознак і отримана експериментально з аналізу оптичної системи.

Гребневая регресія є одним з найпростіших лінійних класифікаторів, її рішення в аналітичній формі залежить від внутрішнього твори матриці векторів ознак XXT розмірністю n x n:

Y' = 'XT(XXT + λI)-1Y

Тут X — матриця навчальних ознак, Y — матриця класифікації навчальних даних, X' — матриця тестових ознак, Y' — шукана матриця класифікації тестових даних, I — одинична матриця, λ — коефіцієнт регуляризації.

Наприклад, автори статті навчили лінійний рідж-регресійний класифікатор MNIST в стандартному розбиття n=60000 навчальних і 10000 тестових зразків; помилка класифікації склала 12%. При цьому потрібно інвертування матриці розмірністю 60000х60000. Звичайно, при роботі з великими даними кількість зразків може обчислюватися мільярдами, і інвертування (і навіть просто зберігання) матриць таких розмірів неможливо.

Замінимо тепер X на нелінійне відображення випадкових проекцій вихідних ознак в простір розмірності N < n:

Kij = φ((WXі)j + bj) i=1..n, j=1..N

Тут W — матриця випадкових ваг, b — вектор зміщення, φ — нелінійна функція. Тоді, відобразивши тестові ознаки X' K', отримаємо

Y' = K KT(KKT + λI)-1Y

При навчанні класифікатора MNIST взяли N=10000 випадкових проекцій, W містила випадкові комплексні ваги з дійсної та уявної частини, розподілених за Гаусом, як нелінійної функції використовували модуль. При цьому помилка класифікації склала 2% (проти 12% в лінійному класифікаторі), розмірність обращаемой матриці 10000 х 10000, більш того, розмірність не залежала від n2. Використання еліптичної функції ядра дозволяє зменшити помилку до 1.3%. Звичайно, застосування більш досконалих класифікаторів типу згорткових нейронних мереж дозволяє отримати більш високу точність MNIST, але в задачах великих даних або мобільних додатках не завжди можливо використовувати нейронні мережі.

Описаний математичний апарат потребує збереження і множення вихідних ознак на потенційно величезну випадкову матрицю, і застосування нелінійної функції до результату множення. Автори розробили експериментальну установку, яка виробляє ці обчислення в аналоговій формі «зі швидкістю світла».

Монохромний лазерний промінь 532 нм розширюють за допомогою «телескопа», і отриманим квадратним освітлюють пучком цифрову матрицю мікродзеркал DMD. DMD просторово кодує світловий пучок вхідними даними ознаками. Наприклад, у разі завдання розпізнавання рукописних цифр MNIST комерційно доступна матриця DMD розмірністю 1920 х 1080 кодує пікселі напівтонових зображень MNIST розміром 28 х 28 таким чином, що кожному пікселю MNIST відповідає ділянка 4 х 4 микрозеркала, тобто 16 рівнів яскравості.

Далі світловий пучок, що містить амплітудно-модульований сигнал вхідного зображення, направляють на речовину, яке виконує роль випадкової вагової матриці проекції. Це товстий шар (десятки мікрон) наночастинок діоксиду титану, тобто білий пігмент. Величезна кількість непрозорих частинок так перемішують світловий промінь, що його властивості можна вважати цілком випадковими, але при цьому детермінованими і повторюваними (тобто матриця W незмінна).

Оскільки світловий пучок отриманий від лазера, він когерентний, і породжує інтерференційну картину на матриці звичайної відеокамери. Ця інтерференційна картина являє собою набір випадкових проекцій високої розмірності (близько 104 — 106), і отже, його можна використовувати для побудови лінійного класифікатора, наприклад SVM. За рахунок високої розмірності та нелінійності шанси на лінійну роздільність даних підвищуються, і лінійні класифікатори на основі таких інтерференційних картин можуть досягати точності, порівнянної з нейромережевими. При цьому швидкість розрахунків і енерговитрати непорівнянні. Швидкість роботи обмежена тільки швидкодією мікродзеркал DMD і зчитування інтерференційної картини з відеокамери. Сучасні матриці досягають швидкості роботи 20 кГц. Реалізація такої оптичної системи в єдиному кристалі дозволить дійсно створити універсальний співпроцесор для ефективного вилучення ознак з різноманітних даних навколишнього світу.

Оптичну схему автори запатентували для використання в задачі compressive sensing (публікація WO2013068783) і, можливо, для задачі класифікації (публікації патентної заявки поки що немає). Тим не менш, сподіваюся, описана методика породить нові ідеї в хабраголовах.

Якщо ви хочете займатися всякими такими штуками, запрошую на стажування або на постійну роботу в НИКФИ — науково-дослідний кинофотоинститут.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.