Персоналізація для пошукових сервісів

В даній роботі викладені принципи застосування технології персоналізації, враховує психологічні особливості користувачів, при формуванні видачі з інформаційного пошуку.
Метою даної технології є створення для користувача персонального комфортного простору в мережі інтернет взагалі, і позитивного досвіду взаємодії з пошуковим сервісом зокрема. Як наслідок, пошукові сервіси отримують інструментарій для оптимізації використання своїх ресурсів.

В даний час по кожному інформаційному запиту користувача пошукова система знаходить тисячі ресурсів. Як визначити, які саме ресурси зацікавлять користувача, щоб надати їм більш високий ранг серед всіх інших? Рішення проблеми релевантності видачі за інформаційним запитом є однією з пріоритетних завдань для пошукових сервісів і аж ніяк не тому, що вони хочуть заощадити час користувача, а через ресурсоємності процесу. Оскільки існуючим системам необхідно періодично проводити сканування та індексування всіх сторінок в інтернеті, визначати їх популярність з прив'язкою до пошуковим запитам користувачів, зберігати інформацію про всі запити всіх користувачів, щоб іноді звертатися до історії запитів, то питання оптимізації використання ресурсу стає вельми актуальним.
Одним з варіантів оптимізації є персоналізований пошук, покликаний позбавити користувача від необхідності витрачати час на перегортання сторінок видачі, а сервіс — від «підтягування» все нових і нових сторінок.
До недавнього часу персональний пошук використовував якісь дані про користувача (будь то короткочасна або тривала пошукова історія, інтереси або що-небудь інше) для підвищення релевантності видачі або не використав їх.
Дана технологія є універсальною для застосування в різних сферах діяльності інтернет, об'єднаних двома поняттями «людина — цифрова інформація». Сюди можна віднести рекомендаційні системи, рекламу, інформаційний пошук та ін
Ця технологія базується на персоналізації 2 основних принципах. Перший — потреби людини визначають вектор його активності (іншими словами — поведінка) усвідомлюваний або неусвідомлюваний. Виняток становлять деякі психічні розлади, але ми їх не будемо враховувати. Другий принцип — реактивність психіки, тобто, при дії стимулу психіка видає якусь певну реакцію на нього.
Стосовно до поведінки людини в мережі інтернет зазначені принципи утворюють ланцюжок — «пошук актуальної інформації — споживання інформації». (Необхідно відзначити, перше — в даному випадку слово «актуальне» відображає ситуаційність явища. У людини є ряд потреб, актуалізація одного або кількох з яких і задають ситуаційний вектор поведінки; друге — навіть якщо людина заходить в інтернет для спілкування, то це не змінює суті — відбувається задоволення певної потреби, а саме спілкування виступає як спосіб досягнення результату). Іншими словами, користувач цілеспрямовано робить інтернет-серфінг (послідовність переходів від сторінки до сторінки, а по суті — пошук), а психіка на кожну одиницю контенту видає реакцію — позитивну (підходить) або негативну (не підходить). У разі позитивної реакції серфінг переривається і відбувається «споживання контенту».
Спочатку проблема персоналізованого пошуку лежить на стику двох областей науки — психології та інформаційних технологій. В даному випадку психологія повинна відповісти на питання — які саме елементи контенту і як необхідно враховувати при формуванні видачі на інформаційний запит, щоб видачу можна було назвати персоналізованої, тобто задовольняє потреби персонально цього користувача. Інформаційні технології в свою чергу повинні забезпечити інструментарій (алгоритми) для виділення та інтерпретації цих елементів.
Пропонований підхід полягає в побудові моделі психіки користувача, яка дозволить з високою часткою ймовірності прогнозувати реакцію користувача на пропоновану йому одиницю контенту. (В даному випадку під «високою часткою ймовірності» розуміється ймовірність дорівнює або перевищує 80%).

Побудова моделі психіки конкретного користувача здійснюється за наступним алгоритмом:
1) Реєстрація реакції користувача на одиницю вмісту. В якості позитивної реакції враховується як факт кліку на посилання (або вказівка ресурсу в адресному рядку браузера самим користувачем), так і час знаходження на сторінці.
2) Виділення в засланні і її описі (якщо був перехід по посиланню) або в тематиці ресурсу (якщо мало місце використання адресного рядка браузера) смислових одиниць (під «смисловими одиницями» тут і далі розуміються якісь ідеї), на які могла зреагувати психіка користувача. З цією метою була розроблена семантична мережа, яка описує зв'язок між певними феноменами зовнішнього світу і їх відображенням у внутрішньому (психічному) плані людини аж до виявлення вроджених або сформованих у процесі онтогенезу особистісних характеристик, що визначають саме такий варіант відображення.
3) Побудова моделі, яка містить не тільки категорії, які визначаються безпосередньо реакцією на ті чи інші елементи контенту, але і, в основному, пов'язані з ними глибинні характеристики особистості (вроджені, набуті в процесі онтогенезу), але і [категорії] відносяться до актуального культурально-інформаційного простору (прийняті соціальні норми, належність до того чи іншого соціального класу та ін).

Однак, як виявилося на практиці, використання моделі психіки в такому вигляді для вирішення прикладних завдань виявилося скрутним. Тому було запропоновано формувати профіль користувача, який буде містити деяку кількість характеристик користувача, відображають його реакції на обмежене число смислових одиниць, значущих для пошукового поведінки. Профіль користувача являє собою спрощену версію моделі психіки, яку легко застосовувати для рішення прикладних задач.
Проаналізувавши за допомогою експертного методу запити в пошуковій активності користувачів, надані компанією Яндекс у вільний доступ (через проведення змагання), вдалося виділити 9 основних груп запитів, такі як — запит на інструкцію, отримання в інтернеті, вибір та ін
Аналіз враховував «ідею» запиту, ігноруючи форму вираження цієї ідеї.
Для кожної з груп експертним методом був складений глосарій. Слова в глосаріях різних груп запитів не перетиналися. Використовуючи даний глосарій, можна в автоматичному режимі визначати групу за ключовими словами запиту.
Також для кожної з груп експертним методом була розроблена специфічна система шкал. Дані шкали відображають інваріантність значущих характеристик інформації, яка буде міститися у відповідях на запити, віднесені до даної групи. Наприклад, для групи «Запит на інструкцію» були визначені наступні шкали: рівень інтелекту, теорія-практика, поверховість-заглибленість, образність, хаотичність-структурність та інші. Різні групи включають різну кількість шкал.
У кожного користувача через особистісних особливостей формуються специфічні для нього очікування відповіді на запит, тобто, кожен користувач «чекає» отримати інформацію з певним набором характеристик. Приклад запиту про смартфон-новинці — якщо такий запит робить молода дівчина, то вона, з великою ймовірністю, очікує побачити у видачі ресурси з великою кількістю фотографій, щоб оцінити дизайн, кольорову гаму та ін, так як для неї смартфон — це модний аксесуар. Якщо даний запит робить гик, то він буде чекати інформацію технічного плану, щоб оцінити можливості новинки і порівняти з аналогами, якщо такі існують.
Виняток становлять ситуації використання пошукової системи як аналога калькулятора, логарифмічної лінійки або будь-якого іншого пристрою, вивід інформації в якому максимально уніфікований в плані інтерпретації і проводиться зазвичай у вигляді символів (цифр та/або умовних знаків).
Спираючись на вищевикладене, хочемо наголосити на 2 моменти: перший — шкали відбивають характеристики інформації; другий — особистісні особливості користувача визначають його очікування.
Отже, персональний пошук, по суті, зводиться до визначення очікувань конкретного користувача і пропозицією йому інформації володіє необхідними характеристиками. Ця процедура ніяк не зачіпає предмет пошуку.
Пропонована технологія персоналізації з одного боку дозволяє з великою ймовірністю визначити очікування конкретного користувача. Для цієї мети аналізується історія запитів користувача і формується його профіль, де будуть відображатися всі значущі для даного користувача шкали по кожній групі запитів. З іншого боку технологія пропонує інструментарій для визначення характеристик інформації.
Як формування початкового профілю користувача і наступні його перерахунки, так і визначення характеристик інформації можуть здійснюватися в оффлайн режимі, що дозволить звести операції в режимі реального часу до розрахунку поточного індексу [необхідної] групи запитів в профілі користувача і ранжування ресурсів згідно максимальної відповідності розрахованим індексом.

Для оцінки можливості використання запропонованої технології для цілей персоналізованого пошуку був проведений експеримент. В якості робочої гіпотези було обрано припущення, що застосування даної технології персоналізації в пошуковому сервісі підвищує релевантність видачі за інформаційним запитом, а отже, ранг вибраного користувачем ресурсу буде менше.

Опис вибірки
Експеримент проводився на вибірці даних, наданої у відкритий доступ компанією Яндекс в рамках проведення відкритого змагання з персоналізованого мережного пошуку (Personalized Wed Search Challenge). Дана «база» містила інформацію про пошукової активності ~ 41тыс. користувачів за період 60 днів. Пропонувалися наступні дані:
— ID користувача
— ID запиту
— текст пошукового запиту користувача
— уніфікований текст запиту пошукової системи
— список ресурсів на першій сторінці видачі (або перші 10 ресурсів) і відповідний ранг
— ранг ресурсу, на який клікнув користувач
Через обмеженість виробничих потужностей вибірка була зменшена вибірку до 4 500чел., відібраних системою випадковим чином.
У підсумку параметри вибірки були наступні:
— кількість користувачів — 4 500 чол.
— обліковий період активності — 60 днів (з 19-09-13 за 17-11-13)
— загальна кількість запитів — 1 104 347

Опис експерименту
В якості методу для проведення експерименту було обрано модифікований А/В тест. Модифікація полягала в тому, що поділ на експериментальну та контрольну групу здійснювалося не серед суб'єктів, а серед об'єктів. Іншими словами поділу на групи піддалася пошукова активність користувачів, а не самі користувачі. Це було обумовлено тим, що даний підхід передбачає формування для кожного користувача профілю з його особистісними характеристиками.
На 1-му етапі експерименту система проводила категоризацію запитів, тобто віднесення до однієї з вищезазначених 9 груп.
У вибірці виділені групи перекрили 48,7% (538 441) всіх запитів. В останні 51,3% (565 906) увійшли запити, які система не змогла ідентифікувати з-за граматичних помилок, використання транслітерації, використання слів, які не увійшли ні в один зі словників.
На 2-му етапі відбувалася оцінка можливості формування персонального профілю для користувачів вибірки. Так як для формування функціонального профілю в рамках запропонованого підходу існує нижня межа користувальницької пошукової активності (в нашому випадку 40 запитів), то система відкинула користувачів, що не відповідають цьому критерію, і їх запити. В результаті вибірка зменшилася до 3 826чел. з загальною кількістю запитів — 523 007.
Даний етап обумовлений виключно обмеженістю даних. У пошукових сервісів зазначеної проблеми не повинно існувати.
На 3-му етапі відбувалося поділ запитів на експериментальну та контрольну групу.
Було вирішено розбити на групи співвідношення 80:20, тобто 80% активності кожного користувача потрапляють в експериментальну групу, 20% — у контрольну.
У підсумку в експериментальній групі вийшло 418 406 запитів, а в контрольній — 104 601.
На 4-му етапі запити з експериментальної групи (418 406 запитів) були оброблені системою за схемою: визначення групи запиту -> оцінка вираженості значущих шкал для ресурсу, вибраного користувачем.
Визначення групи запиту здійснювалося шляхом порівняння ключових слів запиту з глоссариями груп запитів. Потім система визначала значущі шкали для даної групи запитів і оцінювала їх вираженість. Ми не можемо розкрити принципи та механізм оцінки вираженості, оскільки дана інформація є комерційною таємницею, проте можемо сказати, що вони доступні машинного навчання.
За результатами обробки запитів в експериментальній групі відбувалося формування профілів користувачів. В профілі для кожної з груп запитів вказувалися найменування значущих для даного користувача шкал і розрахункові коефіцієнти (рівень пріоритетності шкали для користувача).
Слід зазначити, що через обмеженість розрахункових потужностей система обробляла ресурси в цілому, а не конкретні сторінки ресурсів, обрані користувачами. Наприклад, якщо користувач вибирав slovo.ws/resh/007/, то система аналізувала slovo.ws/. Цей факт, по-перше, призвів до того, що з обробки випали всі агрегатори контенту, такі як, соціальні мережі, Youtube і т. п., унаслідок широкого розмаїття контенту на них; по-друге, це не могло не позначитися на результатах експерименту в бік їх погіршення.
На 5-му етапі запити з контрольної групи (104 601 запит) оброблялися системою за схемою: визначення групи запиту -> визначення вираженості значущих шкал -> розрахунок індексу відповідності персонального профілю -> ранжування ресурсів в пошуковій видачі за індексом відповідності -> визначення рангу ресурсу, вибраного користувачем.
Визначення групи запиту здійснювалося, як і на попередньому етапі, шляхом порівняння ключових слів запиту з глоссариями груп запитів. Потім система визначала значущі шкали для даної групи запитів і оцінювала їх вираженість. Після цього відбувався розрахунок індексу відповідності для кожного ресурсу з пошукової видачі (перших 10 ресурсів). Даний індекс відображав наскільки самі шкали і їх вираженість у ресурсу у видачі відповідають значущим для користувача шкалами для даної групи запитів в його персональному профілі. На основі розрахованих індексів відповідності система становила ранжируваний список ресурсів в пошуковій видачі і визначала ранг ресурсу, вибраного користувачем.
На заключному етапі мав місце аналіз запитів за критерієм інформативності. Після відсіювання неінформативних запитів відбувалося обчислення і порівняння середніх рангів обраних ресурсів у видачі пошукового сервісу та у списках, ранжованих за індексами персональних відповідностей.
При аналізі запитів щодо їх інформативності були відсіяні наступні:
а) запити, коли користувач вибирав ресурси в пошуковій видачі строго в ранговій послідовності, наприклад, (ранги ресурсів) 1*; 1, 2; 1, 2, 3; 1, 2, 3, 4; 1, 2, 3, 4, 5 і т. д., — оскільки, як ми вважаємо, така поведінка не відображає персональних уподобань, а скоріше є наслідком стереотипізації сприйняття ранжованій інформації — від найбільш значущою (зверху) до менш значущою (нижче за списком). Можна було б припустити, що в подібному випадку останній ресурс є найбільш релевантним для користувача (після ознайомлення з ним користувач припинив / змінив пошукову активність за даним запитом). В такому випадку необхідно було аналізувати (порівнювати) такі тимчасові параметри — час між пред'явленням пошукової видачі і першим вибором користувача, час взаємодії з контентом, час наступного запиту — і параметри унікальності контенту, — наявність непересекающейся інформації, стиль викладу та ін. Зазначений нами аналіз не проводився, так як часових параметрів у базі даних, наданої пошуковим сервісом у відкритий доступ, не було, а аналіз унікальності контенту хоч і вимагав значних розрахункових ресурсів, але був даремний без тимчасових даних.
* — для визначення того, що користувач вибрав ресурс №1 за відповідності своїм очікуванням (тобто вибір визначили персональні характеристики користувача), а не тому, що це шаблонне дію, необхідно аналізувати час між пред'явленням пошукової видачі та кліком на посилання. Часовий проміжок повинен бути достатнім для порівняння параметрів ресурсу №1 (формулювання фрази-посилання, зміст фрагменту, адреса ресурсу) з відповідними параметрами мінімум наступного у списку ресурсу №2. Як зазначалося вище, часових параметрів у базі даних, наданої пошуковим сервісом, не було.
Наявність у пошукових сервісів повної інформації з історії запитів може бути використане для визначення присутності в пошуковому поведінці користувача шаблонних дій та подальшої оптимізації застосування технології персонального пошуку.
б) запити, якщо хоча б у одного з ресурсів у відповідній пошуковій видачі відсутній індекс відповідності. Незважаючи на те, що відсутність індексу не могло підвищити ефективність застосування запропонованого підходу, так як поміщало ресурси вниз списку, однак, предметом аналізу повинні були виступати вибори, визначені персональними характеристиками користувачів, а не недосконалістю апаратури.
в) запити, де в пошуковій видачі були посилання на різні сторінки одного ресурсу. Так як система аналізувала не конкретні сторінки, а ресурси в цілому, то при складанні ранжированого списку не було можливості розділити різні сторінки одного і того ж ресурсу.
У підсумку розрахунок середніх рангів проводився на 74 279 запитах (~71% від загального числа запитів в контрольній групі). Середній ранг обраних ресурсів у видачі пошукового сервісу склав 3,6. Значення середнього рангу в списках, ранжованих за індексами персональних відповідностей, вийшло 2,9. Тобто показник покращився на ~19,4%, що для контрольної групи в цілому (з урахуванням користувачів, для яких не був сформований профіль) дало результат ~16,1%.

Інтерпретація результатів
Результати експерименту показали, що застосування технології персоналізації в області інформаційного пошуку підвищує релевантність пошукової видачі, про що опосередковано можна судити по зменшенню рангу ресурсу, вибраного користувачем. У нашому випадку ефективність у контрольній групі підвищилася на ~16,1%.
Ми цілком реалістично дивимося на отриманий результат. Так, наприклад, маючи більше даних користувача активності (конкретно — часові параметри), не довелося б відсіювати всі запити, де користувач вибрав ресурси в ранговій послідовності, а лише частину — у користувачів з шаблонним пошуковим поведінкою. Це, безсумнівно, знизило б підсумковий результат. З іншого боку, якщо б ми мали більші продуктивними ресурсами, то могли б аналізувати конкретні сторінки в пошуковій видачі, а не ресурси в цілому. Це дещо збільшило б ефективність, так як дозволило б врахувати ряд факторів, які, на нашу думку, важливі при виборі джерела інформації (унікальність інформації, стиль викладу і ін).
На нашу думку, пропонована технологія персоналізації для пошукових сервісів має ряд переваг, покликаних оптимізувати роботу пошукових сервісів. По-перше, побудова моделі психіки користувача забезпечує високу ступінь прогностичности даного підходу. По-друге, частина операцій можуть бути виведені в оффлайн режим, що дозволяє оптимально розподілити ресурси і знизити навантаження в періоди онлайн активності, наприклад, визначення вираженості шкал у ресурсів і/або окремих сторінок.
У разі користувачів зі стереотипним сприйняттям ранжованій інформації застосування даного підходу не позначиться на вашому видачі безпосередньо (з персоналізованим пошуком або без нього такі користувачі переглядають ресурси згідно рангової послідовності). Однак, якщо припустити, що такі користувачі припиняють / змінюють пошукову активність, коли знайдений ресурс, який відповідає їх очікуванням, то використання персональних переваг дозволить «підняти» даний ресурс вище в пошуковій видачі, тим самим формуючи позитивний досвід взаємодії з пошуковим сервісом.

Стаття написана у співавторстві: Лепихов Сергій, Головань Олександр.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.