Крута ідея онлайн-бізнесу. Як заробити на чужому імені, чужому сайті і навіть не маючи товару

Почалася історія з того, що один з моїх сайтів став скачувати підозрілий робот. Це був не Яндекс-бот і не Гугл-бот і взагалі жоден з відомих пошуковиків. Підозра підкріплювалася тим, що Useragent був дивний — curl/<ЩОСЬ>, а Referer — d:/<ЩО ЩЕ>. Єдиною метою таких роботів є крадіжка контенту з атакується ресурсу…

Близько двох місяців все руки не доходили пошукати злісного парсера — зрозуміти, на якому іншому домені викладається мій цінний контент (жарт). Я тільки іноді забороняв на рівні php-коду деякі значення Useragent і Referer, але мій таємничий друг їх підправляв і знову приходив на сайт з непотрібною навантаженням.

І ось, руки дійшли!

Я придумав як знайти парсера, а точніше його домен(и) у видачі Яндекса. Трохи про проект — близько 10 мільйонів однотипних сторінок з реєстраційними даними юридичних осіб РФ — назви, коди, адреси і т. п. Але, на кожній сторінці присутній довга фраза про те, що поточний стан юрособи може не відповідати представленим. Ну так, 10 мільйонів фірм — з них 400 тисяч щось змінюють кожен рік (директора, юрадресу, засновників...) Ось по цій фразі в Яндексі нашлось купа сайтів (не моїх), але і з моїм контентом! (На другій сторінці видачі, наприклад, url типу uralres.ru/q6bCp__08pky) Хоча, фрагменти вказували, що там таки знаходиться інформація про юрособу. Перший десяток таких сторінок я просто закривав на автоматі не замислюючись, а чому, власне, в сніппеті одне, а при переході на сайт — якийсь ГС із засобом для… за смаком — потенції, схуднення, антиопохмелин і т. д. Причому, якщо просто забити URL з цього сайту в адресний рядок, то отримаємо Помилку 404!

Припускаю наступний механізм роботи цієї системи:

  • Шукається сайт-донор з великою кількістю сторінок
  • Створюється домен-акцептор, який починає згодовувати Яндекс-боту сторінки з сайту-донора, замінюючи на льоту всі посилання на свої. Причому, як я зрозумів, не безпосередньо типу donor.ru/otrasli/25 -> gs.ru/otrasli/25, а як-то шифруючи їх оборотно — donor.ru/otrasli/25 -> gs.ru/8SDnm34rLK
  • Сторінки, віддані Яндексу навіть не кешуються акцептором — а навіщо, потім ще раз заберемо, якщо запитають. Але, якщо тільки запитає Яндекс-бот! А користувачеві ми покажемо рекламу чудодійного засобу.
Йдемо далі.

На декількох відкритих лже-сторінках мені попалася фотка з популярною телеведучою-докторшей, яка тримає в руках коробочку з диво-засобом від запоїв. Відразу скажу, що були і сторінки із засобом для потенції — і так, ведуча таким-же чином тримала в руках відповідні предмети.

Але, зупинимося на запоях.

Це типова посадкова сторінка, оформлена під блозі телеведучої. Ніби за мотивами однієї з передач про алкоголізм був створений цей бложік для відповідей на часті питання, обміну досвідом і формою замовлення препарату. Також всі посилання на сторінку з допомогою javascript підмінялися на нібито офіційний сайт препарату типу c.superantipohmel.ru — це щоб відвідувач при будь-якому натисканні потрапляв вже на білий сайт виробника.

Фото із зображенням популярної ведучої, тримає в руках це диво-ліки — підробка, низькопробний фотошоп! Однак, судячи за розмахом ділків, саме ця картинка вводить в оману довірливих громадян, які випадково потрапили на один з їхніх сайтів.

Тепер вся схема шахрайства як на долоні!

Заповзятливий Веб-майстер розробив хитру схему обману:

  • Яндекс сканує його сайт і бачить неунікальний контент. Але Яндекс не завжди може розпізнати факт, що інформація сворована, і якусь частину даних поміщає в свій індекс.
  • Інтернет-користувач вводить запит на Яндексі та в результатах пошуку бачить посилання на сайт шахраїв. Клікає на посилання, але отримує вже не потрібну йому інформацію, а підміну — сторінкузразок з легко впізнаваною телеведучої.
  • Далі, найбільш довірливі і ті, для кого проблема алкоголізму в даний момент є найбільш гострою, залишаються на подменной сторінці, читають лже-рекомендації лікаря, лже-відгуки, бачать нечітку фотографію якогось сертифіката… і замовляють Антипохмелин.
Я провів міні-розслідування — теж замовив ліки нібито для батька. У формі розміщення замовлення потрібно вказати ПІБ, номер телефону та вибрати країну (для солідності?).

Після відправки замовлення мені через 5 хвилин з номера (495) 645-80-56 передзвонив хтось Геннадій (система авто дозвону, контакт-центр, всі справи). Представився консультантом магазину Shop-online (два найпопулярніших пошукових слова — спробуй, знайди магазин) і спокійним упевненим голосом поцікавився, для кого я беру препарат. Впорався тривалості пристрасті батька до алкоголю, тяжкості залежності. Вислухавши мій слізливий розповідь, він авторитетно підтвердив, що А-похмел впевнено справляється саме з такою формою захворювання і результату у вигляді відрази до алкоголю у пацієнта можна чекати після місячного курсу. Місячний курс лікування препаратом — це 4 пачки, з доставкою вартість близько 4000 рублів!

Ми оформили замовлення — у мене взяли адресу доставки. Вид доставки — поштою Росії з оплатою при отриманні. В комплект поставки повинно входити сам засіб, інструкція та сертифікат! Цікаво, сертифікат на що? Що це засіб не представляє небезпеки для його приймає? Подивимося…

Погугливши пошуком я знайшов багато відгуків про компанії-продавця, чиї реквізити вказані на білому сайті поряд з формою замовлення. Зокрема, що вони взагалі не надсилають те, що ви замовили, а вкладають в посилку, наприклад, копійчану пачку чаю. Все одно на пошті ви спочатку оплатіть післяплата, а вже потім підете дивитися, що ж прийшло. До речі, посилку відправить вам якесь фізична особа, на яку і до суду не подаси — у вас немає його паспортних даних і прописки. І ви не уявляєте, як сильно мене порадував той факт, що відгуки знайшлися на МОЄМУ сайті.

Отже, 4 етапу в схемі, і кожен з них шахрайський! Підмінний контент — раз, використання образу ведучої-доктора — два, лже-сертифікат — три, обман на пошті — чотири. І кожен етап окремо максимально неможливо довести — на сайт крім як з Яндекса Ви не потрапите, замовляєте препарат вже на іншому — «офіційному сайті виробника. Ну а те, що на пошті вам видали коробку з пакетиком чаю за 4 килорубля — це ви з фізиком-відправником розбирайтеся, про що там у вас договір був.

На цьому мій звіт закінчено. І нехай буде в цілості контент ваш!

PS Дочитавшим до кінця — бонус.

Як просто і наочно розпізнати бота-злодія, і взагалі отримати картину того, що відбувається в даний момент на сайті? Я кілька місяців виношував ідею, як по одному погляду на екран зрозуміти, все добре з сайтом? І придумав таке рішення. Зберігати в якесь сховище дані про 100 останніх запитів до сайту — URL, Useragent, Referer, час роботи скрипта…

Тепер, зайшовши в будь-який момент на спеціальний URL моніторингу, я бачу, скільки у мене Яндекс-ботів, Гугл-ботів, непотрібних ботів і Відвідувачів припадає на 100 запитів в моменті. Бачу час спрацьовування скриптів на різних класах урлов — повільні і швидкі урли відразу виявляються. Бачу підозрілих ботів — ну не може звичайний користувач відкрити 10 однотипних url за 10 секунд! А якщо розділити 100 запитів на кількість секунд, за які вони прилетіли, то отримаємо навантаження на сайт в запитах в с.

Як стора рекомендую XCache (для любителів php). Він чарівний — багатопотоковий, швидкий, без локов! Але підходить тільки для зберігання незначних даних протягом мінімального проміжку часу. Цей двірник, який приходить все чистити, дуже непередбачуваний! Пробував просити його приходити рідше, але тоді OOM траплявся.

Для 100 останніх запитів вам знадобиться 101 осередок-ключ — cur_counter і zapr_i, де i=[0..99]. При кожному виконанні php-скрипта ми инкрементим cur_counter і обчислюємо номер комірки для поклажі статистики запиту cur_counter % 100 (залишок від ділення на 100). Далі в клітинку кладемо метадані за запитом і, не повірите, в кеші лежить рівно 100 останніх запитів ЗАВЖДИ! Що класти в кеш і як це відображати — на Ваш розсуд.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.