Шукаємо і викачуємо непопулярні і старі файли в інтернеті

Переважно медіафайли. На повному серйозі, без жартів.

ВведенняБуває, трапляється так, що ви хочете завантажити альбом 2007 року виконавця, який крім вас відомий 3.5 людям, якийсь іспанський ска-панк чи мало популярний спидкор європейського походження. Знаходьте BitTorrent-роздачу, ставите на закачування, швидко завантажуєте 14.7%, і… все. Минає день, тиждень, місяць, а відсоток скачаного не збільшується. Ви шукаєте цей альбом в пошуковику, натикаєтеся на форуми, показують посилання тільки після реєстрації і 5 написаних повідомлень, реєструєтеся, флудите в мертвих темах, вам відкриваються посилання на файлообмінники начебто rapidshare і megaupload, які вже сто років як померли.

Спроба завантажити хоча б один файл
на Жаль, часта ситуація в спробі хоч щось скачати

Таке трапляється. Останнім часом, на жаль, трапляється частіше: правовласники та правоохоронні органи всерйоз взялися за файлообмін; в минулому році закрилися або були закриті KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua і ще купа інших сайтів. І якщо пошук свіжих ріпів фільмів, серіалів, музики, мультиків все ще не становить великої проблеми, незважаючи на багаторазово почастішання видалення з боку правовласників контенту з пошукових систем, торрент-трекерів і файлообмінників, то пошук і скачування оригіналу (DVD або Blu-Ray фільмів і серіалів або просто ТВ-ріпів 7-річної давнини на не-англійською і російською мовою — не така вже проста задача.

Навіщо це потрібно?• Відсутність деяких релізів на дисках
У випадку з відео, іноді трапляється так, що картину дублюють і транслюють по телебаченню в якійсь країні, а на дисках не випускають. Каппери викладають ТВ-ріпи у файлообмінні мережі або BitTorrent, потім виходять DVD в іншій країні, без відповідної аудіодоріжки, наприклад, французької, і люди змушені або качати DVDRip з гарною якістю відео без французької доріжки, або ТВ-ріп з нею. Проходить час, ТВ-ріп роздають все менше і менше людей, він видаляється з файлообмінників через неактивність, і все — французький реліз стає скачати набагато складніше.
Проблему можна було б вирішити, поєднавши аудіотрек з ТВ-ріпа з доступним відео з DVD, що не завжди так просто, як здається. Цим ніхто не зайнявся і ТВ-версія померла.

• Відмінність контенту ТБ — і DVD-версії
Наприклад, мультсеріал «Дарья» втратив майже всієї музики, яка була в ТБ-версії, з-за юридичних проблем з переліцензування. Довгий час люди, охочі подивитися цей серіал, стояли перед вибором: або повноцінна ТВ-версія з музикою і поганою якістю відео або DVD-версія з хорошою якістю, але без музики.

• Регіональні відмінності
Справедливі як для відео, так і для музики. Мультсеріал W. I. T. C. H. випускався з 4 різними опенингами, тільки один з яких потрапив на DVD.
Найчастіше, музичні альбоми, що випускаються для ринку Японії, містять бонусні треки, яких немає в інших виданнях.

Як ви вже зрозуміли, причин може бути безліч. Де шукати непопулярні і старі файли?

UsenetUsenet — розподілена мережа з серверів, синхронізуючих інформацію між собою. Структура Usenet нагадує щось середнє між форумами та електронною поштою: в «інформаційних групах» (так називаються тематичні категорії в Usenet) повідомлення мають деревоподібну структуру, користувачі можуть підписуватись на конкретні групи, читати і писати на них. Як і в Email, повідомлень є тема (subject), яка дозволяє орієнтуватися в змісті дискусій. Зараз використовується переважно для обміну файлами.

Історія UsenetЗ'явилася в 1979 році, в до-інтернетівську епоху мережа використовувала прямі модемне з'єднання для передачі інформації через UUCP і була інструментом переважно текстового спілкування. У свій час Usenet конкурував з BBS, існували спеціальні шлюзи і Fidonet. З приходом інтернету, повідомлення Usenet почали передаватися по TCP/IP, використовуючи протокол NNTP, який залишається відносно використовуються і поза Usenet (наприклад, можна читати величезну кількість публічних списків розсилок через gmane і RSS-канали через gwene, причому, на відміну від списків розсилки, ви завжди можете подивитися всю історію, а не лише повідомлення з моменту передплати).

Читання email розсилок через NNTP

Із збільшенням пропускної спроможності ліній, поліпшенням модемів та їх протоколів, до дев'яностих мережа вже щосили використовували для передачі бінарних файлів: вареза, музики, відео. Робилося це приблизно таким же чином, як і в Email: файл розбивається на невеликі частини (тома), кодується друкованими символами у 7-бітному кодуванні з використанням Base64 або uuencode, і відправляється в ньюсгруппу. Кодування в 7 біт додає близько 30% накладних витрат на передачу файлу. Специфікація дозволяє використовувати більшість символів ASCII-таблиці, тому в 2001 році з'являється алгоритм передачі файлів yEnc, збільшує файл всього на 1-2%, екрануючи тільки символи переносу рядка, NULL-байти і символ рівності (=). Ним користуються і донині.
Для контролю цілісності і відновлення пошкоджених або відсутніх даних використовується Parchive.

Завантаження файлів в Usenet

До 2008 року найбільші Usenet-провайдери зберігали двійкові файли близько 100-150 днів з моменту їх завантаження (так званий retention time, строк зберігання файлів). З 2008 року найбільші провайдери взагалі перестали видаляти що-небудь, і на поточний момент можна без проблем завантажити файли восьмирічної давності, а провайдери поменше виставили retention time 1000+ днів, що теж чимало. До цього моменту текстове спілкування в Usenet зійшло нанівець і мережа використовувалася переважно для зберігання і передачі файлів.

Починаючи десь із середини 2011 року за мережею почали стежити правовласники, з-за чого Usenet-провайдерам довелося видаляти файли, що сильно вплинуло на цілісність релізів. Деякі провайдери зробили автоматизовані системи видалення файлів, щоб правовласники могли видаляти завантаження самостійно. Щоб запобігти або хоча б сповільнити виявлення файлів правовласниками, ентузіасти починають завантажувати файли з обфусцированными іменами, в архівах під паролями, і додають їх у каталоги систем індексації релізів (indexers), доступ до яких, як правило, здійснюється або за гроші, або за запрошеннями. Звичайними способами ні знайти, ні завантажити такі релізи не вдасться.

У сучасній Росії про Usenet майже нікому не відомо, хоча рунет зароджувався саме з нього, за допомогою протоколу UUCP, і був єдиним робочим каналом для зв'язку з Заходом під час путчу 1991 року. Зараз Usenet найбільш популярний в країнах, закони яких дозволяють штрафувати користувачів за скачування або роздачу контенту, захищеного авторським правом, наприклад, у Німеччині. На відміну від BitTorrent, дізнатися IP-адреси користувачів Usenet сторонньої організації неможливо.

Підключення до UsenetПовноцінно користуватися мережею безкоштовно, швидше за все, не вийде: або зіткнетеся з низьким часом зберігання файлів (10-30 днів), або з низькою швидкістю, або отримайте доступ тільки до текстовим групам. Доведеться купити доступ в якого-небудь провайдера або їх посередників. Більшість провайдерів мають два типи тарифів: місячний абонемент без обмежень за кількістю завантаженого (unlimited) і пакет трафіку без обмеження по часу (block). Якщо ви збираєтеся качати файли з мережі пару раз в місяць, block-доступу вам вистачить надовго.
Найбільшими провайдерами є Altopia, Giganews, Eweka, NewsHosting, Astraweb.

Тепер потрібно якимось чином отримати nzb-файл з метаінформацією, це щось подібне .torrent-файлу. Якщо у вас його немає, потрібно скористатися пошукачем-индексатором.

ІндексаториЗагальнодоступні індексатори завалені спамом з вірусами і шукають, як правило, погано, але, тим не менш, підходять для пошуку застарілих файлів, завантажених близько 5 і більше років тому.
Ось деякі з них:
Безкоштовні волонтери, які вимагають реєстрації, більше підходять для файлів свіжіше. Вони добре каталогізовані, релізи мають не тільки назву, але і опис з картинкою.
Останні два особливо рекомендую, в них можна знайти безліч обфусцированных релізів.
Існують і вузьконаправлені сайти. Наприклад, індексатор аніме anizb і музики albumsindex.

Скачування з UsenetДавайте спробуємо скачати фільм The FP 2011 року, досить невідомий і непопулярний, BDRip'а якого 1080p так просто знайти мені не вдалося. Для цього вам потрібно знайти nzb-файл і імпортувати його в програму для закачування, наприклад, NZBGet або SABnzbd, попередньо встановивши її.
Заходимо на nzbking.com, виконуємо пошук по «the.fp.2011».
Пошук the.fp.2011 в nzbking, файл тільки з однією доступною частиною
Бачимо в індексі файл, у якого доступна тільки одна частина з 3867. Такий файл не завантажити, тому індексатор відображає цей параметр червоним кольором.

Пошук the.fp.2011 в nzbking, знайшовся файл з паролем
Файли, захищені паролем, як правило, є просто фейками.

Пошук the.fp.2011 в nzbking, знайшовся DVDRip
На другій сторінці виявляється DVDRip, з адекватним розміром, в архіві без пароля — хороший знак.

BDRip the.fp.2011 в nzbking
На третій сторінці знаходимо BDRip та кілька DVDRip'ів, схожих на справжні (судячи за розміром файлу і дату завантаження).
Вибираємо файли, які хочемо завантажити, натискаємо кнопку «Download NZB», викачуємо .nzb-файл і імпортуємо його в NZBGet або SABnzbd, попередньо вписавши дані свого Usenet-аккаунта в налаштування програми. Починається скачування каналу зі швидкістю мого провайдера.

Завантаження файлу через NZBGet
По закінченню скачування, NZBGet автоматично розпакує архів і видалить їх. Файл розміром 6.74 ГБ, завантажений 4.5 роки тому, скачати за 15 хвилин!

IRC / DCC / XDCCInternet Relay Chat — протокол текстового спілкування, дотепер користується популярністю у розробників вільного ПЗ, адміністраторів торрент-трекерів, анімешників і авторів ботнетів з-за своєї простоти. З'явився в 1989 році, IRC став стандартом групових чатів в інтернеті на довгі роки, і починає втрачати популярність тільки в середині 2000-х, з приходом ICQ та Jabber. В IRC існує можливість передачі файлів — DCC, на основі якої в 1994 році був написаний перший бот для автоматичного розповсюдження доступних боту файлів — Xabi DCC (звідси і назва — XDCC).

На сьогоднішній день існують як окремі канали, так і цілі сервери, присвячені файлообмену через XDCC. Майже у будь-який мало-мальськи серйозної аніме реліз-групи, у якій навіть може не бути веб-сайту, є свій бот, з якого можна завантажити всі релізи групи незалежно від їх віку. Популярність XDCC обумовлена функціональністю скриптів, легкістю їх налаштування і адміністрування: выкладывающему реліз досить завантажити яким-небудь чином файл на сервер з ботом, наприклад FTP, а бот сам додасть його в індекс, сповістить користувачів на каналі про появу нового файлу, автоматично відправить його користувачів, що підписалися на оновлення цього бота (наприклад, якщо це новий епізод серіалу).

У спеціальних IRC-мережах поширюють варез, свіжі і не дуже фільми, музику, ігри, книги. XDCC не наділений увагою правовласників, тому у ботів можна знайти безліч речей, які важко знайти в інших місцях.

ІндексаториБагато хто (але не всі) XDCC-боти індексуються спеціальними скриптами, які надають веб-інтерфейс для ефективного пошуку файлів.
Загальні індексатори контенту:
Волонтери аніме:


Скачування з IRCВам знадобиться IRC-клієнт, підійде практично будь-який (переважна більшість клієнтів підтримує DCC). Підключаємося до цікавить вас сервера зі списку, заходимо на канал. Найбільші сервери з книгами:
  • irc.undernet.org канал #bookz
  • irc.irchighway.net канал #bookz
Варезом:
  • irc.criten.net канал #elitewarez
  • irc.infatech.net канал #elitewarez
  • irc.scenep2p.net канал #the.source
Фільмами:
  • irc.abjects.net канал #moviegods
  • irc.abjects.net канал #beast-xdcc
Мультфільмами і аніме:
  • irc.rizon.net канал #news
  • irc.xertion.org канал #cartoon-world
Всі версії ботів приймають команду
!find
або
@find
для пошуку файлів, після чого відправляють результати особистим повідомленням. Для популярних запитів на каналах з великою кількістю ботів вас буквально заспамит відповідями, тому, якщо канал підтримує команду
@search
, краще скористатися їй — спеціальний індексатор каналу відправить вам результати одним файлом через DCC.

Спробуємо завантажити «How Music Got Free» («Як музика стала вільною» по-російськи) — чудова книга про історію музичної індустрії, технології обміну музикою і людину, що майже поодинці стягнув 2000 альбомів і виклав їх в мережу.
Пошук книги на IRC-каналі

Бот надсилає результат пошуку у вигляді ZIP-архіву з текстовим файлом:
Прийом ZIP-архіву

Відправляємо боту запит на скачування файлу:
Запит на скачування файлу

...і приймаємо його!
Прийом файлу

Звичайно, не обов'язково шукати безпосередньо на каналі. Якщо ви знайшли потрібний файл через індексатор, можете відразу запитати його у бота командою, яку вам згенерує сайт.

DC++Direct Connect-мережа являє собою клієнт-серверну архітектуру, де всі комунікації, крім безпосередньо обміну файлами, відбуваються через сервер. В DC++ є можливість розшарювання файлів і директорій, пошук файлів з урахуванням їх типу (відео, аудіо, архіви, документи, образи дисків), посилання на файли, які не залежали від імені файлу і, звичайно ж, чат, із-за чого DC++-хаби були дуже популярні в локальних мережах інтернет-провайдерів РФ. Сибірський провайдер GoodLine рекламував свій внутрішньомережний хаб на вуличних рекламних щитах, писав для спрощення файлообміну і навіть встраивал його в свої Set-top box, щоб клієнти могли дивитися новинки кінематографа прямо з телевізора. На хабі сиділо більше 100000 чоловік — більше, ніж в будь-якому іншому хабі в світі.

EiskaltDC++, хаб allavtovo

З-за того, що користувачеві досить вказати шлях до файлів, до яких він хоче відкрити публічний доступ, в DC++ можна знайти страшне, маловідоме мотлох, яке, на думку користувача з цим файлом вже точно нікому не здалося, але він його все одно розшарив, так, на всяк випадок.

Пошук в DC++
3 людини роздають відеоурок 11-річної давності, який жодному осудної людині дивитися не захочеться, повірте.

Скачування з DC++Вам знадобиться який-небудь DC-клієнт. Під Windows рекомендую FlylinkDC++ (який, до того ж, підтримує BitTorrent), під Linux — EiskaltDC++ і AirDC++ Web. Далі потрібно підключитися до популярних хабам, краще відразу до десятки. Список хабів є в самих програмах, але можна скористатися спеціальною сторінкою і скопіювати адреси звідти.

Настійно рекомендую включити «активний» режим, прокинути порти, ввести ваш зовнішній IP-адресу в налаштуваннях програми і переконатись, що вам можливі підключення ззовні, інакше, у «пасивному» режимі у вас будуть обмеження на кількість результатів пошуку, ви не зможете качати файли з інших користувачів в «пасивному» режимі.

Сторінка налаштувань EiskaltDC++

Пошук і скачування файлів інтуїтивно зрозуміло: вводите назву, опціонально вибираєте тип контенту і фільтр за розміром, натискаєте кнопку пошуку, клікаєте два рази по результату, файл починає викачуватися. Також можна подивитися всі файли користувача (і, наприклад, завантажити папку з знайденим файлом цілком), натиснувши правою кнопкою по конкретному результату і вибравши відповідний пункт меню.

Скачування файлу в DC++

Якщо потрібного вам файлу не знайшлося, має сенс періодично повторювати пошук. Деякі люди запускають DC-клієнт тільки тоді, коли їм потрібно щось скачати, і вам потрібно зловити момент, щоб знайти файл у таких користувачів.

З-за обмежень протокла NMDC, одночасний пошук декількох файлів утруднений, результати одного пошукового запиту можуть перемішуватися і відображатися в сусідніх вікнах пошуку, тому краще не шукати кілька файлів одночасно. У хабів, що працюють по протоколу ADC, таких обмежень немає, але і таких хабів гнітюче мало (їх URI починається з
adc://
, а не
dchub://
).

ІндексаториПошук всередині програми може знайти тільки файли користувачів, що знаходяться в DC-мережі на момент пошуку, тому волонтери дуже корисні для знаходження і скачування файлів з рідко запускають програму людей.

Наскільки мені відомо, повноцінний індексатор DC++ є тільки один — spacelib.dlinkddns.com (і його другої адресу dcpoisk.no-ip.org). Пошук заснований на движку Sphinx і враховує морфологію (в тому числі і російської мови). Пошуковик генерує magnet-посилання для результатів пошуку, які можна поставити на закачку клієнта.
Іноді він подовгу недоступний, наприклад, минулого разу він не працював два місяці поспіль.

eDonkey2000 (ed2k), Kaded2k — протокол децентралізованої передачі файлів, який вимагає сервер-хаб для знаходження користувачів і з'єднання з ними. Був протоколом №1 для передачі файлів серед усіх верств населення, до закриття самого популярного сервера Razorback 2 у 2006 році та зростання популярності BitTorrent.

eDonkey2000 вижив. Цьому посприяв протокол повністю децентралізованого обміну Kad, який був впроваджений в сторонні клієнти незадовго до закриття Razorback 2 і головного сервера оригінальної програми, поступається в функціональності і швидкості альтернативних реалізацій.

В ed2k можна знайти приблизно те ж саме, що і в DC++ — старі файли, ТВ-шоу на різних мовах, різноманітну музику, ігри, варез, старі книги з програмування, математики, біології. Новинки, зрозуміло, теж у наявності. Хоч протокол і підтримує чати і перегляд всіх файлів користувача у відкритому доступі, ці функції за замовчуванням, і, швидше за все, вам не вдасться поспілкуватися з важливими для вас людьми через програму.

Скачування в eDonkey2000 / KadЯк ви вже здогадалися, буде потрібно ed2k-клієнт. Хороший вибір для Linux — aMule, для Windows, напевно, eMule, хоч він і не оновлювався з 2011. Вкрай рекомендую прокинути порти, щоб мати можливість скачувати з користувачів за NAT (LowID).

Процес пошуку і скачування файлів дуже схожий на такий у DC++ — вводимо пошукової запит, отримуємо результати пошуку з користувачів, що знаходяться онлайн, клікаєм на файли для початку скачування.
Файл з'явиться в результатах навіть у тому випадку, у користувачів, які знаходяться онлайн, є лише його частини, але не файл цілком.

Спробуємо знайти маловідомий документальний фільм 2009 року We Live In Public — картину, що розповідає про події 90-х, які частково передбачили сучасний інтернет. Частина часу у фільмі приділяється сайту pseudo.com — послуги аудіо — та відеотрансляції, заснованому в 1993 році.

Вводимо пошукову фразу, отримуємо результати:
Пошук фільму We Live In Public в ed2k

Клікаємо, починається скачування:
Скачування фільму We Live In Public в ed2k

Завантаження файлу може розтягнутися на тижні і місяці. З якоїсь причини, багато користувачів мережі мають огидний інтернет-з'єднання, та ще й з'являються раз на тиждень на кілька годин, а то й менше.

SoulseekSoulseek — централізована мережа обміну музичними файлами за принципом P2P, створена в 2000 році одним з розробників Napster. Довгий час була популярна серед слухачів і авторів IDM та іншої електронної музики, і по сей день мережа розвивається і залишається хорошим місцем для пошуку аудіофайлів. Є групові та приватні чати, можливість роздачі файлів тільки друзям, зручний пошук музики з зазначенням бітрейту і інших характеристик аудіофайлів. Деякі пошукові запити цензуруються.

Існує офіційний багатоплатформовий пропрієтарний клієнт SoulseekQt і два країн неофіційних: Nicotine+ і Museek+.

BitTorrent DHTВсі популярні клієнти BitTorrent можуть шукати бенкетів та обмінюватися торрент-файлами через розподіленої хеш-таблиціDHT). Цим користуються не тільки компанії, що відстежують роздають файл користувачів, за договором з правовласниками контенту, але і волонтери, які намагаються отримати torrent-файл з infohash з DHT-запиту і зберегти його в своїй базі. Волонтери можуть знайти ніде не опублікований або просто рідкісний торрент по назві директорії або файлу, а також різні дублікати цікавить вас торрента з потенційними сидерами.
Раніше найпопулярнішим индексатором був нині непрацюючий btdigg, на зміну йому, з деяким запізненням, прийшли наступні сайти:
На жаль, подібні сервіси не живуть довго: два моїх улюблених, fastbot і BTKitty, не відкривалися на момент написання статті.

Файлообмінники і FTP-сервериМайже в кожному регіоні існують свої місцеві файлообмінники, що користуються популярністю у конкретної мовної групи. Наприклад, на uloz.to можна знайти багато чеського і словацького контенту, zone-telechargement.ws підійде любителям французької мови, а chomikuj.pl для поляків.

Волонтери FTP-серверів нечасто знаходять потрібні файли, але спробувати варто:
Пошуковики з популярних файлообмінників теж існують, але не завжди ефективні:


До зовсім недавнього часу велика кількість контенту можна було знайти на ex.ua але на жаль.

Як шукатиНе завжди досить шукати файли за назвою матеріалу, так можна втратити сценічні релізи.
Релізна група — спільнота людей-ентузіастів, об'єднаних ідеєю свободи інформації. Випускає електронні копії CD або DVD з фільмами, музикою, програмами та іграми для комп'ютерів та ігрових приставок, керуючись правилами релізів і змагаючись зі своїми колегами-конкурентами у швидкості і якості випуску таких копій (релізів). Спільнота релізних груп, об'єднаних однією темою (музика певного жанру, кінофільми або варез), називається сценою.
https://ru.wikipedia.org/wiki/Релизная_группа
Сценічні релізи дуже часто містять скорочені або навмисно зіпсовані імена архівів, які не можна знайти звичайним пошуком по імені файлу. Щоб дізнатися справжнє ім'я, потрібно пошукати його в спеціальних индексаторах сцен-релізів: layer13.net, pre.corrupt-net.org і predb.me.

Спробуємо дізнатися сценічне назва архівів з релізом We Live In Public від PUZZLE на Layer13:

We Live In Public на Layer13

NFO-файл називається «puzzle-wlip.nfo». Назви архівів практично завжди, в 99% випадків збігаються з назвою NFO, тому спробуємо пошукати цю назву в Usenet-програмі індексування:
Пошук по сценічному імені архіву в Usenet

Ура, тепер ми можемо завантажити DVD фільму!

Звичайні пошукові системи на зразок Google не завжди будуть вам помічниками. По-перше, Google слід букві закону і видаляє (приховує) результати з сайтів, про які повідомляють йому правовласники в рамках DMCA, по-друге, пошук контенту з назвою спецсимволов утруднений: проблемно знайти що-небудь про W. I. T. C. H., вам постійно підсовують інформацію про Witch, The Witch або Blair Witch. Я волію користуватися DuckDuckGo, Bing і метапоисковиком SearX — через них можна знайти матеріали, недоступні в Google.
Якщо вас цікавить реліз на конкретній мові, краще дізнатися локалізоване назва і здійснювати пошук за нього. Отримати таку інформацію можна на Wikipedia, IMDB та інших подібних сайтах.

Для аніме є anidb, який зберігає інформацію про релізах груп на різних мовах. Картка групи, як правило, містить посилання на сайт або IRC-канал, де можна поспілкуватися з її членами і завантажити файли через XDCC.

Інформація про групи на Anidb

ВисновокПриблизно так я шукаю потрібні мені файли. У пості навмисно не згадані очевидні речі, на кшталт купівлі дисків з Amazon або Ebay пошуку популярним відкритим і закритим Торрент-трекерам. Всі способи застосовні для медіаконтенту з Європи і США, мені ніколи не доводилося шукати, наприклад, арабська і індійський контент, тому не можу сказати, наскільки вони ефективні.
Прихований текстА ще Usenet можна використовувати для дешевого зберігання резервних копій: шифруємо файли, купуємо доступ до Usenet за $10, завантажуємо файли, через 4 роки знову купуємо доступ і викачуємо їх за ще одні $10. На відміну від хмар, Usenet не потрібно оплачувати зберігання файлів. Але без фанатизму, а то видалять.
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.