Візуалізація і робота з історичними даними: інтерактивні карти та linked data бази знань для вивчення історії

Часом глянеш по сторонах і здається, що сучасного світу поза IT не існує. Однак є галузі людської життя, дуже слабо порушені комп'ютеризацією. Одна з таких областей — історія. І як наука, і як навчальний курс. Звичайно, робота за комп'ютером чи коли-то замінить історикам колупання в архівах. Але вже вивчати історію по намальованим у підручнику статичним картками, а порядок подій вибудовувати, ретельно виписуючи на папірець дати в порядку зростання — це точно минулого століття. Однак інструментів для наочного вивчення історії не так-то багато і знайти їх дуже непросто.

Якщо ви хочете дізнатися, які є інтерактивні історичні карти, де варто подивитися на представлення подій у формі таймлайнов і як робити складні запити до вікіпедії типу «всі державні діячі, які працювали в Європі в 1725 році» — читайте далі.

З чого все почалося: на літній школі ми взялися робити інтерактивну карту історичних подій на базі вікіпедії. Я не даю пряме посилання на проект, оскільки проект дуже сирий (над ним працювала команда з 4 прекрасних десятикласників, але багато встигнеш за 3 тижні), а ще тому що сервер має звичай «падати» і без хабраэффекта.
Нам хотілося на карті відобразити події, що відбувалися в різні історичні епохи — і це частково вийшло: у нас є карта битв з їх описами. На той момент, коли ми займалися цим проектом, ми знали лише про кілька інтерактивних історичних атласів, і жоден з них не показував на карті події.

Я вважаю, що цих карт так мало тому що всі стикаються з тими ж проблемами, що й ми: історичні дані не структуровані. Немає машинозчитувальних баз даних, звідки можна вивантажити інформацію про важливі історичні події. Історики, якщо і заводять бази даних, що описують у них, як правило, лише свою вузьку предметну область — типу карти укріплень Римської імперії. Це може бути цікаво і корисно історикам, але навряд чи прості люди можуть отримати з такої карти для себе багато користі. Друга проблема — повна відсутність даних про кордони країн в історичній перспективі. Ви можете знайти сотні атласів давніх епох, але координати меж вам доведеться переносити з атласів вручну. Третя проблема — відсутність будь-яких стандартів опису історичних даних. Навіть нормального формату опису дати не існує, стандартні типи даних і формати ламаються про роки до нашої ери. Що вже говорити про різні календарі або неточно визначені дати?..

Проблеми нестачі машиночитаних історичних даних ще чекають свого рішення (ми працюємо над цим, приєднуйтесь, роботи на всіх вистачить). Але все ж деякі проекти за своїм справляються з цим…

Як говорить народна мудрість: «Після того, як ви зламали прилад, вивчіть інструкцію». Вже після того як ми зробили свою карту, мені вдалося знайти кілька інших проектів з інтерактивними картами та іншими способами візуалізувати історію і здобувати історичні дані. Але на те, щоб відкопати ці ресурси в надрах інтернету мені знадобилася якесь абсолютно непристойна кількість часу, тому я вирішив зібрати все, що знайшов, в одному місці.

Перша категорія — інтерактивні історичні карти. Це не карти моєї мрії, але цілком робочі продукти. Їх досить багато (і я не перераховую тут ще зовсім вузькоспеціалізовані), але дійсно хороших серед них всього пара, на жаль. Окремо засмучує, що серед них немає локалізованих проектів, а значить за ним важко вчити російськомовних школярів.

  • Сама няшная карта, та ще й має дуже широкі можливості для візуалізації — це Chronoas. Вона складну вата для того, щоб вивчити її самостійно, тому подивіться відео про її можливості. Це красиво і сильно. На карті відзначені історичні події різних типів з допоміжною інформацією, що дозволяє знайомитися з історією, не відриваючись від карти.

    Інформація на карті здобута в тому числі з вікіпедії і вікіданих. Історично карта неточна, про що повідомляють багато користувачі, знайомі з історією Китаю. Але в проекті присутні зачатки вікі-редагування карт, так що коли-небудь помилки будуть виправлені.

    Із вступного відео можна також дізнатися про досить широкі можливості візуалізації статистичної інформації (типу населеності, сповідуваних релігій ітп) про різних епохах. Не всі з цих візуалізацій прості і наочні, але сама можливість так робити — це здорово.

  • Є карта Running Reality з досить докладної розміткою територій. Проект хоче описати історію аж до історії вулиць і для цього дозволяє вікі-редагування карти (як я розумію, не у веб-версії). У них досить бідна візуалізація історичних даних, зате дуже грамотна модель даних, яка дозволяє описувати альтернативні гілки історії (що корисно, коли у істориків існує кілька гіпотез, того, «як все було насправді»). Вони пишуть, що веб-карта сильно молодше і урізана в можливостях у порівнянні з standalone, а standalone версію я не тестував (не запустилася). Втім, вона так само безкоштовна, як і веб. Якщо у вас вийде її запустити, пишіть ваші відгуки в коментарях.

  • Мапу geacron я знайшов давним-давно. Вона намальована істориками за джерелами і атласами, а отже, ймовірно, що вона точніше інших відображає історію. Але інтерактивності цій карті серйозно не вистачає. Крім режиму карти, на сайті є timeline з історично значущою періодів. Сумно, зате приоритезировано справжніми істориками. Одна з проблем попередніх карт полягає в тому, що там важливі події і прохідні йдуть на рівних. Geacron цього, начебто, уникає за рахунок ручного керування.

  • Карта Spacetime з пошуком подій за категоріями. Не запальна, але зроблена непогано (а вже на тлі близького до нуля кількості подібних карт...) І це знову вікіпедія і вікідані.

  • Пропрієтарний атлас CENTENNIA без веб-версії. Мені здається, що, у відео-роликах типу «1000 років європейської історії за п'ять хвилин» зазвичай використовується ця картка.

  • Timemaps — досить слабенький клон geacron-а, але комусь може бути зручніше.
Друга категорія до — різне. Це цікаві околоисторические проекти, які я знайшов по дорозі.

  • Історичні таймлайны на Histropedia. Я не дуже люблю такий стиль представлення даних, як вісь часу, але а) за відсутністю кращих засобів візуалізації, і ними можна користуватися, б) ці таймлайны дійсно добре зроблені і зручні, в) ці таймлайны можна редагувати, а також створювати власні, г) можна створювати таймлайны не руками, а запитом до викиданным, д) досить багато таймлайнов вже зроблено за вас, і їх приємно вивчати.

  • Wikijourney — карта з геотэгированными вікі-статей про ці місця. Передбачається, що вона використовується для пам'яток, але у вікіпедії є статті мало не кожній вулиці Москви і про кожній станції метрополітену — так що я бачу навколо себе досить побутової список «пам'яток». На вищезгаданому Chronoas'е, до речі, на карті теж є фотки, якимось чином віднесені до місця-часу. Віднесення до часу, втім, досить умовне: скільки цього фотографування років?..

  • Інструменти візуалізації даних гуманітарних досліджень. Останні півстоліття існує наука «Digital humanities» — комп'ютерні методи гуманітарних досліджень. Я б сказав, що ця наука ледве жевріє, судячи з того, як мало зроблено досі… але тим не менш. Так от, для істориків, філологів, археологів та інших фахівців розроблено деяку кількість інструментів візуалізації. Здебільшого це візуалізації всяких зв'язків між об'єктами. В графі, на карті, в хмарі тегів, у часовій перспективі ітд.
    Наприклад, Стенфорд розробив ряд подібних інструментів (я кілька разів натикався на згадку їх інструменту Palladio, мабуть це головний інструмент).
    Також є проект NodeGoat — вони добре заточені під візуалізацію linked data (див. нижче). Ось, скажімо, їх карта битв на основі даних з wikidata і dbpedia. Карта виглядає здорово, хоча подорожувати по посиланнях на прив'язані об'єкти не надто зручно. До речі, якщо клікнути, наприклад, на точку з подіями, «сталися» в самому центрі Росії, ви побачите загальну проблему всіх карт, зроблених шляхом парсинга інформації: неправильне віднесення події до місця і часу.
Третя категорія — моя улюблена; за нею майбутнє, безумовно. Linked data.
Розмічені графи знань або семантичні мережі, ось це ось все. Потужна технологія для складання складних пошукових запитів. Вона розвивається вже давно, але народ не вийшла до сих пір. Основною причиною того складність використання і, особливо, складність вивчення: матеріалів мало, і майже всі матеріали розраховані на програмістів. Я склав невелику добірку гарних і доступних навчальних матеріалів, які дозволять простій людині освоїти цей інструмент за пару годин. Це не швидко, зате за цей час ваш «google-fu» посилиться в рази.

Технологію семантичних мереж беруть на озброєння всі великі пошукові та інформаційні системи. Зокрема, зараз багато вчаться перекладати природний мову в формалізовані запити такого графу. Напевно слідчі органи і розвідувальні служби користуються цим (враховуючи, що один з найпопулярніших графів знань робиться за CIA Factbook). Можна придумати мільйон способів використовувати цю технологію в будь-якій аналітичній роботі: для держави, для бізнесу, для науки і навіть для планування домашнього господарства.

Може через кілька років пошукові системи і навчаться розшифровувати частину ваших питань на природному мовою і відповідати на них. Але ви самі можете скористатися всією потужністю цього інструменту вже зараз і отримати набагато більшу гнучкість, ніж вам дасть будь-який пошуковик. Отже, навчальні матеріали:

  • Є чудовий туторіал «Using SPARQL to access Linked Open Data» (на сайті Programming The Historian) про те, що таке linked data, і навіщо вони потрібні. Я вважаю, що кожна освічена людина повинна вивчити основи SPARQL, так само, як кожна людина повинна вміти гуглити. Це буквально про те, як будувати складні і потужні пошукові запити (див. приклади нижче). Нехай ви не будете користуватися цим кожен день, але коли прийде чергова завдання з пошуку та аналізу інформації, що вимагає місяця ручної роботи, ви будете знати, як цього уникнути.

    Скажу чесно, незважаючи на хорошу подачу, матеріал все одно досить складний: формат даних RDF, онтології і мова запитів SPARQL. Поки я не знайшов цю статтю, я міг тільки захоплюватися того, як круто люди ним користуються, але взагалі не розумів як це змусити працювати. The Programming Historian дає складний матеріал на дуже зрозумілих прикладах і показує, як цим користуватися.

    Їх сайт, до речі, досить цікавий вже своєю назвою. Вони вчать істориків користуватися обчислювальними інструментами і програмуванням для досліджень. Тому що крапелька програмування будь-яку роботу робить простіше.

  • Хороший вступний відеоурок 15 хвилин про те, як робити запити до викиданным, а потім візуалізувати їх у histropedia. Чисто практичне заняття, після якого вам буде зрозуміло, які кнопочки тикати, щоб скласти свій запит і подивитися результат в удобоваримом вигляді. Рекомендую після туториала подивитися це відео і потім приступити до практики.

  • Приклади запитів, щоб перейнятися міццю інструменту. Не соромтеся натиснути «Run». У віконці запиту можна мишкою наводити на ідентифікатори — у спливаючій підказці вам покажуть, що ховається за загадковими wdt:P31 і wd:Q12136. Отже: запит, який повертає всіх жінок-мерів великих міст або композиторів, які озвучили понад 100 фільмів. Або запит, який я придумав для власного тренування — про причини смертності кіноакторів, крім хвороб.

  • Пара хороших вступних хабра постів про бази знань: раз і два.

  • Непоганий приклад того, де використовуються linked data — це PanamaPapers. Щоб дослідити такий здоровенний масив документів, туди були внесені зв'язку у форматі, подібному до RDF. Візуалізують зв'язку як граф. Зроблено неідеально, але має сенс поглянути, щоб помацати цю структуру руками.

  • Провайдери даних. Майже всі карти, а також Histropedia у якості джерел даних використовуються або стрімко розвивається вікі-проект Wikidata, або проект з автоматичного вилучення даних з вікіпедії DBpedia. Ці проекти ставлять своєю метою зробити джерела пов'язаних машиночитаних даних, постійно поповнювані співтовариством. Ще є всякі більш консервативні джерела даних, що підтримуються музеями — про колекції об'єктів мистецтва та археології, словники географічних назв і біографій, біологічні онтології. І напевно ще багато чого іншого. Гуглити за словами «SPARQL endpoint».
Сподіваюся, що цей запис допоможе не тільки вам вгамувати свою цікавість, і захопити ваших знайомих школярів наочністю історії, а й пробудить вашу фантазію на тему нових інструментів і баз історичних даних. Роботи в галузі історичної інформатики — неоране поле. Приєднуйтесь, панове!
Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.