Про те, як влаштовані відкриті дані в Росії

Не секрет, що в Росії за останні роки, з одного боку, стало більше відкритих даних, з іншого накопичилося чимало критики

Так випадково вийшло що тематика відкритих даних це те чим я займаюся давно і знаю про більшої частини ініціатив у цій галузі не з чуток, а з власного досвіду участі. Тут я постараюся обійтися без посилань на свої проекти, щоб не порушувати правил сайту, їх легко буде знайти за їх назвами у будь-якому випадку. Але постараюся дати всі посилання на офіційні ресурси.

Тому, замість передмови, я представлюсь.

Мене звуть Іван Бегтін, я ось уже кілька років просуваю ідею відкритих даних в Росії, очолюю невелику некомерційну організацію (Инфокультура) від особи якої і разом з побратимами ми організовуємо змагання, пропагуємо відкритість даних серед держорганів.

Крім усього іншого я входжу в Раду за відкритими даними при Урядовій комісії з координації Відкритого Уряду і ряд громадських та експертних рад при органах влади і в курсі багатьох успішних (і провальних) державних ініціатив у цій галузі.

Ну і оскільки я, в тому числі, в коментарях на Хабре читаю багато питань заданих явно або неявно, то на найчастіші я відповім в цій замітці, а також на ті, що будуть в коментарях.



Що зараз відбувається в Росії з відкритими даними?

Щоб відповісти на це питання треба з самого початку розділити два поняття. Відкриті данівідкриту форму подання будь-яких баз даних. Зібраних чи активістами, підготовлених чи комерційними компаніями або ж опублікованих державних органами. Відкриті дані — це всеосяжний термін охоплює всі можливі джерела появи даних, головне щоб дані були доступні для вільного повторного використання і були машиночитаемыми (плюс дотримання 8 принципів відкритих даних про яких тут вже писалося.

А ось відкриті державні дані — це такий підвид відкритих даних який проводиться зсередини державної машини. Це може бути інформація, як про саме державі, так і те, що держоргани збирають при виконанні їх функцій.


Виходячи з цих визначень можна сказати що те що в Росії відбувається з відкритими даними вцілому — це на 100% залежить від нас самих, як ми збираємо, публікуємо, переконуємо і так далі публікувати дані, так це і відбувається. Є безліч проектів, які існують автономно від держави — це співтовариство GIsLab, це наші проекти OpenGovData і Hubofdata і практично всі краудпроекты на MediaWiki можна віднести до ініціатив за відкритими даними оскільки вони надають API для отримання даних будь-яким бажаючим.

А ось що стосується відкритих державних даних, то тут без держави не обійтися. У 2013 році був прийнятий Федеральний закон Російської Федерації від 7 червня 2013 р. N 112-ФЗ «ПРО внесенні змін у Федеральний закон „Про інформацію, інформаційні технології і про захист інформації“ і Федеральний закон „Про забезпечення доступу до інформації про діяльність державних органів та органів місцевого самоврядування“ .

Цей закон містить набір поправок до федерального закону від 9 лютого 2009 року N 8-ФЗ „Про забезпечення доступу до інформації про діяльність державних органів та органів місцевого самоврядування“ і федеральний закон від 27 липня 2006 року N 149-ФЗ „Про інформацію, інформаційні технології і про захист інформації“ про те, що дані повинні публікуватися у відкритих форматах даних.

Далі в розпорядженні Уряду Російської Федерації від 10 липня 2013 року N 1187-р р. був представлений перелік тих даних, які повинні публікуватися в першу чергу.

Повний перелік законів, розпоряджень та постанов зібраний, наприклад, на порталі відкритих даних р. Москви в розділі „Документи“. Там безліч документів, як федеральних, так і тих, що прийняті московською мерією.

2. Хто в Росії відповідає за відкриті державні дані?

Можна було б сказати, що Уряд цілком, але це не зовсім так. Затвердження планів відкритості відомств, в які входять і роботи з відкритими даними, займається Рада з відкритими даними. Раду за відкритими даними — це назва робочої групи при Урядовій комісії з координації діяльності Відкритого Уряду.

Я також входжу в цей рада і можу сказати, що незважаючи на гучну назву у Ради немає практично ніяких повноважень. Та й не може бути у вигляді російської структури державного управління у якій всі поради носять виключно консультаційну форму. Фактично єдиний ресурс ради — це можливість донести до його голови Міністра Абызову ту чи іншу позицію.

З іншого боку, з причини того, що закон про відкритих даних, це були поправки до 8-ФЗ, то методичний супровід розкриття даних і створення федерального порталу відкритих даних здійснює Мінекономрозвитку Росії.

Тут треба зробити невеличкий відступ. У 2012-2013 роках, коли тема відкритих даних в Росії тільки-тільки набувала форму державної ініціативи, був відомчий спір між Мінкомзв'язку і Мінекономрозвитку про те яке відомство буде курирувати цю тему. У підсумку перемогло тоді Мінекономрозвитку і надалі саме воно було основним виконавцем зусиль щодо відкритості даних.

Результатом цього було безліч наслідків, головне з яких було в тому, що акцент на розкритті даних змістився від державних інформаційних систем як це хотіло Мінкомзв'язку, на офіційні сайти держорганів вимоги до яких завжди ставило Мінекономрозвитку.

3. На які гроші існують всі ці ініціативи?

Тема відкритих даних практично начисто відсутня у всіх державних програмах включаючи програму „Інформаційне суспільство“. За останні кілька років істотні інвестиції, щоб відкриті дані були доступні проводило лише Уряд Москви яке створило московський портал відкритих даних і аж до того що рекламувало його на вулицях міста.

На федеральному рівні нічого подібного не було. Всі члени ради за відкритими даними працюють без будь-якої компенсації їх зусиль.
Та й витрати на створення федерального порталу відкритих даних невеликі.

Фактично, всі засідання ради які проходили і на яких були присутні представники держорганів за цей час зводилися до того, щоб переконати держоргани витратити зусилля на відкриття даних. В яких випадках це приносило результати, а в яких-то всі розмови розбивалися на зустрічні прохання »… а ви допоможіть щоб нам виділили бюджет на XXX мільйонів рублів і ми всі-всі-всі відкриємо...". Найяскравіший приклад такої поведінки був Росстат, схожа ситуація була з ЦВК Росії та багатьма іншими відомствами.

Аналогічно з усіма суб'єктами федерації і муніципалітетами. Жоден з них грошей на впровадження практики публікації відкритих даних не отримав, всі зусилля зводилися до того, щоб переконати їх витрачати власні гроші на ці ініціативи. Якісь суб'єкти у цьому просунулися, а якісь відверто забили і просто саботували розкриваючи не дані, а їх симуляцію.

4. Використовує чи хоч хтось в Росії відкриті дані?

Якщо коротко, то так.
Так, дані використовують і більш ніж активно. Використовують активісти і бізнес, використовують до комерційних проектах, суспільних і особистих, використовують для того, щоб поліпшити існуючі продукти, так і для того, щоб створити нові.

Є кілька областей і наборів даних, які більш ніж затребувані. В першу чергу це такі дані як:
— База державних і муніципальних закупівель;
— Оперативні дані ЦБ РФ по валютах та відкриті дані по банкам;
— База ФІАС (федеральна адресна інформаційна система);
— Дані супутникової угруповання ГЛОНАСС
і багато іншого.

Існує кілька десятків проектів з відстеження нових госмунзаказов (Закупки360, Бикотендер), з аналізу контрагентів (Спарк.Інтерфакс, Контур.Фокус, Комерсант.Картотека) які використовують дані безпосередньо. Агрегируя інформацію про компанії, про контрактах, закупівлі, ліцензіях тощо. Змішуючи відкриті дані і ті які вони отримують з комерційних джерел — вони створюють комерційні продукти. В результаті, на базі відкритих даних існують і розвиваються відбулися комерційні продукти.

На основі бази ФІАС і до неї на основі бази КЛАДР працює значна кількість сервісів по всій країні. Ця база, зазвичай, використовується для створення нових продуктів, а для поліпшення зручності перевірки адрес в численних комерційних інформаційних системах.

Дані ЦБ використовуються практично всіма сайтами показують офіційні курси валют і всіма сайтами з аналізу банків і банківської системи в цілому.

Крім цих даних є багато інших — набагато більш вузькоспеціалізованих і які також активно використовуються, але найчастіше їх користувачі себе не афішують і маловідомі.

5. І все таки, чому так мало прикладів тих хто дані використовують?

Головна причина в тому основні користувачі даних — це комерційні компанії, які абсолютно не зацікавлені в тому, щоб розкривати свої доходи, ні в тому, щоб розповідати про свою бізнес-модель. Та й взагалі витрачати на це час більшість з них не бажає. До всього цього додається їх побоювання що розповівши про те як і скільки вони заробляють на тих чи інших даних у них відразу ж почнуться проблеми і за ті дані що вони отримують безкоштовно їм доведеться платити. Побоювання не те щоб небезпідставне, але і не те щоб невиправдане.

З цієї причини всі ті приклади що я називаю — це приклади про яких я знаю і ті приклади на виду.

6. І все одно корисних даних дуже мало. Все інше це, або бессмысленые набори даних, або з отвратным описом

Корисних даних дійсно мало. І я скажу більше, найбільш корисні і затребувані дані публікувалися ще до того, як сам термін «відкриті дані» з'явився у вигляді державної ініціативи.

ЦБ РФ — публікує дані вже з десяток років у вигляді API через SOAP сервіси. База ФІАС з'явилася у вигляді відкритих даних набагато раніше. І дані за держконтрактами публікуються на машиночитаемом вигляді з 2008 року.

Все дуже просто. Є ті дані які держоргани публікують у відповідь на громадський або корпоративний запит і ті дані, які вони публікують в зобов'язалівку за разнорядке.

Вимоги які були сформульовані в законі про відкритих даних і розпорядженні уряду для більшості держорганів — це чергова настирлива муха. Вони не розуміють навіщо це робити, вони не розуміють, кому це потрібно, вони не розуміють у чому користь від відкриття даних і вони не розуміють яка їм з цього вигода. Як результат ми отримуємо масу прикладів «поганих даних» коли у розділах на сайтах органів влади дані публікуються без опису, без схем, з порожніми файлами даних або іншими особливостями. Найчастіше такі дані публікуються представниками прес-служби органів і ті роблять це все за принципом «формального закриття», беззмістовною публікації дозволяє поставити галочку в результатах.

7. Чому все погано?

Не можна сказати що все зовсім погано. У Росії не останні місця в рейтингах відкритості даних зразок Open Data Index і Open Data Barometer. Але причин радіти, дійсно мало, і причин того, що все йде так важко безліч.

Одна з причин у тому, що у відкритих даних в Росії дуже мало явно заявляють свій інтерес споживачів.
Справа в тому що в світі основними споживачами відкритих даних є:
— некомерційні організації та активісти (громадянське суспільство);
— журналісти;
— комерційні компанії;
— університети.

З кожним із споживачів у нас в Росії є свої проблеми.
Незалежних некомерційних організацій тепер майже немає. Все що жили на закордонні гранти тепер, або закриваються, або перебудовуються під госгранты, або різко згортають свою активність. Наша некомерційна організація існує виключно з причини що всі засновники це люди, які займаються бізнесом і у нас була і є можливість витрачати трошки коштів на її підтримку і в тому, що найбільш великі проекти ми робили за підтримки Фонду Кудріна. Єдиного, мабуть, який з фондів в Росії підтримує громадські проекти на відкритих даних. Інших можливостей фактично немає. Державні грантооператоры не виділяють коштів на подібні проекти, комерційних спонсорів для проектів на відкритих даних знайти дуже складно ну а брати іноземні гранти тепер табу.

Журналістика майже вся в Росії вельми далека від нейтральної подачі інформації. Але навіть провладні видання не взаємодіють з держорганами на предмет відкритості їх даних для того, щоб їх використовувати в роботі. На жаль, за всі ці роки напрямок журналістики даних так і не набуло помітних обрисів в нашій країні і досі журналісти мають дуже малий вплив на відкритості держави в тих чи інших питаннях. Пронизливі економічні аналітики, дослідники демографії, балакучі соціологи — всі вони на сторінках ЗМІ не формують запиту до органів влади на відкритість.

Комерційні компанії тут все просто — їх дуже мало. Комерційні компанії використовують відкриті дані можна розділити на дві категорії. Перша група — це тих хто живе за рахунок державних замовлень і дані їм потрібні щоб показати свої компетенції в тому щоб більше замовлень отримати. І друга група живе на інформаційному ринку вкрай нечисленна і не бажає взаємодіяти з держорганами без гострої необхідності. В основному з причин глибокої недовіри державній машині.

І нарешті вищі навчальні заклади. На жаль, запиту з боку Внз на те, щоб дані були доступні для досліджень, можливості для студентів використовувати актуальні дані в своїй роботі, цього запиту просто немає. Якщо у світі університети формують власні бази даних за напрямами досліджень та роботи факультетів, то в Росії це якщо і є, то в дуже обмежених формах.

8. Буде краще?

До введення санкцій, закону про іноземних агентів та іншого погіршення зовнішньої і внутрішньої політики я б сказав, що однозначно так. Коли все починалося Росія була в G8, підписувала G8 Open Data Chapter, претендувала на участь в Open Government Partnership. Зараз розвиток теми відкритих даних відбувається при високому опорі державного апарату. Найбільш затребувані дані розкриваються з працею. Детальна освітня, кримінальна та інша муніципальна статистика вкрай важкодоступна. Державні геодані раніше відкриваються важко. Але багато іншого можливо. Це кліматичні, транспортні та інші дані затребувані на практиці.

9. Чому особисто я у всьому цьому беру участь?

Причин багато. Головне в тому що я вплутався відкриті дані ще в 2009 році зі злості що в усьому світі ця тема розвивається, а в Росії нічого немає. Інша в тому, що пристрій «держави», не тільки російського — це моє давнє хобі. При тому, що найбільші зусиль доводилося і припадають не лише на те, щоб переконувати чиновників у відкритості даних, а в тому, щоб самостійно збирати дані з різних джерел і перетворювати на відкриті дані.
— До замітці додаю пару опитувань і як і обіцяв, готовий відповісти на всі питання по суті в коментарях.
Треба лобіювати відкритість державних даних?

/>
/>


<input type=«radio» id=«vv64827»
class=«radio js-field-data»
name=«variant[]»
value=«64827» />
Так, треба
<input type=«radio» id=«vv64829»
class=«radio js-field-data»
name=«variant[]»
value=«64829» />
Тільки якщо це не забирає надто багато часу та ресурсів
<input type=«radio» id=«vv64831»
class=«radio js-field-data»
name=«variant[]»
value=«64831» />
Краще витратити час на громадські проекти по створенню відкритих даних
<input type=«radio» id=«vv64833»
class=«radio js-field-data»
name=«variant[]»
value=«64833» />
Нічого цього не потрібно

Проголосувало 10 осіб. Утримався 1 людина.


Як Ви оцінюєте роботу Ради за відкритими даними?

/>
/>

<input type=«radio» id=«vv64835»
class=«radio js-field-data»
name=«variant[]»
value=«64835» />
Позитивно
<input type=«radio» id=«vv64837»
class=«radio js-field-data»
name=«variant[]»
value=«64837» />
Негативно
<input type=«radio» id=«vv64839»
class=«radio js-field-data»
name=«variant[]»
value=«64839» />
Зрозуміти не можу, що він взагалі робить
<input type=«radio» id=«vv64841»
class=«radio js-field-data»
name=«variant[]»
value=«64841» />
Нічого про його роботу не чув і не читав

Проголосувало 10 осіб. Утримався 1 людина.


Як Ви оцінюєте роботу Мінекономрозвитку Росії за відкритими даними?

/>
/>

<input type=«radio» id=«vv64843»
class=«radio js-field-data»
name=«variant[]»
value=«64843» />
Позитивно
<input type=«radio» id=«vv64845»
class=«radio js-field-data»
name=«variant[]»
value=«64845» />
Негативно
<input type=«radio» id=«vv64847»
class=«radio js-field-data»
name=«variant[]»
value=«64847» />
Зрозуміти не можу, що він взагалі робить
<input type=«radio» id=«vv64849»
class=«radio js-field-data»
name=«variant[]»
value=«64849» />
Нічого про його роботу не чув і не читав

Проголосувало 10 осіб. Утримався 1 людина.


Що найважливіше в майбутньому відкритих даних?

/>
/>

<input type=«checkbox» id=«vv64851»
class=«checkbox js-field-data»
name=«variant[]»
value=«64851» />
Більше даних
<input type=«checkbox» id=«vv64853»
class=«checkbox js-field-data»
name=«variant[]»
value=«64853» />
Якість даних і якісний опис їх структури
<input type=«checkbox» id=«vv64855»
class=«checkbox js-field-data»
name=«variant[]»
value=«64855» />
Можливість спілкування з відповідальними держорганами
<input type=«checkbox» id=«vv64857»
class=«checkbox js-field-data»
name=«variant[]»
value=«64857» />
Можливість запитувати відсутні дані
<input type=«checkbox» id=«vv64859»
class=«checkbox js-field-data»
name=«variant[]»
value=«64859» />
API замість файлів

Проголосувало 10 осіб. Утримався 1 людина.


Тільки зареєстровані користувачі можуть брати участь в опитуванні. Увійдіть, будь ласка.


Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.