Фонд открытых знаний публикует Индекс открытых данных за 2014 г., где прослеживается ситуация с открытостью данных по всему миру

Фонд открытых знаний опубликовал свой Индекс открытых данных (2014 г.), который показывает, что хотя некоторый прогресс и наблюдается, большинство правительств всё еще не предоставляют в доступной форме ключевую информацию для своих граждан и компаний. По недавним оценкам McKinsey и других аналитических центров, потенциальная выгода от открытых данных может превышать сумму в один триллион долларов, но медлительность процесса раскрытия грозит утратой больших возможностей.

Руфус Поллок, основатель и президент Фонда открытых знаний:

«Раскрытие государственных данных становится двигателем демократии, подотчетности и инноваций. Оно позволяет гражданам осознавать свои права и пользоваться ими, а также приносит пользу во всех сферах общественной жизни: от транспорта до образования и здравоохранения. В последние несколько лет правительства начали проявлять больше интереса к открытым данным и оказывать поддержку соответствующим проектам, но в этом году, как показывает Индекс, фактический прогресс на местах зачастую сильно отстает от риторики».

Индекс составляет рейтинг стран на основании пригодности и доступности информации в десяти ключевых областях, в числе которых государственные затраты, результаты выборов, расписание движения транспорта и данные по уровню загрязнения.

Британия возглавила Индекс-2014, сохранив свою лидирующую позицию и получив в общей сложности 96-процентный балл. За ней с небольшим отрывом следует Дания, а затем Франция, поднявшаяся на 3-е место с двенадцатого, которое она заняла в прошлом году. Финляндия находится на 4-м месте, а 5-е поделили между собой Австралия и Новая Зеландия. Впечатляющие результаты показала Индия, оказавшаяся на 10-м месте (прежде она была на 27-м) и латиноамериканские страны Колумбия и Уругвай, которые обе заняли 12-е место.

Сьерра-Леоне, Мали, Гаити и Гвинея заняли самые низкие позиции из всех стран, прошедших экспертизу. Однако есть и много стран, где правительства еще менее открытые, но их невозможно было оценить либо из-за недостаточной открытости, либо из-за недостаточной вовлеченности гражданского общества.

Фрэнсис Мод (Francis Maude), глава секретариата кабинета министров Великобритании и ответственный за британскую повестку по раскрытию данных, сказал: «Я очень рад видеть, что Британия удержалась на первом месте в Индексе открытых данных. Повышение прозрачности – это часть нашего долгосрочного экономического плана, и правительство за последние четыре с половиной года проделало в этом направлении впечатляющую работу. Мы искали людей, которые бы контролировали нашу работу и не давали поблажек, и Индекс открытых данных – это прекрасный инструмент как раз для такой задачи. Это не всегда легко дается, но мы продолжаем прилагать усилия, чтобы быть самым прозрачным и открытым государством в мире».

В целом, хотя в численности наборов открытых данных наблюдается значительное улучшение (общее число возросло с 87 до 104), процент открытых наборов данных по всем странам, прошедшим экспертизу, остается на низком уровне – всего 11%.

Даже у лидеров по открытости государственных данных остается пространство для совершенствования: США и Германия, например, не открыли пока консолидированный сводный открытый реестр корпораций. Также разочаровывает низкая степень открытости вокруг подробностей по государственным расходам в большинстве стран: информация либо отсутствует полностью, либо сильно ограничивают доступную информацию. Только две страны из 97 (Британия и Греция) получили в этой категории высший балл. Между тем, это заслуживает внимания, так как во время медленного экономического роста и продолжающегося во многих странах режима жесткой экономии обеспечение бизнесам свободного и открытого доступа к такого рода данным представляется эффективным подспорьем для экономии и повышения правительственной эффективности.

Руфус Поллок:

«Чтобы подлинный потенциал открытых данных был реализован, правительства должны сделать гораздо больше, чем просто опубликовать онлайн несколько таблиц. Нужно еще, чтобы информацию было легко найти и понять, а также чтобы каждый мог ее свободно использовать, перерабатывать и распространять, где угодно и с любыми целями».

Замечания для редактора

http://index.okfn.org/

• Индекс открытых данных (OpenDataIndex) – это проект, возглавляемый Фондом открытых знаний (OpenKnowledge) в сотрудничестве с международной сетью экспертов и помощников. Рабочий процесс состоит в том, что представители государственных и гражданских организаций, а также эксперты по открытым данным оценивают пригодность и доступность определенных наборов данных в различных местах по всему миру. Результаты их работы затем оцениваются другими участниками процесса и проверяются экспертной командой, представленной местными рецензентов наборов данных. По итогам работы участники награждаются.
• Индекс представляет независимую экспертизу открытости в следующих областях: расписание движения транспорта, государственный бюджет, государственные затраты, результаты выборов, реестры компаний, государственная картография, государственная статистика, законодательство, почтовые индексы и коды почтовых зон, выбросы загрязняющих отходов. См. также: http://index.okfn.org/dataset/
• Экспертиза производится в следующих странах и географических областях: Великобритания, Дания, Франция, Финляндия, Австралия, Новая Зеландия, Норвегия, Германия, США, Индия, Тайвань, Колумбия, Чешская Республика, Швеция, Уругвай, Исландия, Нидерланды, Румыния, Чили, Япония, остров Мэн, Австрия, Канада, Швейцария, Италия, Бразилия, Словения, Республика Корея, Мексика, Турция, Косово, Мальта, Испания, Латвия, Грузия, Венгрия, Ирландия, ЮАР, Португалия, Израиль, Пакистан, Парагвай, Эквадор, Молдова, Индонезия, Ямайка, Российская Федерация, Аргентина, Польша, Сербия, Болгария, Хорватия, Бельгия, Коста-Рика, Греция, Гонконг, Китай, Сальвадор, Буркина-Фасо, Таиланд, Македония, Словакия, Бангладеш, Бермудские острова, Непал, Сенегал, Сингапур, Тунис, Гватемала, Литва, Филиппины, Виргинские острова США, Нигерия, Руанда, Саудовская Аравия, Камбоджа, Замбия, Кот-д’Ивуар, Египет, Марокко, Панама, Гана, Зимбабве, Камерун, Кения, Ливан, Босния и Герцеговина, Ботсвана, Кипр, Лесото, Объединенная Республика Танзания, Бенин, Оман, Сьерра-Леоне, Гаити, Мали и Гвинея.
• Региональные истории об открытых данных и Всемирном индексе открытых данных за 2014 г. см. здесь: http://index.okfn.org/stories/
• В тех случаях, когда мы получали результаты экспертизы за 2013 и 2014 гг. от областей, которые официально не признаны независимыми странами, мы включали и их, если результаты были представлены полностью и оформлены корректно. Соответственно, Всемирный индекс открытых данных за 2014 г. представляет собой рейтинг «мест», а не «стран».
• Открытые данные – это информация, которой можно пользоваться бесплатно, которая может использоваться повторно и распространяться кем угодно, где угодно и для любых целей. Настоящие открытые данные должны обладать рядом технических и юридических качеств, которые гарантируют, что у любого человека есть возможность свободно и бесплатно их перерабатывать в наиболее выгодных для него целях. Всемирный индекс открытых данных оценивает все эти качества. Открытое определение (OpenDefinition) предоставляет принципы, определяющие понятие «открытости» в применении к данным и информации: http://opendefinition.org
• Фонд открытых знаний (Open Knowledge), основанный в 2004 г., – это всемирная сеть, состоящая из людей, которым дорога открытость и которые с помощью распространения информации, технологий и обучения стремятся раскрыть информацию и превратить ее в знания и средство для изменений к лучшему. Наша задача состоит в том, чтобы каждый получил возможность использовать информацию и знания во благо.

Зайдите на сайт http://okfn.org/, чтобы узнать больше о Фонде открытых знаний и его главных проектах, в том числе о «Школе данных» (http://SchoolOfData.org/) и «Открытых затратах» (http://OpenSpending.org/).

За встречу успели задать и обсудить многие вопросы к Минфину и от представителей Минфина к нам.

Вот что обсуждали:

• какие информационные системы у Минфина есть
• когда и какие данные будут публиковаться
• как будет проходить общение с разработчиками 
• как будет повышаться качество данных.

Из интересного по итогам:

1. Минфин готовит к запуску систему rar.gov.ru на которой будут публиковаться данные по аудиторам и всему что связано с аудиторской деятельностью.
2. Будет существенно расширятся объём данных публикуемый на портале budget.gov.ru в частности к 2016 году завершат сбор муниципальной отчетности. И даже раньше будет готова отдельная страница каждого региона с детализацией бюджетов субъектов федерации.
3. Минфин осуществляет методическое сопровождение единого адресного реестра (ФИАС) и предполагается развитие других систем использующих адресную информацию к тому что в них будут использоваться исключительно нормализованные коды и тексты именно из ФИАС. 
4. Будет существенно повышаться качество и ЕГРЮЛ и других реестров организаций за счет того что они будут провязаны с ЕГРЮЛ.
5. Планируются к публикации все государственные субсидии организациям и физ лицам.
6. А также обсуждали много практического опыта использования данных Минфина и многие другие планы их использования.

Это была первая из серии встреч с разработчиками которые мы, НП “Информационная культура” и OKFN Russia, планируем проводить на регулярной основе с представителями федеральных ведомств.

В дальнейшем мы будем размещать анонсы мероприятий здесь в группах в фэйсбуке посвященным открытым данным и в рассылке okfn-ru https://lists.okfn.org/mailman/listinfo/okfn-ru

Мы в OFKN Russia в течении дня:

• представляли доклады о том как развиваются открытые данные в России,
• собирали идеи интересных проектов,
• реализовывали интересные идеи на практике.

Несколько команд в течении всего дня делали интересные проекты.

Особенно хочется отметить:

• проект Максима Дубинина “Скоропроверка” (https://github.com/nextgis/skoroproverka) по сбору и визуализации данных Генпрокуратуры о проверках организаций,
• проекты Анны Манаенковой “Где ДТП?” (http://gdedtp.ru) и проект по визуализации данных на картах,
• проект команды Киберленинки по визуализации данных о расходах государства на Электронные библиотечные системы (будет доступен на сайте проекта – http://cyberleninka.ru).

Фотографии с нашей встречи

Также мы обсудили:

• текущее состояние с открытыми данными в России,
• организацию переписи открытых данных по российским городам,
• участие и вовлечение в международный проект Openspending.org,
• организацию митапов по открытым данным и открытым знаниям от лица OKFN Russia.

Спасибо Агенстству Стратегических Инициатив (www.asi.ru) за поддержку в организации встречи!

Итак, у нас всё готово, и мы начинаем онлайн-перепись “Гражданские приложения”.
В виду всё большего числа проектов на открытых данных и других интересных приложений, что появляется от конкурса к конкурсу, мы, НП “Инфокультура”, организуем их перепись. Необходимость в переписи назрела давно — есть много проектов, использующих данные или собирающих их от граждан, но эти проекты не участвуют в соревнованиях, поскольку уже достаточно созрели для самостоятельного плавания. Есть много проектов с открытым исходным кодом, о которых наверняка мы не знаем. Поэтому перепись просто необходима.

Если Вы создатель гражданского приложения (Civic App), то перепись устроена очень просто. Надо зайти на сайт http://civicapps.ru/ и заполнить форму. А если у Вас несколько приложений, то заполнить форму для каждого из них.

Если Вы просто хотите нам помочь, то Вы можете сделать это, распространив форму по социальным сетям и написав знакомым Вам авторам приложений с предложением заполнить эту форму.

Результаты мы будем использовать для того, чтобы создать открытый каталог гражданских приложений. В онлайне он будет располагаться на этом же ресурсе (http://civicapps.ru/), а ещё мы его распечатаем и постараемся, чтобы о Вашем проекте узнали другие — наши материалы мы распространяем на многих мероприятиях.

И, конечно, мы не претендуем на то, чтобы делать этот опрос в одиночку. Если у Вас есть ресурс, который читают создатели таких приложений, то мы будем рады информационному партнерству. Для этого лучше всего написать мне на почтовый ящик:  ibegtin@infoculture.ru.

Вся перепись будет проходить от 1 до 2-х месяцев, и промежуточные итоги будут также опубликованы.

Сегодня Правительство Российской Федерации включило открытые данные в дорожную карту государственной программы отрасли ИТ. Пока рано загадывать, но важно, что первые шаги к системному использованию открытых данных будут сделаны уже в этом, 2014 году. Подробности на сайте Правительства: http://government.ru/docs/9576

По мотивам публикации в CNews: http://gov.cnews.ru/top/2014/01/08/pravitelstvo_rf_opublikovalo_plan_razvitiya_itotrasli_555820.

Очень приятно, что нас оказалось много (13 человек), многие из академической среды, кто-то из бизнеса на открытых данных и многие интересующиеся дата журналистикой. Все очень заинтересованные в том, чтобы открытые знания стали неотъемлимой частью эволюции нашего общества.

На встрече мы сформулировали следующие направления наших усилий

1. Анонсирование Open Data Day (февраль 2014).

2. Открытие конкретных важных данных через Совет по открытым данным (предложения и варианты).

3. Работы по цифровому сохранению.

4. Организация гугл-рассылки.

5. Организация разделов на сайте ru.okfn.org.

6. OKFN — Open Spending, Open GLAM, Open Economics — международные движения и работа по проектам.

7. Использование ресурсов OKFN-RU для возможности глобального освещения тем.

8. Соревнования для разработчиков. Выставление профильных номинаций по конкретным направлениям.

У нас наметилось несколько групп по интересам, каждая из которых соответствует отдельным направлениям Open Knowledge Foundation:

• Рабочая группа по открытой науке (Open Science Working Group)
• Рабочая группа по журналистике данных
• Рабочая группа по открытым финансам (OpenSpending)
• Рабочая группа по открытым архивам (Open GLAM)
• Рабочая группа по образовательному направлению

Всё это неформальные группы. Их целью является координация совместных усилий по участию наших активистов в международных проектах по открытым знаниям и привлечению внимания к аналогичным проектам в России.

Подробнее о встрече на странице meetup’а: http://www.meetup.com/okfnru/events/155829852/.

Анонсы новых встреч будут публиковаться в разделе: http://www.meetup.com/okfnru/.

Просьба ко всем, кто заинтересован в участии в сообществе и не смог прийти на первую встречу, зарегистрироваться на meetup.com.
Мы также надеемся на ваш отклик по направлениям работы и основным приоритетам сообщества.

Что обсуждалось

1. Основная тема обсуждения была в реализации майских указов Президента РФ, в основном про “высокопроизводительные рабочие места”. Вокруг этой темы было сломано немало копий из-за того, что нет нормального определения, и Евгений Ясин предложил выступить от общественного совета с вопросом о том, чтобы Росстату поручить учитывать то, ясности чему нет.

2. Второе выступление было на тему планов Росстата в создании обратной связи. Все свелось к тому, чтобы создать аккаунты в социальных сетях и, возможно, форум. Насчет форума были сомнения, поскольку его придется активно модерировать.

3. Еще один доклад был посвящен восприятию пользователями информации Росстата. На удивление большинство (до 60% пользователей) данными довольны или скорее довольны. Надо правда учитывать, что опрос проходил, в основном, среди госслужащих , использующих данные Росстата на практике. Я прокомментировал, что среди граждан, умеющих программировать, уровень удовлетворенности данными Росстата куда ниже. И что всем очень удивительно, почему до сих пор данные не публикуются в виде машиночитаемых данных.

4. Я поднимал там 2 вопроса. Первый вопрос о доступности данных Росстата в виде открытых данных и второй вопрос о доступности исторических данных за имперский, советский и ранне-республиканский период нашей истории.

5. По открытым данным ответ ожидаемый. Они направили свою дорожную карту по открытию данных в Совет по открытым данным вместе с ТЭО и обоснованием увеличением расходов. Обещают всё открывать по дорожной карте, если им дадут финансирование.

6. По историческим данным: они готовы всё открывать, но опять же, проблема — денег нет. Однако если публикация не потребует денег, а только каких-то технических усилий — то они готовы в этом помочь.

Ряд замечаний по ходу
Очень заметно, что Росстат, как и большинство госорганов, ориентируется на вышестоящие органы власти как на основных потребителей данных. Граждане и бизнес остаются в стороне, а выполнение президентских указов лидирует.

Звучат постоянно жалобы на дефицит финансирования.

Я с трудом нашел зал коллегии в здании, и не я один бродил по нему. Никаких симпатичных длинноногих девушек на входе членов совета не встречало и с табличками не провожало. За этим кроется печальная истина о том, что молодых кадров там очень мало. И жалобы на низкую оплату труда в Росстате также звучали.

Итого

Это заседание именно открытым данным не было посвящено, но мы будем и дальше последовательно добиваться их появления, и я лично готов поддержать их стремление получить на это доп. финансирование. По крайней мере, я считаю эту позицию гораздо честнее, чем позиция МВД, которые всячески саботируют открытость чего бы то ни было.

В качестве дополнения прилагаю дорожную карту Росстата по открытию данных.

Например, данные Рособоронзаказа, о которых я писал ранее (http://habrahabr.ru/company/infoculture/blog/201260/), и где можно увидеть.
Точно также данные публикует и МВД России — это вот такой массив — http://mvd.ru/opendata/od1

А есть много других данных, когда CSV-файлы создаются на базе непригодных для анализа Excel-файлов, или когда данные публикуют без описания схем, или когда публикуют невалидные XML-файлы и многое другое.

Чтобы собрать все такие случаи, коллеги из Open Knowledge Foundation начали собирать все примеры.

Вот тут сайт проекта — http://okfnlabs.org/bad-data/, а вот тут раздел в github’е — https://github.com/okfn/bad-data/issues?page=1&state=open, где собраны примеры, из которых 5 прорабатывается и 2 уже зарегистрировано.

Конечно, пока описанное кажется не очень сложным, неправильное форматирование или таблицы, перемешанные с картинками в PDF. Но будет больше.

Давайте поможем коллегам, и если Вы встретите где-либо опубликованные данные, с которыми невозможно работать — предлагаю размещать их в комментариях к этому посту, а тем, кто готов включиться — еще и у коллег из OKF.

Из того, что мы уже собрали, можно увидеть такой пример, как закрытие данных каптчей у Федеральной Таможенной службы: http://okfnlabs.org/bad-data/ex/russian-foreign-trade-statistics/.

Конечно же мы надеемся не только на наличие данных, но и на то что в проекте будут заложены принципы Open Definition, открытые лицензии, возможность работы с данными на максимально удобном уровне.