А вот и сравнение Linked Data по годам

В октябре 2007 года

И в июле 2009 года

Оно очень круто развивается, но, увы, мы тут в России из этого процесса выпали. Почти все данные что сейчас есть в Linked Data – это, либо данные государственные, либо научно-исследовательские, либо таких крупных проектов как Wikipedia (DBPedia).

Нам бы пока преодолеть первый шаг – создать культуру работы с открытыми данными.

Не на официальном бланке, ну да всё равно приятно.

Относительно гражданского общества.

Даже если в данной ситуации сделать все возможные оговорки в том что темой госзакупок/госрасходов я занимаюсь не один год, общаюсь со многими чиновниками, публикуюсь в ряде журналов по теме, и тем не менее информацию про проблемы с реестром недобросовестных я им писал как частное лицо и как частное лицо получил ответ.

Главное что здесь показательно – это то что возможность граждан влиять на органы власти и менять их в лучшую сторону – это вопрос не проблемы с этими самыми органами, а собственной целенаправленной деятельности.

Вот теперь и я могу сказать добрые слова про ФАС России.

Во-первых публичная реакция оказалась предельно адекватной.

Во-вторых ФАС, всё таки, куда более публичное ведомство чем множество других и не будь оно таким анализ реестра недобросовестных был бы невозможен.

А я думаю что этот документ положит начало замечательной коллекции;)

P.S. И, конечно, спасибо Виктору Мирееву и Алексею Капранову за парсеры реестра.

—-

Мы изучили представленные Вами сведения о некорректных данных в реестре недобросовестных поставщиков. Очевидно, что их основная часть связана с ошибками ввода. На сотрудниках управления контроля государственного заказа лежит большая нагрузка по вводу данных в разнообразные реестры и базы. Безусловно, это может быть лишь объяснением, но не оправданием. Поэтому сейчас, учитывая значимость реестра, мы сразу начали корректировку данных в реестре по присланным случаям, а также поиск и исправление аналогичных.

Уверяем Вас, что ФАС России открыта к диалогу и конструктивному сотрудничеству, которое в конечном счете способствует повышению эффективности исполнения наших функций.

—

Я считаю что это положительный результат. Итак, теперь у нас есть не первый, но полезный пример того зачем же нам нужны открытые данные и чего с помощью них можно добиться.

Для начала,  что такое реестр недобросовестных поставщиков, он описан в статье 19 94-ФЗ:
—
2. В реестр недобросовестных поставщиков включаются сведения об участниках размещения заказа, уклонившихся от заключения государственного или муниципального контракта, а также о поставщиках (исполнителях, подрядчиках), с которыми государственные или муниципальные контракты по решению суда расторгнуты в связи с существенным нарушением ими государственных или муниципальных контрактов.
3. Реестр недобросовестных поставщиков должен содержать следующие сведения:
1) наименование, место нахождения (для юридических лиц), фамилия, имя, отчество, место жительства, идентификационный номер налогоплательщика лиц, указанных в части 2 настоящей статьи;
2) дата проведения аукциона, подведения итогов конкурса или итогов проведения запроса котировок в случае, если победитель аукциона, победитель конкурса или победитель в проведении запроса котировок уклонился от заключения государственного или муниципального контракта, дата признания несостоявшимися торгов, в которых единственный участник размещения заказа, подавший заявку на участие в конкурсе или заявку на участие в аукционе, либо участник размещения заказа, признанный единственным участником конкурса или аукциона, либо участник аукциона, единственно участвующий в аукционе, уклонился от заключения государственного или муниципального контракта, дата проведения запроса котировок, в котором единственный участник размещения заказа, подавший котировочную заявку, отказался от заключения государственного или муниципального контракта, дата заключения неисполненного или ненадлежащим образом исполненного государственного или муниципального контракта;
3) предмет, цена контракта и срок его исполнения;
4) основания и дата расторжения государственного или муниципального контракта в случае расторжения контракта в связи с существенным нарушением поставщиком (исполнителем, подрядчиком) контракта;
—-
А также реестр недобросовестных поставщиков регулируется 292 постановлением правительства от 15 мая 2007 года.
Если внимательно прочитать закон и постановление, то можно обратить внимание что:
1. Нигде не упомянут механизм (регламент) проверки наличия поставщика в реестре госзаказчиком.
2. Можно обратить внимание что в требованиях к той информации которая вносится в реестре нет требований к проверки её на достоверность.
Итак а теперь в чём проблемы в реестре недобросовестных поставщиков. Здесь есть две категории проблем.
Проблемы практические – касающиеся того как реестр ведётся прямо сейчас, и проблемы принципиальные – то как реестре должен был бы быть устроен «правильно». Сейчас я остановлюсь только на практических проблемах, они достаточно актуальны.
На  практике госзаказчике проверяют поставщиков на наличие в реестре по двум критериям. По реквизитам поставщика – идентификационному номеру налогоплательщика и по названию организации. Что означает что эти данные в реестре должны быть достоверными.
А теперь представим себе ситуацию что в данных которые заказчик передал в территориальные УФАС закрались ошибки, случайные ли, или намерянные (как отличить?), но ошибки. Например, в названии организации есть опечатка или же ИНН записан неверно и в таком виде эта информация попадёт в реестр.  И,  как результат, если другой госзаказчик будет проверять ту же информацию по реестру он этой организации там не найдёт. Полагаете надуманная ситуация? Как бы не так.
Обратимся к информации в реестре поставщиков и рассмотрим конкретные примеры:

1. За 4 дня было было создано 14 парсеров и, соответственно, у нас появилось 14 новых массивов машиночитаемых данных. Почти все были сделаны волонтёрами по своей инициативе. Я считаю что это очень круто и мы вместе делаем очень важное дело. Пусть и по маленьким кусочкам, но, свершилось главное идея создания машиночитаемых данных своими руками – работает.

Кстати, предлагаю всем подумать над тем как можно проанализировать и что можно из этих данных интересное сделать. Например, я лично уже копаюсь в реестре недобросовестных поставщиков, а кому могут быть интересны данные государственного регистра фильмов, базы запуска космических аппаратов или сводной налоговой отчетности. Предлагаю всем заглянуть в то что у нас уже есть тут в вики и в списках массивов данных.

2. В список источников opengovdata.ru я добавил ещё 10 новых. Их можно просмотреть в списке тут в основном это статистика ФСИН, МЧС и МВД. Присылайте новые мне или вносите в список в вики проекта тут

3. В разделе рецепты и инструменты добавились ссылки на примеры кода, фреймворки и движки по извлечению данных, их обработке и визуализации. Постепенно там будет собрана максимально обширная коллекция материалов. Если Вы видите что там чего-то нехватает, смело добавляйте или пишите мне – я добавлю.

4. Я начал вносить в Вики собственные парсеры накопленные мною за время работы над opengovdata.ru. Сейчас на странице со списком преобразованных данных я выложил парсер списка сайтов кредитных организаций (банков) с сайта Банка России.

А также вот тут http://gist.github.com/555510 можно посмотреть пример кода как автоматизировать извлечение очень простых таблиц с веб-страниц и примеры того как этот код помог в сборе данных о грантах для РосГосЗатрат.  Фактически всё что нужно для простых таблиц – это ссылка, кодировка страницы и код xpath, как правило, очень простой.

—

Тем временем, пока мы вместо наших госорганов делаем данные открытыми и публичными, норвежские чиновники вот тут http://data.norge.no/blogg/2010/08/en-klausulbuffet-av-vilkar/ обсуждают вопросы лицензирования открытых данных отдавая предпочтение лицензии Creative Commons. Страница неплохо переводится на русский через Google Translate или же, разъяснения на английском, есть на общеевропейском портале.

1. Почему не Java, .NET и прочие и прочие?

В основном по той причине что есть ряд языков/платформ разработки крепко привязанных к компаниям их продвигающих. Так .NET прочно ассоциируется с Microsoft, а Java с Sun/Oracle. Учитывая что эти платформы в основном коммерческие то и, хотя разработчиков на них много, но многие самые интересные движки и библиотеки которые могли бы помочь – тоже коммерческие.

Я лично считаю что для инициативы создания общественного блага на этих платформах должны идти от их вендоров или при их поддержке. Но учитывая что тема имеет гражданское приложение, я слабо верю в то что кто-то из них на это решиться.

В остальном здесь ситуация следующая. Если кто-то по собственной инициативе сделает парсер данных хоть на Lua или Object Pascal и выложит его в открытый доступ, ему в любом случае, респект и уважуха и такие случаи я упомяну обязательно. Но в том что касается случаев когда я выделяю на перевод массива в машиночитаемый вид денежку, то тут точно нет. Моя цель – открытые данные и наиболее простые и понятные способы их создания.

2. Не упомянут Perl

Это правда, но не от нелюбви к нему, а по невнимательности. Конечно, на скрипты на Perl’е всегда приветствуются.

3. Почему не GPL?

Тут та же самая ситуация что и с вендорозависимыми платформами. Если кто-то по своей инициативе хочет сделать скрипт по перобразованию данных и выложить его в открытый доступ под GPL. Хорошо, в любом случае общественное благо. Но лично я рассматриваю лицензию GPL как ограничивающую возможности, а не расширяющие. Соответственно в тех случаях когда я публикую предложения преобразовать за деньги которые я выделяю лично – на GPL это не распространяется. Если же кто-то последует моему примеру и решится выделить средства или вообще организовать такую же инициативу, но GPL’ориентированную – организуйте её самостоятельно. Это тоже общественное благо, тоже респект и уважуха.

4. Почему не RDF и не Semantic Web?

Для спрашивающих, я в общем-то человек сам от Semantic Web’а не далеко ушедший и, например, моделировал геополитическую онтологию в формате OWL о чём можно узнать в моём блоге или в вики OpenGovData.ru.

Так вот, RDF’изация вселенной разумна и практична только когда у Вас _уже_ есть структурированные данные или если Вы формируете онтологии своими руками. Соответственно если у кого то возникнет желание и возможность переводить данные накопленные в OpenGovData.ru и уже преобразованные в форматы для Semantic Web – милости прошу. Лично я же считаю, и сужу по мировому опыту гражданских проектов, что для них достаточно принципиальное наличие данных в структурированной форме, желательно простой – CSV или JSON. Поэтому и все существующие проекты, например, Open Knowledge Foundation помимо RDF отдают данные ещё и в XML и JSON’е. Потому как пока ещё, к сожалению или к счастью, но RDF не стал массовым явлением.

Я отправил письмо в ФАС России, там его получили, отнеслись к написанному серьёзно, обещали в течении недели разобраться.

Раз такое дело, я планирую несколько дней подождать их ответа. Если его не будет, размещу найденное, а потом уже их ответ как придёт, если ответ будет то размещу вместе найденные проблемы и их реакцию.

В зависимости от их ответа будет понятно надо связываться с другими контрольными органами или нет.

А тем временем, каждый из Вас может и сам заглянуть в данные этого реестра тут – http://github.com/kappa/opengovdata-parsers или тут http://github.com/AmbientLighter/rpn-fas (спасибо Алексею Капранову и Виктору Мирееву за парсеры!) и поискать там интересное для себя.

Зачем всё это нужно? Это будет ничто иное как кейс использования открытых данных для контроля граждан за органами власти. Наглядная демонстрация того для чего это всё делается.

План работы такой:

1. Я еженедельно публикую список массивов данных и призываю волнотёров помочь с их преобразованием.

2. В конце недели я публикую отчет по результатам и публикую новый список.

3. Если какие-то данные небыли охвачены волонтёрами, то на следующей неделе публикую их с предложением компенсировать расходы на их преобразование.

4. Самые сложные массивы данных выносятся на общее обсуждение.

Актуальный список также всегда будет доступен по ссылке и я буду его обновлять по мере появления парсеров.

Ниже список данных составленный мною на эту неделю с 26 августа по 2 сентября. Я также собираю предложения по тому какие данные вынести на следующую неделю.

Примечание от 29.08.2010: Многие массивы из этого списка уже преобразованы, актуальный список всегда доступен по ссылке  http://opengovdataru.pbworks.com/%D0%9A%D0%B0%D0%BA-%D0%BF%D0%BE%D0%BC%D0%BE%D1%87%D1%8C-%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D1%83

сверяйтесь, пожалуйста, со списком представленным там.

Поскольку массивы данных вроде сведений о доходах сотрудников Росграницы и Сводную отчетность никто не преобразовал. То если кто-то возьмётся за них, я готов подарить за скрипт, который как и все другие скрипты будет потом в публичном доступе, по любому из них по 1000 рублей. Не скрою, мой интерес не только в том чтобы появились эти данные машиночитаемыми, но и в том чтобы появились примеры преобразований данных в форматах DOC и XLS, ибо их у нас публикуется немало.

Единственно, предупредите меня заранее что берётесь такой скрипт написать дабы не дублировать усилия.  А если по каким-то причинам не хотите делать их за деньги, тоже, пожалуйста, об этом напишите мне.

Как Вы знаете один из интересных массивов был Реестр недобросовестных поставщиков http://rnp.fas.gov.ru/ ведомый Федеральной Антимонопольной Службой нашей с вами Федерации.

В этот реестр вносятся поставщики которые не имеют право участвовать в госзаказах и госзаказчики, по хорошему, должны проверять нет ли там заявляющихся на госторги организаций.

Казалось бы, а нафига он нужен машиночитаемый? И кому?

Так вот. Подозрения у меня были довольно давно, но всё небыло возможности подойти к вопросу системно. Сейчас же я _могу доказать_ что в этом реестре есть недостоверная информация наличие которой не  позволит, для некоторых организаций, убедиться был включён ли поставщик в реестр недобросовестных.

Прямо перед глазами у меня 30 наиболее очевидных случаев и это ещё результат неглубокой проверки, а глубокая проверка может выявить большее число. Случаи на грани очевидности, при желании их найти могу не только я. И да, это не устаревшая информация которая стала недостоверной по истечении времени. Это информация не соответствующая действительности изначально при её внесении.

Я не берусь судить как такое могло произойти – опечатками, из-за недостаточности контроля, сознательно и т.д.  Возможно так данные передавались от госзаказчиков, возможно. Не знаю. Я оперирую только фактами, наличием таких вот случаев.

Итак, а теперь главный вопрос, что с этим делать.

Варианты следующие:

1. Разместить очевидные примеры онлайн для всех желающих – пусть блогеры обсуждают, СМИ пишут.

2. Написать в ФАС РФ, на тему не хотят ли они исправить выявленное и вообще отрегулировать ведение этого реестра. А публиковать онлайн только после того как будет известна их реакция.

3. Провести более детальный анализ, он займёт с неделю, и передать материалы в другие контролирующие органы (Прокуратура, СП РФ, Контрольное управление и т.д.) или передать материалы тем кто передаст.

4. Передать какому-нибудь СМИ на публикацию. Если конечно, тема будет интересная для СМИ.

В общем я не решил пока, думаю. Беру паузу в сутки и потом напишу что да как.

Друзья, спасибо за привлечение внимания к идее. Только это ещё не конкурс, это был анонс обсуждения и сбор предложений как конкурс организовать. Обратите, внимание, на разницу.

Результаты обсуждения уже доступны тут http://ivan.begtin.name/2010/08/25/idearesults/

И конкурс будет проходить по описанной там схеме:

1. Я еженедельно буду публиковать список из 10 массивов в «плохих форматах» с предложением волонтёрам их преобразовать.  К волонтёрам просьба – если возьметесь за работу, отпишите мне – чтобы я соответственно отметил этот массив и укажите если Вы берётесь за это бесплатно.

2. В течении недели, если кто-то за преобразование берётся, я отмечаю в Wiki проекта что этими данными занимаются и потом там же публикую результаты – скрипт и массив данных.

3. В конце недели публикуют отчет с итогами. Какие данные преобразованы, а какие нет и следующий список из 10 массивов.

4. Если какие-то данные небыли преобразованы в течении недели. Например, были волонтёрами неинтересны или же массивы сложности, я публикую все непреобразованные данные списком с указанием суммы которую я готов подарить за их преобразование.

5. В случаях сложных и больших массивов данных каждый из них будет выносится на широкое обсуждение.

Если редактора ВебПланеты читают мой блог, поправьте, пожалуйста, у себя в статье.

Тем временем уже за короткий срок уже появилось 7 машиночитаемых массивов данных . Это очень круто, я не ожидал такого результата, если честно.