Segue uma lista dos hacks que utilizaram dados públicos e que foram apresentados no HackDay.

Infraero Parser

O Danilão chegou atrasado no hackday e me pediu um desafio que envolvesse dados públicos. Falei pra ele:

- Se você conseguir tirar os dados da Infraero, te pago uma cerveja!

Ele topou o desafio e conseguiu parsear o site. Ainda por cima ganhou o prêmio de melhor hack na categoria “relevância pública”, criada especialmente pelo fato de existirem tantos projetos relacionados a este assunto. Ainda devo a cerveja, mas pagarei feliz da vida.

Meus Postos e GasFinder

Na minha apresentação eu havia comentado sobre uma visualização em cima da pesquisa de preços de combustíveis da ANP. O Luciano Camilo surgiu logo depois me mostrando uma iniciativa dele também usando essa mesma fonte de dados. Ele já tem um robô que extrai os dados dessa pesquisa desde 2008 e também transformou sua API para acesso a eles em Open Tables do YQL. Veja o site do projeto Meus Postos.

Junto com o Eduardo Otubo, eles usaram os dados dessa API em uma aplicação para Android, o GasFinder, que mostra no mapa o combustível mais barato na sua redondeza.

Esses dois projetos ganharam o prêmio de Melhor Hack usando o YQL.

Violência em São Paulo

Uma visualização das estatísticas de criminalidade em São Paulo baseada em endereços. Feita por Luiz Alberto Hespanha, Rafael Henrique Manoel, Marcos Sousa e Wanderlei Souza. Acesse o hack aqui.

Xerifes do DF

O pessoal do Transparência Hackday também esteve presente e criou um mashup político, mostrando os resultados das eleições no Distrito Federal em um mapa. Interessante observar a porcentagem obtida pelo candidato mais votado em cada zona eleitoral. O projeto pode ser acessado aqui e os autores são Bruno Barreto, Pedro Markun e Ricardo Poppi.

Mapeamento de Doenças do Brasil
Estatísticas super completas visualizadas com mapas e gráficos sobre a incidência de doenças no Brasil. Pena que não consegui a URL do projeto pra mostrar. Se alguém souber onde acessar, me dêem um toque. Os autores são Tiago Bojikian, Jonas Albuquerque e Romilson Lemes.

PlaceHacker
O Maurício Maia, insatisfeito com os resultados de lugares em São Paulo fornecidos pelo Placemaker do Yahoo, resolveu criar o seu próprio e acabou vencendo a categoria ‘Keep it Local’. O Placehacker extrai lugares de textos de notícias e usa para contextualizar as notícias em relação ao um mapa. Também não achei a URL pra ele, então me mandem se acharem por aí. Ele não está online, mas o Maurício fez um post explicando como foi criar o hack.

Outros hacks
Teve muito mais coisa legal que não usava dados públicos mas que vale a pena dar uma olhada. Veja a conta oficial do brhackday no Meme e a lista completa dos hacks para saber mais.

Entrei no Yahoo! a convite do Antonio, que acabou me citando nesse post ao explicar um pouco sobre o Meme e como foi desenvolvê-lo usando Scrum desde o começo.

Quero contar pra vocês o que é esta função e como eu vim parar aqui.

Meu papel na equipe é de P.O., ou seja, Product Owner, que traduzindo significa “dono do produto”. O nome é imponente e sugere uma importância crucial, e essa foi mesmo a minha primeira impressão. Mas não é nada ditatorial, o PO tem é a palavra final na priorização das funcionalidades durante o desenvolvimento.

Eu sempre quis implantar métodos ágeis na TV Cultura, onde estava trabalhando antes, e havia começado a estudar o assunto. Mas confesso que não tinha entendido direito o que um PO faz até ler o Agile Estimation and Planning, do Mike Cohn.

Quando recebi o convite para vir pro Yahoo!, o Antonio me disse que fui selecionado por ter “o perfil mais estranho que ele havia encontrado”. Achei graça, mas deve fazer sentido, eu também conheço pouquíssimas pessoas com um perfil similar.

Mas qual é esse perfil? E por que ele se encaixa na função de PO?

Sou jornalista formado, fiz mestrado em engenharia e adoro programar no meu tempo livre.  A multidisciplinaridade sempre me atraiu e por isso acabei – sem perceber – durante toda a vida me preparando para exercer esta função que eu eu nem sabia que iria existir.

Não sou tão bom programador quanto os caras da nossa equipe. Eles me põem no chinelo, fácil. Não sou tão bom repórter quanto meu amigos de redação. O texto deles é muito melhor, sem nem fazer força. Mas sou autodidata e fuçador, atiro para todos os lados. E sempre tive a intuição de que isso – além de ser muito divertido – ia me servir pra alguma coisa no futuro.

E serviu. A função de PO, conforme explicada nos livros, exige um entendimento das pressões externas do mercado, das demandas internas da empresa e do desenvolvimento diário do produto. Em cima de tudo isso, o PO precisa ter uma visão clara do caminho que o produto deve seguir e priorizar as coisas para que essa visão se concretize.

Óbvio que eu não sabia nada disso ao começar, muito menos como era trabalhar em uma empresa multinacional com 15 mil funcionários. Mas fui aprendendo, entendi a lógica do processo e me adaptei sem grandes traumas. Um ano depois, ficou natural transitar entre discussões sobre refatoração de código e iniciativas de marketing. É corriqueiro passar de brigas sobre design de API a apresentações com planejamento para o ano seguinte.

Em um time, ninguém manda em ninguém

Como estou cercado de gente que sabe mais do que eu em suas especialidades, não sou trouxa de sair decretando o que me vem na telha. Em teoria, o PO tem esse poder, mas eu acho bobagem centralizar tanto assim. Sou obrigado a buscar argumentos convincentes – técnicos, teóricos ou políticos – para justificar as decisões do que vai ser feito na seqüência. E assim como posso ser convencido, tento convencer também por meio destes argumentos.

Estar em um time ágil com profissionais de diversas áreas dedicados inteiramente a um produto foi uma novidade que me fez aprender muito. Todos trabalham para entregar o resultado final, e não para concluir a sua parte na linha de produção. A auto-organização e respeito à inteligência do time é essencial. Não existe alguém mandando nos outros para que determinada tarefa seja feita.

O reflexo deste modelo para o PO é que qualquer decisão incomum aos olhos do time vai ser bastante questionada. Estamos todos no mesmo barco, e o fato de termos sucesso ou afundarmos juntos faz com que o grupo queira fazer a coisa certa e seja bastante proativo em relação a isso. Portanto, mais do que ditar a visão a ser seguida, o PO precisa convencer a tripulação a remar pra frente, mostrando por A+B que a direção faz sentido.

Um grupo de defensores da divulgação organizada de dados públicos se reuniu e criou a lista que segue, chamada em inglês de Open Government Data Principles.

Segundo eles, dados do governo só podem ser considerados abertos se forem liberados publicamente de acordo com os princípios abaixo. (Mantive os links para os verbetes originais em inglês).

1. Completos
   Todos os dados públicos estão disponíveis. Um dado público é o dado que não está sujeito a limitações válidas de privacidade, segurança ou privilégios de acesso.

2. Primários
   Os dados são como os coletados na fonte, com o maior nível possível de granularidade e sem agregação ou modificação.

3. Atuais
   Os dados são colocados à disposição tão rapidamente quanto necessário para preservar o seu valor.

4. Acessíveis
   Os dados estão disponíveis para a o maior escopo possível de usuários e para o maior escopo possível de finalidades.

5. Processáveis por máquinas
   Os dados são razoavelmente estruturados para permitir processamento automatizado.

6. Não-discriminatórios
   Os dados estão disponíveis para todos, sem necessidade de cadastro.

7. Não-proprietários
   O dados estão disponíveis em um formato sobre o qual nenhuma entidade tem controle exclusivo.

8. Livres de licenças
   Os dados não estão sujeitos a nenhuma regulação de direitos autorais, patentes, propriedade intelectual ou segredo industrial. Restrições sensatas relacionadas à privacidade, segurança e privilégios de acesso podem ser permitidas.
   

A observância aos princípios deve ser revisável (veja item 3 abaixo).

Definições

1. O significado de “público” :Estes princípios não tratam sobre que dados devem ser públicos e abertos. Privacidade, segurança e outras preocupações podem impedir legalmente (e com razão) que conjuntos de dados sejam compartilhados com o público. Por isso, os princípios especificam apenas as condições que os dados públicos devem atender para serem considerados “abertos”.
2. O significado de “dados”:Informações ou gravações armazenadas eletronicamente. Exemplos incluem documentos, bases de dados de contratos, transcrições de audiências e gravações audio/visuais de eventos.Embora fontes informativas não eletrônicas, como artefatos físicos, não sejam objeto destes princípios, encoraja-se que elas sejam convertidas para formatos eletrônicos na medida do possível.
3. O significado de “revisável”:Alguém deve ser designado como contato para responder a pessoas que tentarem utilizar os dados.A pessoa de contato deve estar claramente designada para que possa responder a reclamações sobre violações dos princípios.

   Uma corte administrativa ou judicial deve ter a jurisdição para revisar se a agência aplicou estes princípios apropriadamente.

* * *

E o que isso tem a ver com o Brasil?

Toda entidade pública que gera dados de interesse público deveria liberá-los seguindo os princípios acima. Simples assim. Não importa de onde elas são.

O exemplo mais gritante é o de dados que são acessíveis apenas pelo browser, como a lista de devedores do INSS, que viola claramente o princípio 5 (dados devem ser processáveis por máquinas).

O que os desafios dos posts anteriores incentivam é a aplicação na marra destes princípios aos dados públicos brasileiros.

Novamente a idéia veio do Fabiano Angélico, da Transparência Brasil. Vamos lá:

1. Nossos ilustres senadores

Temos aqui uma lista de todos os senadores atuais e seus respectivos números de CPF.

Bônus 1 – Falta encontrar o CPF do senador Marco Maciel. Alguém se habilita?

2. A lista de devedores para o INSS

O Ministério da Previdência, como bom credor, mantém uma lista de todos os caloteiros, com CPF, CNPJ, nomes e valores.

É possível fazer uma consulta à essa lista por este formulário:

http://www1.previdencia.gov.br/pg_secundarias/paginas_perfis/perfil_comPrevidencia_09_04-A.asp

Também conseguimos navegar pelos nomes de pessoas e empresas, por aqui:

http://www1.previdencia.gov.br/devedores/consdeved.asp

Brincando com a URL da consulta, consegui mostrar um ranking dos maiores devedores:

1. VARIG SA VIACAO AEREA RIO GRANDENSE EM RECUP
   2.512.002.963,38

2. VIACAO AEREA SAO PAULO SA
   1.445.447.625,87

3. TRANSBRASIL SA LINHAS AEREAS
   664.431.406,21

4. COMUNIDADE EVANGELICA LUTERANA SAO PAULO
   434.195.266,02

5. ESTADO DO RIO DE JANEIRO
   405.208.783,42

6. GAZETA MERCANTIL S/A (Já fui vítima dessa aqui)
   380.652.586,65

7. PIRES SERVICOS DE SEGURANCA E TRANSP.VALORES
   339.118.179,37

8. EMPRESA BRASILEIRA DE CORREIOS E TELEGRAFOS
   320.305.796,06

9. ENCOL S A ENGENHARIA COMERCIAL E INDUSTRIA
   319.362.278,18

10. FUND. EDUCAC. DO DISTRITO FEDERAL - EM EXTINC
    315.305.102,76

11. EST.SANTA CATARINA-SECRETARIA DA EDUCACAO E D
    313.380.862,29

12. EBID - EDITORA PAGINAS AMARELAS LTDA
    307.021.193,79

13. CAIXA ECONOMICA FEDERAL
    301.684.374,00

14. INSTITUTO DE PREVIDENCIA DO ESTADO DO RIO GRA
    300.026.754,78

15. TELESP - TELECOMUNICACOES DE SAO PAULO S/A
    299.645.695,76

Voltando ao assunto, queremos juntar A+B.

Objetivo – Cruzar a lista de senadores com a de devedores e descobrir:

a) Se existem senadores caloteiros,
b) Se existirem, quem são eles
c) Quanto devem nossos ilustres representantes

Quem conseguir nos responder a, b e c completa o desafio.  Não custa lembrar que a única condição é  que você  libere todo o código e explique como fez, para que outras pessoas também consigam reproduzir o seu resultado e aprender com ele. De preferência, use algum repositório público de código. Dúvidas: @pedrovalente e @fangelico.

Objetivos secundários

Bônus 2 – Será agraciado com nossa eterna gratidão o desenvolvedor que conseguir extrair a TODA a base de devedores do INSS, incluindo valores devidos (os detalhes que aparecem quando se clica no nome). Aceitamos CSV, dump de SQL, JSON ou qualquer formato razoavelmente reaproveitável. A base é atualizada a cada 3 meses, então devemos poder rodar a coleta novamente quando isso ocorrer. Se não tiver onde hospedar, mande para mim, no endereço pedro.valente no gmail.

Bônus 3 - A medalha de honra por serviços prestados à sociedade vai para quem, com a base acima em mãos, criar uma API pública para consulta desses dados. Algo como um serviço rodando no Google App Engine ou em algum servidor caridoso.

Bônus 4 - Encontrar os CPFs dos deputados federais e rodar o cruzamento do calote com eles.

Qualquer um pode participar. Até agora todo mundo usou Python, mas você pode usar a linguagem de programação de que mais gosta, sem problema.

Atualizarei o post com novidades. Usem os comentários para colaborar ou discutir e bom passatempo.

Atualização de 13 de abril

Como disse nos comentários, o Felipe Zorzo mandou uma solução para o desafio, na qual não encontrou-se nenhum senador devedor do INSS.

Aqui vai mais uma lista fornecida pelo Fabiano Angélico, com CPF de 2.224 parlamentares (deputados federais, vereadores das capitais e deputados estaduais).  Alguém se habilita a passá-la pela checagem e ver quem sai limpo do outro lado?

Sugiro também uma implementação bem simples e reutilizável, algo assim:

>>> import inss
# Caso não haja dívida:
>>> inss.divida('999.999.999-99')
None

# E se houver dívida:
>>> inss.divida('111.111.111-11')
[{'descricao':'Divida 1', 'valor': 5000000, 'data': 'xx-xx-xxxx'},
 {'descricao':'Divida 2', 'valor': 1000000, 'data': 'xx-xx-xxxx'}]

É um desafio diferente, a complexidade não é a mesma dos problemas matemáticos e quebra-cabeças lógicos, mas não deixa de ser bem interessante.

O problema

1.  Existe uma “lista negra” de empresas queimadas na praça. São as chamadas “inidôneas” e “suspensas”.

O Cadastro Nacional de Empresas Inidôneas e Suspensas (CEIS) é um banco de informações mantido pela Controladoria-Geral da União que tem como objetivo consolidar a relação das empresas que sofreram sanções pelos órgãos e entidades da Administração Pública das diversas esferas federativas.

Ele pode ser acessado aqui: http://www.portaltransparencia.gov.br/ceis/

Pra facilitar, já exportamos os dois bancos no formato CSV. Baixe-os aqui.

2. Existe um formulário do TSE na web que permite consultar se uma determinada empresa foi doadora de campanha para algum candidato. Ele traz também os detalhes dessa doação, e principalmente para quem foi o dinheiro.

Ele fica aqui: http://www4.tse.gov.br/spce2008ConsultaFinanciamento/consultaReceitaDespesaCandidatoServlet.do

Queremos encontrar a intersecção entre esses dois mundos, que nos traria um resultado muito revelador: quem são os políticos que recebem dinheiro de empresas inidôneas. A idéia é usar o CNPJ das listas na busca do TSE para descobrir se há conexões e quais são os seus detalhes.

A solução

Está dada a largada. Quem quiser debater o problema ou mandar tudo resolvido pode usar os comentários deste post. Você também pode perguntar no Twitter pra mim (@pedrovalente) ou para o Fabiano Angélico (@fangelico), da Transparência Brasil. Foi ele quem me propôs o desafio, que resolvi compartilhar com quem quiser ajudar.

Só existe uma condição para participar, que você libere todo o código e explique como fez, para que outras pessoas também consigam reproduzir o seu resultado e aprender com ele.

O prêmio é apenas o reconhecimento público de um trabalho bem feito, e a satisfação de ter gasto seu tempo livre com um desafio que realmente pode ter algum impacto na vida real.

Se esta experiência der certo e alguém responder, quem sabe pode ser o início de uma série de cooperações independentes entre jornalistas e programadores na busca de menos sacanagem com o dinheiro público.

Atualização de domingo à noite (15/3):

Parece que já temos a resolução do problema. O Marcos Vinícius da Silva, de Ribeirão Preto, foi o primeiro a mandar uma solução que consegui rodar tranquilamente e pareceu funcionar direitinho. Com a palavra, o próprio Marcos:

Estou te mandando os fontes do que fiz até agora para o desafio.
Os fontes que estou te mandando assumem o Python instalado (o meu aqui é o 2.5.2), e que os arquivos Inidoneas.csv e Suspensas.csv estejam no mesmo diretorio dos fontes.
O programa irá gerar os arquivos saida_Suspensos.csv e saida_Inidoneos.csv, na mesma ordem que aparecem nos resultados das pesquisas realizadas no site.

Para executar o programa, basta chamar “python pesquisar.py”. Eu testei no Linux (Ubuntu), mas creio que funcione no windows também, pois não utilizei nenhum recurso fora do que o Python oferece.

Espero que seja útil!

Empacotei o código do Marcos com os arquivos CSV junto para quem quiser testar também.

Depois de rodar o código, estes foram os resultados encontrados no cruzamento.

Não posso deixar de agradecer também o Julio Biason, por ter liberado seu código inicial e aos outros que tentaram resolver. Acabo de dar uma olhada (23h) no repositório compartilhado pelo Julio e parece que ele está bem perto de um resultado. Aguardo seu relato para publicar aqui.

Fiquem à vontade pra comentar sobre as soluções e ajudar a melhorá-las, se necessário.

Agora é digerir esses dados e tentar interpretar o que eles significam.  Já vi alguns nomes bem interessantes ali dentro…

Atualização de segunda (16/3):

O Julio Biason também chegou à solução. Pontos pra ele por ter colocado o código num repositório compartilhado e feito uma visualização mais fácil do resultado. Parabéns!

“Na natureza nada se cria, nada se perde, tudo se transforma”
Lavoisier

Um post recente do @jasper tocou neste assunto, que considero essencial pra evolução da web, e por isso deveria ser tratado com mais esmero do que tem sido por quem mexe com redes sociais: a reciclagem de informação.

No modelo atual de blogs, a informação está em um lugar fixo, o Blog, e os usuários pulam de site em site deixando comentários. No modelo da reciclagem de informação, o fragmento de conteúdo, ou Meme, é o que se espalha de pessoa a pessoa, no “boca-a-boca”. Ele pode receber adendos ou comentários ao ser reproduzido e até ficar como a brincadeira de  telefone sem fio, onde a última versão pode até não ter nada a ver com o original.

Isso tudo expõe o contraste entre o modelo antigo de “publicação+comentários”  e o modelo emergente de rede social que incentiva a distribuição de Memes.

Correntes por email foram as primeiras manifestações desse tipo de transmissão viral de informação na era digital, onde a reprodução e multiplicação não têm mais custo.

Com o tempo, apesar das limitações das ferramentas, os usuários continuaram reproduzindo os outros, em qualquer plataforma que lhes fosse colocada à disposição. No exemplo mais recente, o Twitter, surgiu o Retweet. Milhões de blogs vivem de copiar e colar o que outros blogs copiaram de outros blogs, muitas vezes sem crédito.  Tumblelogs têm botões de Reblog ou Repost. O Delicious tem a sua rede de conhecidos. O We Heart It é uma rede de distribuição de fotos baseada exclusivamente em “selos de aprovação”. O Google Reader tem o botão de ‘Share’ e ‘Share with comments’.  E por aí vai.

A reciclagem de informação na internet não é novidade. Mas o apoio explícito de ferramentas a essa prática, dando condições pros usuários citarem e reproduzirem a produção dos outros com facilidade, é uma tendência que vai crescer bastante, sem dúvida.

É evidente que conteúdo Retuitado, Repostado ou Reblogado ganha em relevância. Recebe um selo de aprovação de quem o reproduz. É mais relevante ainda para mim se quem deu aval ao conteúdo está perto no meu grafo social.

Enfim, é uma área em que eu prestaria bastante atenção em 2009. Vão surgir mais e mais ecossistemas feitos especialmente para o nascimento, reprodução e evolução de Memes. Evolução no sentido Darwiniano mesmo, onde o mais apto sobrevive e as mutações oferecem novas chances de propagação. E estes ecossistemas vão receber organismos selvagens, vindos de toda a internet e também migrar suas crias para outros ambientes, se espalhando por aí.

No final de semana passado aconteceu o Yahoo! Open Hack Day em São Paulo. Participei junto com umas 200 outras pessoas que inventaram hacks divertidos por 36 horas seguidas sem dormir.

A idéia era fazer alguma mistura de serviços, um mashup para criar um negócio novo que fosse interessante. Uma das idéias que tive foi trazer respostas do Yahoo! Answers para quem perguntasse pelo Twitter. Conversando com a Roberta Zouain, descobri que ela também havia tido a mesma idéia, mas com uma diferença essencial, aproveitar as perguntas que muita gente já vinha fazendo, o infame “comofas/”.

Comofas/ é um jeito cool e moderninho e errado de propósito de escrever “como faz?”. É escrito tudo junto porque dá preguiça de apertar a barra de espaço entre as palavras e tem uma barra ao fim porque é o ponto de interrogação, mas sem o shift, que também dava muito trabalho manter pressionado ao digitar outra tecla.

A partir daí já tínhamos a idéia formada, um robô que lesse todos os comofas do Twitter e respondesse puxando do Yahoo! Respostas. Batizamos o monstrinho de “@fasassim“, (faz assim), uma resposta lógica à indagação também no dialeto tiopês.

Em seguida o incansável faixa-preta de Python Luiz Honda resolveu se juntar a nós para dar forma ao hack. Às 5 da manhã, depois de assistir Monty Python e o Cálice Sagrado e Homem de Ferro no telão, o @fasassim deu seus primeiros suspiros. E todo o sono que tínhamos acabou, de tanta risada que dávamos com as respostas devolvidas por este oráculo. Ali mesmo o pessoal que estava por perto no twitter também começou a consultá-lo, e logo outras pessoas que nos seguiam vinham perguntar por que diabos todo mundo só escrevia comofas? Faz 4 dias que ele está no ar e já tem 113 seguidores e 509 perguntas respondidas.

Ao final do evento apresentei algumas respostas dele para um auditório que gargalhava incontrolavelmente. Para entender o motivo, pergunte ao @fasassim “#comofas pra cortar cabelo num domingo?”. Não concorremos a nenhum prêmio, afinal somos de casa (pra quem não sabe, desde outubro trabalho no Yahoo!), mas foi tudo muito divertido.

Deixo como um exercício para o leitor garimpar boas respostas desse bot (siga em tempo real aqui e veja algumas aqui e aqui), mas fica o alerta para tomarem cuidado, ele pode soar desbocado, sem noção e um pouco tapado. Tal como um mestre Zen que usa parábolas aparentemente sem sentido para explicar um conceito mais profundo, @fasassim parece nonsense mas não é não. Afinal, soube responder corretamente a pergunta do título deste post: 42.

A autoridade de quem está no palco não é mais um fato indiscutível, é algo a ser conquistado slide a slide. Se o palestrante pisa na bola ou repete obviedades, a turma do fundão esculacha. É muito divertido ver isso acontecer, e hoje tenho acompanhado no twitter com a tag #nbc08. Por exemplo:

simviral #nbc08 já começo a ouvir resmungos e suspiros impacientes da platéia.

radfahrer #nbc08 entendi! Esses caras são a desculpa que a organização do evento precisa para descontar o evento do Imposto de Renda.

Além de usar tags no twitter, várias ferramentas permitem a criação dessas conversas paralelas, também conhecidas como “backchannels”. Praticamente todo “evento” que se preze tem algum tipo de ferramenta pra isso. Se não tem, os usuários inventam. Até o IRC serve.

Essa emergência do senso crítico coletivo em relação ao que é apresentado é uma mudança muito bem vinda na dinâmica sacal de powerpoints intermináveis. Pelo menos agora quem se incomoda tem companhia e pode fazer piada e se distrair com coisa melhor.

Por isso não se surpreenda se no próximo evento, quando você estiver quase pegando no sono, todo mundo com um laptop comece a dar risada ao mesmo tempo, sem ter nada a ver com a apresentação lá na frente.

Agora é esperar que os palestrantes mais espertos comecem a usar esses comentários pra melhorar suas apresentações e entender onde erraram para agradar a turma do fundão.

O resultado está aqui.