Vitor C. Oliveira's Blog

Yahoo! Learning to Rank Challenge

2010-03-24T14:15:00.000-03:00

Pessoal, desde o início do semestre (ufmg) estou trabalhando (intensamente) no Yahoo! Learning to Rank Challenge. Logo, vou ficar meio ausente do blog.

Heatmap - Campeonato Brasileiro 2009

2010-01-25T20:42:00.001-02:00

Inspirado em um post do Flowing Data resolvi tb criar um heatmap em R. A diferença é que vou utilizar dados do campeonato brasileiro.

Usando os dados do Probabilidades do Futebol criei uma tabela em csv com as seguintes colunas:

time
pontos ganhos (PG)
vitórias (V)
vitórias consecutivas (VC)
invencibilidade (I)
gols feitos (GF)
saldo de gols (S)

a tabela está ordenada por pontos ganhos e pode ser baixada aqui.

O primeiro passo é carregar o arquivo no ambiente R:

brasileiro09 <- read.csv("brasileiro09.csv", sep=";")

Se você digitar no ambiente do R, brasileiro09 terá uma tabela como esta:

O próximo passo é indicar que queremos que cada linha seja representada pelo nome do time:

row.names(brasileiro09) <- brasileiro09$Time

Além disso, como as linhas já estão nomeadas com o nome do time, não precisa-se mais da primeira coluna:

brasileiro09 <- brasileiro09[,2:7]

O resultado será como esse:

Sem entrar em muitos detalhes, para criarmos o heatmap precisamos transformar essa estrutura de dados:

brasileiro09_matrix = data.matrix(brasileiro09)

Agora basta gerar o heatmap:

brasileiro09_heatmap <- heatmap(brasileiro09_matrix, Rowv=NA, Colv=NA, col = heat.colors(256), scale="column", margins=c(5,10))

ou:

brasileiro09_heatmap <- heatmap(brasileiro09_matrix, Rowv=NA, Colv=NA, col = cm.colors(256), scale="column", margins=c(5,10))

Bem, é uma forma fácil e interessante de visualizar dados.

Top 10 aplicações que utilizam o data.gov.uk (de acordo com o the Guardian)

2010-01-24T23:27:00.002-02:00

O jornal the Guardian lançou uma compilação das 10 melhores aplicações e visualização de dados feitas em cima do data.gov.uk. As que achei bem interessantes foram:

visualização da distribuição dos gastos do governo.

envia alertas quando projetos públicos estão para serem feitos na sua comunidade (rastreio via CEP)
Where Does My Money Go? - uma forma muito criativa de mostrar como o dinheiro público é gasto.

Open Data + Algorítmos inteligentes

2010-01-24T19:55:00.001-02:00

Recentemente, muitas competições relacionadas à mineração de dados começaram a aparecer. A mais recente que eu vi é a OMOP Cup. Nela o objetivo dos competidores é identificar corretamente associações entre remédios e eventuais consequências (médicas). Falando de outra forma, o objetivo é classificar corretamente qual remédio é associado a um tipo de resultado. Conforme apresentado pelos organizadores, atualmente os métodos para detecção de eventos adversos do uso de remédios ainda estão bastante imaturos.

A proposta de identificar associações entre medicamentos e condições de saúde ou efeitos adversos a partir de dados observados possibilita a geração de hipóteses anteriormente desconhecidas. Esse é o primeiro passo para o monitoramento mais rigoroso dos efeitos de medicamentos na população e uma forma mais inteligente de trabalhar com a massa de dados disponíveis.

Outra iniciativa muito interessante que vi foi a do governo britânico em lançar o data.gov.uk. O título do website resume muito bem o objetivo do projeto: "Unlocking innovation - data.gov.uk". Transcrevendo do próprio website, o data.gov.uk "pretende dar um caminho para a riqueza de dados do governo (UK)". Essa iniciativa do governo britânico é interessante porque ao liberar dados para toda a população de forma aberta ele permite que pessoas com capacidade e criatividade utilizem esses dados para inovar. E já existem aplicações interessantes que utilizam dos dados disponibilizados: mapeamento da saúde, análises sobre a obesidade, aplicativo para iPhone de busca de farmácias.

Acredito, que se o governo Brasileiro e outras instituições adotassem políticas similares muitas aplicações interessantes iriam surgir também. Além disso, projetos como o da OMOP Cup permitem o desenvolvimento de melhores algorítmos de mineração com aplicabilidade imediata.

E aproveitando essa idéia de mineração\aplicação\mashup de dados, acho que há um enorme potencial em aplicativos móveis. Geralmente, um bom celular é aquele lhe permite acesso fácil aos seus recursos. Além disso, o acesso à internet via celular está crescendo muito mas a tela do celular não (pelo menos tem que parar um momento né?). Com isso surgem alguns problemas: será que dá para ficar com 8 abas abertas no navegador do celular? Eu quero ver todas as notícias disponíveis no site x? Será que tenho que seguir o mesmo processo do computador para upload de imagens no flickr?

Os Aplicativos móveis tem que ser mais inteligentes, eles tem que aprender com o comportamento do usuário, saber filtrar o que realmente interessa para ele. E o Google já está com diversas iniciativas desse tipo. Ficando mais fácil o desenvolvimento de aplicativos para celulares resta ver quem será inovador suficiente para explorar a riqueza de dados que os usuários geram e algorítmos inteligentes que exploram esses dados.

Nos próximos posts pretendo falar mais desses tipos de algorítmos e aplicações para eles.

Blog parado, Twitter e futuro

2009-02-11T18:06:00.031-02:00

É o blog ficou parado por um bom tempo. Sinceramente, o último semestre foi muito puxado e realmente não foi possível escrever alguma coisa relevante aqui não. De qualquer forma. um amigo meu me lembrou de uma antiga idéa de blog sobre ciência e tecnologia que planejavamos fazer juntos. Se tudo der certo, nas próximas semanas eu volto a escrever nesse novo blog.

Além disso, vi um post interessantíssimo sobre busca em tempo real. E por causa desse post resolvi dar mais uma chance ao Twitter. Por enquanto vou usar ele para divulgar links interessantes com pequenos comentários. Mas quero mesmo é ver as oportunidade de busca nesse sistema. Por fim, para quem acompanha o blog , segue meu Twitter.

The SixtyOne

2008-09-19T12:58:00.000-03:00

Ontem me deparei com uma ferramenta muito legal. É o theSixtyOne. Como o próprio site diz ele é uma verdadeira aventura na música. No site há muita, mas muita música diferente. Além disso, você pode ouvir as músicas completas. Não precisa de cadastro para começar a ouvir basta clicar na música (a interface, vale mencionar, é ótima). O que mais gostei foi a experiência exploratória que o site proporciona. Agente acaba descobrindo muita música boa de artistas desconhecidos. A toda hora eu volto ao site para saber quem é que tá tocando o que estou ouvindo.

Mais um semestre

2008-08-05T13:47:00.001-03:00

Mais um semestre no DCC começou. Logo, muitos trabalhos, pesquisas e provas pela frente. Dessa vez os temas serão algorítmos, banco de dados, organização de computadores, estatística e etc. Eventualmente, eu posso postar alguma coisa por aqui.

Cloud Computing

2008-07-30T22:09:00.001-03:00

"We are all trying to move from the horse driving the wagon to a million ants driving the wagon," Raghavan said of the need to let computers manage millions of small jobs, adding that the available capacity on the Web would vary widely. "The challenge can be a billion ants one day and a million ants the next." -- Prabhakar Raghavan, the head of Yahoo Research who is also a consulting professor of computer science at nearby Stanford University.

Entrevista com o cientista chefe do Digg (Anton Kast) sobre o novo sistema de recomendação. E será que o Google vai realmente comprar o Digg?

2008-07-23T20:06:00.002-03:00

Não sei se já ouviram isso, mas tá havendo muito burburinho sobre uma possível compra do Digg pelo Google por $200 milhões. Será que vai rolar mais uma comprinha de base de usuários pelo Google?

Anton Talks About The Digg Recommendation Engine from Kevin Rose on Vimeo.

Digg e Sistemas de Recomendação

2008-07-11T22:08:00.015-03:00

Digg o famoso website de social bookmarking especializado em notícias lançou recentemente um sistema de recomendação. O funciomento do Digg é bastante simples, um usuário submete uma notícia e então outros usuários votam se acharam a notícia interessante ou não. Atualmente o volume de notícias que circula no Digg é imenso, praticamente impossível para um usuário percorrer as notícias e encontrar aquelas que mais se adequam ao seu perfil. Logo o sistema de recomendação talvez seja a solução para maior personalização e retenção de usuários. Com a filtragem possível pelo sistema, fica mais fácil para o usuário classificar as mensagens, já que agora elas são mais adequadas aos seus interesses. A diferença do algorítimo do Digg para outros é que ele não avalia as características das notícias mas sim as conexões existentes entre os usuários. Basicamente, toda hora que um usuário vota em uma história ("digg" no jargão do site) o algoritmo compara esse voto com os votos de todos os outros usuários e então calcula quais usuários possuem mais votos em comum. O importante é que o algorítmo leva em consideração a categoria que a notícia pertence. Se uma pessoa vota em uma notícia relacionada a jogos e você também, não significa que essa pessoa e você possuem os mesmos gostos musicais. Outro aspecto importante do algorítmo é filtrar as notícias normalmente populares, esse tipo de notícia tem um impacto menor no cálculo de similaridade.

Sistemas de recomendação não são fáceis de se construir, dependem muito das características do que se quer recomendar. Por exemplo a Amazon ou o Netflix lidam com uma crescente quantidade de informações, enquanto a recomendações do Digg se limitam geralmente à notícias dos últimos 30 dias. Além disso a categoriazação das notícias facilita a recomendação.

Inteligência Coletiva é um forma de inteligência que surge da interação de muitas pessoas. É um conceito que está experimentando seus maiores resultados através da internet. O sistema de recomendação do Digg é só mais um exemplo da aplicação do conceito. A pouco tempo, comprei e comecei a ler o livro Programming Collective Intelligence, recomendo o livro a todos interessados em entender um pouco mais os algorítmos por trás de sistemas de recomendação, ranking, social bookmarking e afins.

Outra aplicação interessantíssima de sistemas de recomendação encontrei outro dia. A Microsoft comprou uma empresa que possui um sistema de recomendação (Farecast) de compra de passágens aéreas. O usuário insere a origem, destino e datas para viagem e o sistema recomenda se ele deve comprar a passagem agora, esperar ou comprar no futuro. Muito interessante não é? Mas vou deixar para comentar esse sistema em outro post.

Super computadores e pesquisa científica.

2008-07-09T20:47:00.001-03:00

Um artigo interessante no The New York Times apresenta um novo super computador que promete melhorar em muito o desempenho de complexas simulações moleculares. Simulações de processos como a modelagem em 3D de proteínas, interação de proteínas e interação entre proteínas e medicamentos possibilitam o avanço no desenvolvimento de novos medicamentos. Entretanto para cada simulação os resultados devem ser validados. Logo quanto mais rápido for as simulações, mais rápido os cientistas poderão testar os resultados. É interessante que o artigo fala ainda sobre iniciativas e desafios da computação distribuída. É legal ver avanços na computação permitirem avanços em outras ciências. Artigo na íntegra: New Supercomputer Is Intended to Aid Scientific Research - NYTimes.com

Kosmix

2008-07-09T16:04:00.002-03:00

Quando agente faz uma pesquisa por um site ou por uma informação exata as atuais ferramentas de pesquisa cumprem muito bem seu papel. Mas as vezes quando estamos fazendo uma pesquisa com o intuito de aprender algo ou obter um entendimento mais amplo sobre um assunto fica mais difícil (haja abas no navegador). Uma solução interessante que encontrei recentemente é a ferramenta Kosmix. Cada pesquisa no Kosmix resulta numa página detalhada de informações sobre o assunto que você pesquisou. De imagens, notícias, livros, audios, opinões e muito mais. Vale a pena dar uma olhada. Apesar dos enormes esforços do Google para inovar na área da pesquisa ainda há muito a ser melhorado e descoberto. Uma das grandes promessas é a disseminação de conceitos de Web Semântica.

Google Lively!

2008-07-09T15:13:00.003-03:00

O Google liberou recentemente uma ferramenta muito legal! É o Google Lively! Basicamente é um mundo virtual ao estilo Second Life. A grande diferença é que ele funciona via browser (mas precisa da instalação de uma ferramenta do Google) e é completamente integrado. Se há uma TV no mundo virtual mostrando um video do YouTube se você clicar nela, um novo link será aberto para o video no site do YouTube. Além disso você pode também colocar as salas virtuais do Lively diretamente em seus sites! Usei muito pouco mas já deu para perceber que as possibilidades de uso dessa ferramenta são fantásticas. Segue um video com mais informações:

Changes - Mudanças

2008-07-08T23:18:00.001-03:00

No more posts in english. I think will be more interesting and accessible to some of my colleagues if this blog be written in portuguese. É isso aí.

No posting

2008-06-24T18:39:00.001-03:00

Until I finish my final exams, no more posts!

Multi-Inflection-Point Alert

2008-04-27T00:20:00.001-03:00

A must read article about what is happening in the technology world: Multi-Inflection-Point Alert

The Machine is Us/ing Us

2008-04-02T13:42:00.002-03:00

This video is not new. It shows how the internet is changing our lives. Is the technology an Extension of the Human Body? Marshall McLuhan thinks that an extension occurs when an individual or society makes or uses something in a way that extends the range of the human body and mind in a fashion that is new. A telescope is a way of seeing that is an extension of the eye. Maybe the Web 2.0 is just a new extension of our minds...

Google Docs in Plain English

2008-03-26T23:49:00.002-03:00

A very good introduction to Google Docs and collaboration. Wake up to Web 2.0!

Perceptive Pixel

2008-03-05T19:39:00.003-03:00

Perceptive Pixel was founded by Jeff Han in 2006 as a spinoff of the NYU Courant Institute of Mathematical Sciences to develop and market a multi-touch system. The video shows a great demo of the technology. Is good to see more advancements in this area. iPhone, Nintendo Wii and others products are already bringing gestural interfaces to our daily lives.

Human-Computer Interaction in SciFi Movies - Part 4

2008-03-04T23:42:00.001-03:00

Human-Computer Interaction in SciFi Movies - Part 3

2008-03-04T22:56:00.002-03:00

Human-Computer Interaction in SciFi Movies - Part 2

2008-03-04T22:53:00.001-03:00

Human-Computer Interaction in SciFi Movies - Part 1

2008-03-04T22:47:00.002-03:00

Very interesting!

In-the-flow and Above-the-flow

2008-02-26T21:57:00.005-03:00

Sometimes is difficult to imagine how Wikis can work on enterprises beyond sharing of knowledge. However there is a very interesting way for understand how Wikis can be used:

In-the-flow: wikis are used in the day-to-day work. Normally this wikis are replacing e-mail, project management tools and other process that focus on publishing information.
Above-the-flow: this is the traditionally way. Wikis are used to share information, typically share something about the day-to-day work.

In the first case, wikis are essentially tools for the work, they help you do your work. In the other case they help you and your team think about the work or whatever is important to think about or just share with others.

I think there is a long way before we see a lot of wikis in-the-flow, however simple things like analysis of performance (the metrics are published in the wikis) are ready to be made with wikis.

Enterprise 2.0?

2008-02-01T15:04:00.000-02:00

Recently in the blogosphere there was an interesting discussion about enterprise software. More precisely about how enterprise softwares are not sexy. Two ideas explain well why they are not sexy:

enterprise softwares sacrifice the user in favor of the process
they are not about individuals, but groups

SmoothSpan Blog details this issues. To start changing things, first you must have choices and flexibility on those softwares. Rigid processes doesn't stimulate people in their tasks. What about those kind of workflows or business process that you have to strictly follow the tasks or you lose everything? How can you manage that? Is that - inflexible practice - the only way of working?

On the other hand, in a process that offers you more choices, how do you measure results? Beyond choices and more freedom, we still need good results. The answer is feedback. Recently I read about how Google manage their projects: everyone receives emails asking them what they expect to accomplish next. They respond via email. The system then comes back at a later date and asks whether they got the tasks done. Reports based on these results are available to managers. So simple, and so effective.

I think Web 2.0 is already coming to enterprise software, from process and group centered to users and collaboration centered. Companies like SAP are already developing their products with concepts of Web 2.0. The next Collaboration Server from SAP will include the ability to create self-organized workspaces, forums, and wikis. It will also allow the tagging of all artifacts. This is very exciting, because with more and more people working behind their computers we must offer more tools for communication and collaboration. And that is the key for innovation. Because it is people that innovates, not software.