ProfessorCoruja.com - Negócios & Tecnologia Gratuita

Criando Mapas com o Google Maps (E-Book Gratuito sobre Google Maps)

2013-05-18T17:44:00.001-03:00

Amigo leitor,

Criar indicadores de negócio utilizando mapas é algo que deixa qualquer gestor feliz.

Para ajudar quem deseja aprender mais eu recomendo um e-book gratuito sobre o assunto.

Segue o link:

Google Maps API E-Book

Integração do Pentaho + i3geo

2013-05-18T17:37:00.001-03:00

Amigo leitor,

O meu DNA Viajante sempre me fez ter um grande interesse em Mapas.

Esse interesse em Mapas me levou ao Google Maps e ao longo do tempo descobri um mundo mais aprofundado, o MundoGEO.

Ano passado tive a oportunidade de conhecer e começar a trabalhar com um dos criadores do i3geo e atual mantenedor do projeto, o consultor Edmar Moretti referência no MundoGEO no Brasil e principalmente no Governo Federal com atuação forte em Brasília.

Atualmente trabalhamos juntos em um Projeto de BI e Geo no Ministério da Saúde e aos poucos tenho conhecido o trabalho fenomenal realizado por ele ao longo dos anos.

Antes disso tive contato com o i3geo através do meu aluno de Pentaho/BI Marcelo Persegona.

Espero com o passar do tempo escrever alguns posts sobre a integração do Pentaho com o i3geo, eu também espero escrever posts que ajude a facilitar o entendimento do i3geo, MapServer, PostGIS, etc.

Também fica meus parabéns para o Moretti pelo tempo dedicado ao i3geo e pela grande utilização no Brasil.

DNA Viajante, Software Livre e Mapas

2013-05-18T09:54:00.001-03:00

Amigo leitor,

O mundo do Software Livre é algo fabuloso.

Por meio do Software Livre podemos conhecer pessoas, fazer amigos, resolver o problema das empresas através de soluções customizadas e inovadoras, ganhar dinheiro, ganhar conhecimento, conhecer cidades, países, viajar o mundo e ajudar o mundo a se tornar um mundo melhor.

Existe algo melhor e mais colaborativo do que trabalhar com Software Livre?

Desde menino eu sou apaixonado por mapas, talvez isso aconteça por que eu tenho um DNA Viajante.

Talvez de tanto que eu escutei as histórias de meus familiares e amigos isso me influênciou a querer viajar o mundo desde cedo e isso me fez conhecer muitos países, cidades, já fiz até mochilão, já fiz viagens em alto estilo, já fiz viagens a trabalho a passeio, resumindo a vida tem sido muito boa comigo, pois estou sempre na estrada e a estrada me faz uma pessoa melhor.

Eu sempre digo para meus amigos, a estrada pode te trazer muitos benefícios é o que chamamos de a Escola da Vida (School of Life).

Esse DNA viajante me fez uma pessoa apaixonada por Mapas e Geografia.

Como desenvolver uma solução profissional e completa de BI em Open Source‎

2013-05-16T15:05:00.001-03:00

Pessoal,

Quer aprender mais sobre Pentaho e BI? Quer aprender como como desenvolver uma solução profissional e completa de BI em Open Source‎?

Faça um curso comigo na IT4biz.

Maiores informações sobre o curso:
http://www.it4biz.com.br/novosite/treinamentos/treinamentos/curso-de-business-intelligence-open-source-com-a-suite-pentaho-e-addons-ctools-saiku-openi-etc/

Agenda:
http://www.it4biz.com.br/novosite/treinamentos/calendario-de-treinamentos/

Just gave @it4bizbrazil 's SaikuChartPlus a try - Google Geo Charts in saiku

2013-05-16T11:09:00.001-03:00

Hi all,

We are happy to hear it:

Just gave @it4bizbrazil 's SaikuChartPlus a try - Google Geo Charts in saiku: http://bit.ly/11SxnUB Get it here: http://bit.ly/11SxqzC

Thanks Saiku Team.

Lista de Empresas que usam Pentaho no Brasil

2013-05-16T11:02:00.002-03:00

Pessoal,

O Marcio foi corajoso e junto com a comunidade pentaho fez uma lista de algumas empresas que usam o Pentaho no Brasil para ajudar aquelas pessoas que querem decidir baseado na decisão de outras pessoas, aquela velha história "Se fulano usa, eu também quero usar".

Fazer uma lista assim não é algo simples, pois exige autorização por escrito de cada empresa.

Já que ele divulgou em seu blog, vou apenas copiar do blog dele e postar aqui as empresas que ele listou. Eu conheço muito mais empresas usando e algumas empresas são clientes da IT4biz, mas não tenho autorização para divulgar infelizmente.

Empresas que usam o Pentaho divulgadas pelo Marcio e pela Comunidade Pentaho.

Bancos e Instituições Financeiras
Caixa Econômica Federal
Banco do Brasil

Usinas Hidroeléticas
Itaipu Binacional

Outras Instituições de Governo
Senado Federal
Serpro
Correios ( iniciando )
SESI e Federação das Industrias
Prodeb
Tecpar
Exercito Brasileiro
Ministério das Comunicações
CGU

Transporte
Viação 1001

Industria e Distrituidores Alimentícios
MDias Branco

Prefeituras
Prefeitura Minicipal de Fortaleza

Empresas e Entidades de Saúde
Secretaria de Saúde de Goias
SESPA – Secretária Estadual de Saúde do Pará.

Empresas de Telecomunicações
GVT

Industria Automotiva
Renault

Midias de Rádio, TV, Internet .
Globo.com

Universidades
UFBA
UFPR
CAPES

Curso Gratuito Online de Open Data (Dados Abertos) e BI Open Source

2013-05-06T17:25:00.000-03:00

Quer conhecer, gratuitamente, mais sobre Open Data (Dados Abertos) e Open Source Business Intelligence (Pentaho e tecnologias livres)?

A IT4biz IT Solutions, empresa pioneira e referência em Open Source Business Intelligence no Brasil, oferece o primeiro Curso Gratuito Online Desmistificando Open Data (Dados Abertos) e BI (Business Intelligence) Open Source (Pentaho e tecnologias livres).

Deseja fazer parte desta primeira turma e aprender como você pode mudar o mundo?

O evento será realizado através da internet (online) e acontecerá no dia 28 de Maio de 2013 das 20:30 às 23:30hs (Horário de Brasília).

Faça sua pré-inscrição aqui.

'Tela azul da morte' Microsoft corrige atualização do Windows

2013-04-25T09:30:00.001-03:00

Amigo leitor,

Semana passada organizei e palestrei em um evento na cidade de Fortaleza sobre Open Source Business Intelligence, o evento chama-se Pentaho Day.

No domingo encontrei um amigo que me contou um problema que ele teve com seu computador que utiliza o Windows Original. Ele me disse que automaticamente o Windows baixou e instalou algumas atualizações necessárias. Até ai tudo bem, sabemos que muitos sistemas operacionais fazem isso se o usuário optar por receber atualizações e pode optar também que elas sejam realizadas automaticamente.

O problema foi que depois de um tempo realizando as atualizações recomendadas pela Microsoft, ele perdeu todos seus dados e agora perdeu fotos da família, documentos importantes e muitas coisas de grande valor para ele e sua família.

Quando ele me contou isso, fiquei com desejo de ajudar e ainda não sei como fazer. Sugeri a ele contratar uma empresa especializada em Recuperação de Dados. Esse tipo de empresa consegue recuperar, através de um software, os dados que ainda estão fisicamente no HD porém logicamente estão apagados.

Outra coisa que recomendei foi ele entrar em contato com a Microsoft Brasil e ver o que eles podem fazer por ele. Na minha opinião o correto seria uma indenização ou algum acordo que seja bom para ambas as partes.

Pesquisando sobre o assunto encontrei alguns problemas relacionados e resolvi listar aqui no meu blog.

'Tela azul da morte' Microsoft corrige atualização do Windows
http://aondaquelevavoce.blogspot.com.br/2013/04/tela-azul-da-morte-microsoft-corrige.html

Abaixo uma matéria que eu encontrei para quem está com problemas com o Windows 7.

Aprenda a recuperar um PC afetado pela recente atualização do Windows 7
http://idgnow.uol.com.br/ti-pessoal/2013/04/11/aprenda-a-recuperar-um-pc-afetado-pela-recente-atualizacao-do-windows-7/

Bom, espero que esse post ajude meu amigo e também outras pessoas que estão com o mesmo problema e espero que a Microsoft seja mais cuidadosa com seus clientes.

Sou feliz por usar Mac OS e Linux, mas infelizmente muita gente usa o Windows e muitos não sabem o que podem fazer para resolver problemas assim.

Criando soluções de BI com Pentaho e Dados Abertos @ Pentaho Day 2013

2013-04-23T11:55:00.000-03:00

Clayton Christensen (Innovators Dilemma)

2013-04-23T00:18:00.003-03:00

Carlos Martins (Wizard)

2013-04-23T00:08:00.001-03:00

Sucesso na Vida, Felicidade no Lar from Fernando Assis on Vimeo.

Pentaho Day 2013 in numbers

2013-04-22T20:36:00.001-03:00

Checked In = Númber of people that were present in the event.

Novo Livro: Pentaho na Prática (Português)

2013-04-20T23:21:00.003-03:00

Pessoal,

Hoje durante a minha palestra no Pentaho Day 2013 em Fortaleza fizemos o lançamento oficial para a Comunidade do livro Pentaho na Prática, estamos felizes, mais uma conquista para a comunidade.

Vou me apropriar do que foi escrito pelo meu amigo Fabio Salles:

Nas listas de discussão sempre aparecem novatos perdidos, sem saber por onde começar e invariavelmente nos primeiros posts diz:

Alguém aí tem um livro, ou um tutorial, em português, para indicar?

Bom, finalmente a resposta vai ser sim! Agora existe um livro em português que ensina o Pentaho passo-a-passo!
Foi lançado hoje, dia 20/04/13, no evento Pentaho Day em Fortaleza, o livro Pentaho na Prática, o primeiro livro sobre Pentaho em português na Amazon.com.br (e em todas as outras, aliás:)

http://www.amazon.com.br/Pentaho-na-Prática-ebook/dp/B00CEQFDU0

O Livro

É uma edição Kindle, sem previsão de lançamento em papel, com 12 capítulos e vários apêndices, dedicados a ajudar o leitor a executar um projeto de BI com Pentaho de ponta-a-ponta. Ele inclui da configuração dos programas a dashboards, passando por ETL, relatórios, OLAP, metamodelos etc.
Os três autores ministraram cursos de Pentaho muitas e muitas vezes, e dão plantão no fórum nacional e internacional de Pentaho há anos. Por isso decidimos por uma abordagem que ajudasse o profissional autodidata, que tem disposição para investir no estudo da plataforma. Por isso, ao invés de documentar as principais funcionalidades da plataforma com exemplos, como é feito no grande e pioneiro Pentaho Solutions, decidimos seguir uma trilha de raciocínio, que mostra como atender as necessidades de BI de uma empresa típica, de ponta-a-ponta.
No livro você será apresentado a uma empresa fictícia que precisa ter acesso aos dados de seu sistema transacional para poder alavancar todo seu processo de decisões. A partir dessa premissa vamos mostrar como:

Montar rapidamente um protótipo para validação da necessidade;
Desenhar um Data Warehouse simples, com…
…o passo-a-passo para implementar um processo de ETL;
Entregar relatórios pré-fabricados, adhoc e cubos OLAP;
E montar um dashboard com CDE.

Isso tudo com instruções detalhadas e testadas, em etapas ricamente ilustradas (eu sempre quis dizer isso :-) .)

O que é isso, Companheiro?

O livro mostra como fazer muita coisa, mas para isso precisa de muita coisa também. Precisa de scripts, bases de dados de exemplos, instalação e configuração de programas acessórios como Java e Postgres etc. Daria para encher outro livro só com os assuntos paralelos.
Para melhorar a experiência de nosso leitor, criamos um site companheiro (do inglês companion site) que já vai trazer o máximo possível de coisas prontas.

No Prelo

Este é um trabalho em finalização, que foi lançado sem todos os capítulos para aproveitar o Pentaho Day que rolou hoje. Quem comprar um exemplar do PnP de hoje até a data de disponibilização da edição completa, 01/07/13, vai receber a atualização sem nenhum custo extra.
Até lá, quem tiver curiosidade de saber como o livro é, pode baixar esta versão de degustação do capítulo 3. A versão final deste capítulo terá ainda o passo-a-passo para traduzir o BI Server, configurar logs e mais algumas coisas.

Dream Team

Esse livro é filho de Fábio de Salles, este que vos fala, de Caio Moreno de Souza, nosso querido Prof. Coruja, e Cesar Domingos, um grande amigo, que eu conheci quando ele ainda trabalhava na IBM do Software Livre, a 4Linux. São dois caras bacanas, gente finíssima e que já quebraram muita pedra com o Pentaho.
Depois de algum tempo ministrando o curso de BI com Pentaho que eu havia criado para a 4Linux, eu pensei em escrever um livro – afinal, já tinha plantado uma árvore e estava no segundo filho. Na verdade, eu já não me lembro mais, mas eu acredito que a idéia do livro veio mesmo foi do Cesar.
O fato é que eu discuti a idéia com ele, que me deu o incentivo fundamental para eu criar coragem de começar o livro. Imagine, justo eu que sabia tão pouco, escrever um livro com coisas óbvias… No final das contas ele me apresentou a uma editora, que já havia publicado livros seus. Eu não conhecia nada desse mercado, e ainda me sentia inseguro. Eu não queria estar sozinho e decidi convidar o Cesar, que sempre foi um cara inteligente e legal, para ser co-autor. Não apenas ele já tinha livros publicados, mas ele sabia coisas de Pentaho que eu não entendia muito bem, como a configuração do Tomcat e do Apache, além de uma renca de outras coisas que no final das contas fazia com que ele visse o Pentaho com olhos bem diferentes dos meus.
Fomos quicando com a editora, tentando negociar algum contrato, até que um dia eu percebi que o Caio precisava fazer parte do projeto. Eu estava coletando material e organizando os capítulos e vi que uma parcela importante do que eu pretendia colocar no papel tinha sido criada, organizada e publicada pelo Caio. Tradução, dashboards, configurações, dicas, macetes etc. etc. etc. O Caio já era parte do livro, de um jeito ou de outro. E trabalhar com ele, quem já trabalhou, sabe, é empolgante. Eu não tive dúvidas: conversei como Cesar e topamos convidar o Caio para se juntar a nós.
Mais do que uma marca na minha vida profissional, mais que uma realização pessoal, trabalhar no livro precisava ser, acima de tudo, uma coisa divertida, motivadora, empolgante, e o Caio e o Cesar eram a parte que faltava. Não esperamos ganhar dinheiro com o livro – afinal, vivemos no Brasil – mas uma coisa nós buscamos e já conseguimos: estamos nos divertindo horrores!! :-)
Espero que vocês gostem. ;-)

Fonte:
http://geekbi.wordpress.com/

Pentaho Day 2013 @ Fortaleza

2013-04-20T23:17:00.000-03:00

Pessoal,

Ontem e hoje foram dias fantásticos, espero em breve contar um pouco no meu blog sobre como foi o Pentaho Day 2013 em Fortaleza.

Quem participou não vai esquecer.

Logo vou atualizar esse post com fotos, videos, meus slides, etc.

Mas hoje vou dormir, afinal para esse evento acontecer foi necessário muita coisa.

Obrigado a todos que participaram e que ajudaram, a Comunidade Pentaho em Fortaleza foi fenomenal.

Avaliação do LIVE TIM. Vale a pena instalar o LIVE TIM? Instalando o LIVE TIM. Experiência com o LIVE TIM

2013-04-17T17:34:00.003-03:00

Amigo leitor,

Instalei o LIVE TIM e resolvi compartilhar a minha experiência e dar minha nota.

Avaliação do Professor Coruja:

Site http://www.livetim.tim.com.br = 10

(Cumpre seu papel, visual bacana)

Venda / Comercial = 0

(Fiquei sendo enrolado pela TIM desde Dezembro de 2012 para instalar, recebi diversas ligações, a TIM prometeu diversas vezes realizar a instalação, finalmente hoje foi instalado)

Instalação = 10

(O cara foi rápido e fez a parte dele)

Modem ADSL = 2

(Horrível, acho que com o objetivo de baixar os custos o modem ADSL é terrível, para você conseguir ter mais do que 1 Mega de Download e Upload você precisa deixar o computador do lado do modem, agora só funciona internet do lado do modem. Estou super decepcionado)

Nota final = 5,5

Vou entrar em contato com a TIM para ver o que fazer com esse Modem horrível para poder ter internet em outros lugares da casa.

Abaixo os testes realizados ao lado do modem.

Se você vai usar o Live TIM cabeado ou vai ficar do lado do Modem eu recomendo. Não se esqueça de ter paciência para contratar, acho que eles estão vendendo muito e por isso a dificuldade para comprar ou para ser mais sincero o terrível canal de vendas.

Espero que isso ajude alguém que deseja contratar o Live TIM, um produto sensacional, com certeza vai dar muito trabalho para a Vivo, NET e GVT.

27 países estão usando o Saiku Chart Plus. Faça agora o download gratuito.

2013-04-13T00:34:00.001-03:00

Amigo leitor,

O mundo do software livre é impressionante principalmente quando as coisas são realizadas em inglês.

Ontem dia 12 de Abril de 2013 fez 1 mês que lançamos pelo twitter, blog e facebook o produto gratuito e open source chamado Saiku Chart Plus e já foram baixados 151 vezes por 27 países, sendo 47% de downloads realizados no Brasil.

Veja o video da demonstração do produto:

Faça o download do projeto através do sourceforge e instale no seu Pentaho BI Server.
http://sourceforge.net/projects/saikuchartplus/

As estatísticas do projeto são animadoras, e em breve vamos lançar uma versão nova.

O segundo país que mais utiliza atualmente é a França e acredito que isso aconteceu graças ao post realizado por um blog francês, muito bacana.

Saiba mais sobre o Saiku Chart Plus através do blog francês abaixo:
http://www.osbi.fr/saiku-chart-plus/

A imagem abaixo foi retirada do blog francês que fez um post sobre o produto.

Book "Mondrian in Action"

2013-04-06T21:29:00.005-03:00

Hi folks,

I am happy about this Mondrian Book.

http://www.manning.com/back/

Table of Contents
1 Beyond reporting: business analytics - FREE
2 Mondrian: a first look - AVAILABLE
3 Creating the data mart - AVAILABLE
4 Multidimensional modeling - AVAILABLE
5 How schemas grow - AVAILABLE
6 Securing data - AVAILABLE
7 Mondrian performance
8 Advanced security and multi-tenancy
9 Mondrian and Pentaho
10 Integrating Mondrian into your application
11 Advanced Analytics

WHAT'S INSIDE

Mondrian from the ground up-no experience required
A primer on business analytics
SQL tuning and optimization techniques
Using the MDX query language to define calculations
Integrating with other open source tools
Using Mondrian results to build Pentaho dashboards and pixel perfect reports
In-memory data caching to decrease response time of queries

This book provides the valuable insights you'll need to use Mondrian for business analysis and to develop custom BI solutions. Data engineers and DBAs will appreciate the coverage of schema development and multi-dimensional models, along with tips for tuning the SQL Mondrian generates and optimizing the underlying database.

ABOUT THE AUTHORS

William D. Back is an Enterprise Architect with Pentaho. He trains clients on the use of Mondrian and other Pentaho tools. Nicholas Goodman is a Business Intelligence geek, consultant, hacker, blogger, speaker and entrepreneur. He has authored multiple training courses on OLAP, Mondrian, and Open Source. Julian Hyde founded the Mondrian project in 2001. He continues as the project's lead developer, and as OLAP Architect at Pentaho.

Presentation Tools

2013-04-06T21:26:00.002-03:00

Hi folks,

It is always good to learn more about Presentation Tools.

Some links:

http://infogr.am/
http://visual.ly/
http://piktochart.com/
http://presentationtools.masternewmedia.org/
http://royalonlinemedia.wordpress.com/2013/03/06/piktochart-vs-infogr-am-and-visual-ly/

Governo Aberto SP

2013-04-06T21:22:00.000-03:00

Governo Aberto SP é uma iniciativa do Governo do Estado de São Paulo que, por meio da disponibilização de cópias atualizadas de suas bases de dados públicas, em caráter aberto e gratuito pela Internet, busca estimular a criação de novos serviços eletrônicos, a promoção da transparência e a melhoria de qualidade das informações de interesse da sociedade.

http://www.governoaberto.sp.gov.br/view/index.php

Tabula is a tool for liberating data tables trapped inside PDF files

2013-04-06T21:13:00.001-03:00

Hi folks,

Are you trying to convert a PDF file in a CSV File because you need to create a dashboard with the data inside the PDF File?

If you need to do it, it is time to use a tool called Tabula created by Manuel Aristarán.

Info about Tabula:

http://jazzido.com/
http://tabula.nerdpower.org/

Tabula Code:
https://github.com/jazzido/tabula

Locaweb, o que aconteceu com você? Por que não funciona mais? Eu sou o número 115 na fila?

2013-04-02T16:36:00.002-03:00

Amigo leitor,

Eu sou cliente da Locaweb desde 2000 eu acho, na época que eles funcionavam em uma garagem, mas agora que eles são gigantes eles não funcionam mais.

Acabei de saber que meu site está fora do ar, e olha sou o número 115 na fila de atendimento via chat.

Por telefone impossível, estou esperando vai fazer 30 minutos e já não aguento mais escutar a gravação da Locaweb.

Acho que vou ter que deixar de ser cliente desse jeito...

Locaweb, o que aconteceu com você? Por que não funciona mais? Eu sou o número 115 na fila?

It is time to remember about the Pentaho Community Events

2013-03-30T12:30:00.002-03:00

Resultado do Curso de Pentaho no TJSC já pode ser visto na internet.

2013-03-21T18:15:00.003-03:00

Amigo leitor,

Um tempo atrás ministrei pela IT4biz um treinamento para o TJSC (Tribunal de Justiça de Santa Catarina) e recentemente fui informado de um Dashboard muito bacana criado por eles que encontra-se disponível na internet.

Link do dashboard:
https://malotedigital.tjsc.jus.br/portal_hermes/numeros.jsp

Abaixo algumas imagens.

Também aproveito para agradecer ao Pedro Alves pela criação do CTools, como podemos ver o Dashboard foi criado baseado em suas ferramentas.

Parabéns ao TJSC, ficou excelente!!!

Dados Abertos: Dados da Copa 2014

2013-03-20T11:04:00.000-03:00

Amigo leitor,

Foi divulgado no site dados.gov.br os dados da copa 2014 no formato open data.

Segue o link:

http://dados.gov.br/dataset/copa-2014

O texto abaixo foi extraído do site dados.gov.br

Com o objetivo de garantir o maior número possível de finalidades aos dados da copa, foi decidido que eles seriam disponibilizados em sua forma bruta. Sendo assim, fica a cargo do usuário desses dados fazer as agregações e derivações que julgar mais interessante. O importante é que, com a disponibilização desses dados da forma como estão hoje em nossa base de dados, a CGU não cria nenhum tipo de impedimento quanto ao seu uso.

Por isso, os dados estão separados por tabelas, inclusive com as chaves estrangeiras para outras tabelas, possibilitando, assim, a recuperação de seus relacionamentos.

Os dados são disponibilizados diariamente para o mês corrente e mensalmente para os meses anteriores. Por exemplo, no dia 5 de novembro de 2012, estavam disponíveis os dados de cada tabela para download dos dias 1o. a 5 de novembro, separadamente, bem como os dados do dia 30 de setembro e 31 de outubro, representando assim os meses de setembro e outubro, respectivamente.

O download pode ser feito diretamente pela página, como já mencionado, por um cidadão comum, ou diretamente pelo link padronizado, por um robô, por exemplo. Para acessar os dados de todas as tabelas do mês de setembro, basta acessar o link http://www.portaldatransparencia.gov.br/copa2014/gestor/download?nomeArquivo=201209_BaseDados.zip. Para acessar um dia específico, por exemplo, o dia 04/09/2012, basta acessar o link http://www.portaldatransparencia.gov.br/copa2014/gestor/download?nomeArquivo=20120904_BaseDados.zip. Já para acessar uma tabela específica de um dia específico, por exemplo, a tabela Empreendimento do dia 04/09/2012, basta acessar o linkhttp://www.portaldatransparencia.gov.br/copa2014/gestor/download?nomeArquivo=20120904_Empreendimento.zip.

Como pode ser visto nos exemplos apresentados, há um padrão para a URL de download das tabelas do portal da copa, definido a seguir:

Para acessar os dados de todas as tabelas do mês MM/yyyy, onde MM representa o mês (incluindo o 0 a esquerda, se for mês de 1 a 9) e yyyy o ano, basta acessar o seguinte link:
http://www.portaldatransparencia.gov.br/copa2014/gestor/download?nomeArquivo=yyyyMM_BaseDados.zip
Para acessar os dados de todas as tabelas do dia dd/MM/yyyy, onde dd representa o dia do mês (incluindo o 0 a esquerda, se for dia de 1 a 9), MM representa o mês (incluindo o 0 a esquerda, se for mês de 1 a 9) e yyyy o ano, basta acessar o seguinte link:
http://www.portaldatransparencia.gov.br/copa2014/gestor/download?nomeArquivo=yyyyMMdd_BaseDados.zip
Para acessar os dados da tabela NOMETABELA do dia dd/MM/yyyy, onde dd representa o dia do mês (incluindo o 0 a esquerda, se for dia de 1 a 9), MM representa o mês (incluindo o 0 a esquerda, se for mês de 1 a 9) e yyyy o ano, basta acessar o seguinte link:
http://www.portaldatransparencia.gov.br/copa2014/gestor/download?nomeArquivo=yyyyMMdd_NOMETABELA.zip

Note que está destacado em negrito a parte da URL que varia de acordo com a informação que se deseja recuperar. Todo o resto da URL é invariável. Dessa forma, pode-se elaborar um código ou robô capaz de recuperar diariamente a informação mais atual do site Copa 2014, sem a necessidade de interferência humana.

Por fim, é importante ressaltar que os dados disponibilizados no site não são incrementais. Ou seja, ao baixar os dados do dia 01/10/2012, você obterá todas as informações disponíveis no site até aquele dia, incluindo também informações que foram inseridas tanto no dia anterior, quanto no mês anterior.

Ideas for Solving the 'Data' Problem First, the 'Big' Problem Second: The Pentaho Way

2013-03-19T16:03:00.001-03:00

Imagine a word cloud to represent discussions about how to make data useful in business right now. Based on what I saw at Strata in late February in Santa Clara, you would see “big” in letters about 4 inches high and the word “data” in regular 12 point type. As my pals at Gawker say, “Thatz Not Okay.”

The analytical nerds over at Cheezburger recommend solving the “data” problem before tackling the challenge of “big.” To me this seems like good advice, but carrying it out may be a bit tricky because of a disconnect that occurs in the way that data is analyzed in different sizes. Ask yourself this: if you took all the money you were going to spend on “big” and instead spent it on “data” would you be better off?

First, some basic assumptions:

No dataset comes ready to provide answers, no matter how small or big it is.
Most of the work in analysis involves massaging data and getting it ready so that you can ask questions.
The quality of analysis improves with better data.
The quality of analysis can improve with more datasets, but not always.
The quality of analysis can improve with higher volumes of data, but not always.
The more people involved – from business, IT, and development – at all stages the better.
Unstructured data is becoming more important.
Real-time analysis is becoming more important.

What does all of this mean?

Assumptions 1 and 2 mean that we will gain productivity if we can focus on compressing the early stages of the analysis pipeline, meaning the data preparation, manipulation and transformation needed to get data ready before analyzing it.
Assumptions 3, 4, and 6 suggest that we should arm as many people as possible to evaluate new datasets to see if they can help.
Assumptions 5 and 7 suggest that sometimes this new data will be big data.

I’m going to leave assumption 8 out of this discussion for the most part and deal with it in detail in another article.

The problem with the current focus on “big” is that it addresses only two of these assumptions, 5 and 7. (Remember that the way “big” is used most often means both voluminous and unstructured.)

The second problem is that most of the time the methods used to handle “big” are specialized and can only be done by high priests of programming, which creates a bottleneck.

My goal for this series of articles is to present a few ways that various types of technology could be used together to create an infrastructure that provides the most possible value for a group of workers. The collections of technology I’m going to propose seek to meet the following criteria:

Increase the number of people involved at all stages.
As much as possible, use the same techniques for massaging and analyzing data at all stages.
As much as possible, use the same techniques for processing both small and big data sets.

The Pentaho Way

Pentaho is an open source business intelligence and big data analytics company that was founded by five deeply nerdy people. Three of the original founders, Richard Daley, Doug Moran, and James Dixon are focused on Pentaho’s big data technology and strategy.

Unlike many other companies in the realm of data science, Pentaho is focused on what users do to get value from data and how to make it easier, and it shows in their product.

“Pentaho is taking the responsible, adult approach to tackling big data head-on,” says Dave Henry, Senior Vice President, Enterprise Solutions at Pentaho. “We offer great connectivity, easy-to-use data development apps and, by putting data integration and visualization so close together, deliver a productive experience that lets more people work together.”

Pentaho’s secret sauce is a system known as Pentaho Data Integration, which is essentially a visually-oriented toolkit for massaging data that has the following characteristics:

A multitude of connectors bring data in from a huge variety of sources, and you can build your own if a connector is missing.
Transformations can be applied to the data by dragging and dropping functions of various sorts to perform the transformation in a visual interface.
The functions range from simple transformations to those for more complex techniques like regular expressions and machine-learning algorithms.
Pentaho Data Integration can be applied to a single file, to data from any number of sources, from spreadsheets to MPP databases, and also to MapReduce programming.

So, how well does Pentaho meet my criteria?

One powerful aspect of Pentaho Data Integration is that because of its simple, drag-and-drop visual interface, it can be used by analysts in all areas of the organization. Pentaho can serve the business analyst who needs to quickly grab some information, add some context and then analyze and share it using Pentaho Instaview. It can also be used by a developer who is using the full Pentaho Business Analytics platform to build a formal data warehouse.

Data integration processes (often called ETL when building a data warehouse or data prep when an analyst is massaging data) can take place in Pentaho so that the massive work of massaging and cleaning data does not have to be tightly bound to a specific data warehouse technology or to complicated programming methods. This will be increasingly important for solution building in the cloud where developers cannot pre-integrate all of the data. Instead, data integration must occur on demand (i.e., combining data fromSalesforce.com with data from Amazon Redshift), and Pentaho makes it easy for this to happen as part of an orchestrated process.

Someone exploring external data sets to see what they offer can do the same thing. Pentaho offers native connectivity to popular structured and semi-structured data sources including:

Native connectivity to Hadoop (e.g., Apache Hadoop, Cloudera, Hortonworks, MapR)
Native connectivity to NoSQL databases (e.g., MongoDB, Cassandra, HBase)
Native connectivity to analytic databases (e.g., Vertica, Greenplum, Teradata)
Connectivity to enterprise applications (e.g., SAP)
Connectivity to cloud-based and SaaS applications (e.g., Salesforce, Amazon Web Services)

In addition, Pentaho Data Integration (PDI) can access unstructured, raw data such as tweets, do pattern matching, find the structure, and perform sentiment analysis. The Pentaho Instaview template for Twitter provides an environment to play around with the data. Bringing more people in direct contact with data is vital to solving the data problem first.

The most distinctive thing about PDI’s power for big data processing is its integration with MapReduce programming in Hadoop. Both Map and Reduce programs can be created using PDI; these work within the MapReduce 1.0 framework (MRv1) with plans to support MRv2 later this year. This opens the power of Hadoop to a much wider audience than if traditional MapReduce programming in Java or other such languages is required.

PDI can be an embedded data transformation engine that is part of a real time application. As a result, PDI can be inserted into a business process. For instance, PDI could be embedded in a storage appliance used on demand for device data analysis, such as capacity forecasting or failure prediction.

PDI reduces the time necessary to create a new analytic tool from two days to an hour or two. It makes it quick and easy to access big data sources and enrich them with Pentaho’s analytic and visualization tools. As a result, PDI encourages more experimentation and increases the likelihood that something useful will be discovered.

Essentially, PDI allows one technique to be used over and over in a large number of contexts. A company can build expertise in many different departments and allow people to help each other out and have users train other users.

The ideal result is that more and more people can meet their own needs and perform the all-important function of playing with the data, but when it comes time to get serious or to scale, use the same techniques.

The challenge that many companies have when attempting to create a data driven culture is that the glamorous part, the chart and graph at the end of the process, is really about 10 percent or less of the work. The analysis may be only 20 percent of the work. The other 70 percent of the work is massaging data from wherever it comes from and getting it into shape to go on stage as it were. That’s what Pentaho helps with. It may not be glamorous, but it is the sort of work that is essential to solving the data problem first and getting as many people as possible involved.

Follow Dan Woods on Twitter

Dan Woods is CTO and editor of CITO Research, a publication that seeks to advance the craft of technology leadership. For more stories like this one visitwww.CITOResearch.com.

Source:

http://www.forbes.com/sites/danwoods/2013/03/14/solving-the-data-first-big-second-pentaho/