Existem 3 tipos de virtualização: JRFileVirtualizer, JRSwapFileVirtualizer, e JRGzipVirtualizer. Cada uma gerencia a memória de forma distinta, cabe ao desenvolvedor identificar a situação e a que melhor se adequar ao seu problema. Neste artigo, pretendo explicar o funcionamento de cada um deles.

Observação Importante:
Podemos dividir o processo de geração de um relatório em 2 fases:
1º: Preenchimento (ou Fill Phase): Nesta fase, busca-se os dados da fonte de dados (banco de dados, java beans, etc..), percorre esses dados gerando então o relatório final, podendo ser um objeto JasperPrint ou serializado em um arquivo “*.jrprint”. Ambos os formatos, são o relatório já pronto, crú, sem formato, podendo ser exibido apenas através da GUI fornecida pelo JasperReports. Nesta fase, o JasperReports não precisa se utilizar de APIs de terceiros para a criação do relatório em sí.
2º: Exportação (ou Export Phase): Nesta fase, é realizado apenas a conversão do relatório já pronto (JasperPrint) para algum formato conhecido, usando APIs de terceiros, tais como: PDF usando a iText, XLS usando JExcelApi ou Apache POI, e muitos outros.

É extremamente importante saber que o recurso de virtualização aplica-se exclusivamente à fase de Preenchimento (Fill Phase). O JasperReports não tem controle de como as APIs de terceiros geram o formato específico (pdf, xls, docx, etc).

Portanto é necessário tomar cuidado com o formato de destino na fase de Exportação, pois dependendo do tamanho do relatório, ainda pode-se ter problemas. Ao exportar para xls, por exemplo, utilizando a JExcelApi, ela precisa que todo o conteúdo da planilha esteja em memória durante a criação do xls, logo é bem perigoso ter um OutOfMemory aqui, mesmo tendo gerado o JasperPrint com sucesso.  Em casos como este, não há muita escolha, senão aumentar o Heap Space da JVM e a  memória RAM da máquina.

JRFileVirtualizer – [net.sf.jasperreports.engine.fill.JRFileVirtualizer]
Construtores:
JRFileVirtualizer(int maxSize)
JRFileVirtualizer(int maxSize, String directory)

Para este virtualizador, devemos informar o número de páginas que serão mantidas em memória (objetos JRPrintPage), e opcionalmente, um diretório onde as páginas em excesso serão salvas em arquivos, liberando a RAM, caso não seja informado um diretório, será utilizado o diretório em que a aplicação está rodando. A maior desvantagem desse virtualizador é um overhead na manipulação de arquivos. Ele cria muitos arquivos em disco em um único diretório durante o processo de virtualização, para então juntar todos eles e gerar o arquivo final *.jrprint (ou objeto JasperPrint). Se o dataset não for tão grande assim, pode-se utilizar esse virtualizador tranquilamente.

Se o numero de páginas informadas ao virtualizador for menor que o número de páginas que o relatório terá, o virtualizador não será utilizado, obviamente. Por exemplo: Se informado para manter no máximo 100 páginas em memória, e a fase de preenchimento gerou o relatório com apenas 80 páginas, o virtualizador nem chegou a ser usado.

conexao = Conexao.getConexao()
 
//Instancia o virtualizador, indicando a pasta onde serão gerados os arquivos
JRAbstractLRUVirtualizer virtualizer = new JRFileVirtualizer(100, "c:\\tmp");
 
//Seta o parametro REPORT_VIRTUALIZER com a instância da virtualização
HashMap parametros = new HashMap();
parametros.put(JRParameter.REPORT_VIRTUALIZER, virtualizer);
 
//Preenche o relatório e exibe numa GUI
JasperPrint jp = JasperFillManager.fillReport("MeuRelatorio.jasper", parametros, conexao);
JasperViewer.viewReport(jp);

JRSwapFileVirtualizer – [net.sf.jasperreports.engine.fill.JRSwapFileVirtualizer]
Construtores:
JRSwapFileVirtualizer(int maxSize, JRSwapFile swap)
JRSwapFileVirtualizer(int maxSize, JRSwapFile swap, boolean swapOwner)

Este virtualizador elimina a desvantagem do JRFileVirtualizer. Ao invés de criar vários arquivos em disco, ele cria apenas um único arquivo de swap, que pode ir crescendo de tamanho conforme a necessidade Este arquivo de Swap pode inclusive ser utilizado por vários relatórios ao mesmo tempo. Para este virtualizador, deve-se informar:

- O número máximo de páginas mantidas em memória, igual ao JRFileVirtualizer;
- Uma instância de um objeto JRSwapFile, que representa o arquivo que será usado como swap;
- O terceiro parâmetro serve para dizer se o arquivo de swap será utilizado apenas nesta instância do JRSwapVirtualizer. Em caso de true, ele executa o método cleanup() ao terminar de ser utilizado, apagando o arquivo swap do disco.

Igualmente ao JRFileVirtualizer, este virtualizador só começa a ser utilizado se o número de páginas do relatório ultrapassar o número de páginas que devem ser mantidas em memória, no parâmetro “maxSize”.

conexao = Conexao.getConexao();
 
//Instancia o arquivo de swap, informando:
// Diretorio,
// Tamanho de cada bloco (4kb)
// Numero mínimo de blocos que o  swap será aumentado sempre que estiver cheio
JRSwapFile arquivoSwap = new JRSwapFile("c:\\tmp", 4096, 100);
 
// Instancia o virtualizador
JRAbstractLRUVirtualizer virtualizer = new JRSwapFileVirtualizer(100, arquivoSwap, true);
 
//Seta o parametro REPORT_VIRTUALIZER com a instância da virtualização
HashMap parametros = new HashMap();
parametros.put(JRParameter.REPORT_VIRTUALIZER, virtualizer);
 
//Preenche o relatório e exibe numa GUI
JasperPrint jp = JasperFillManager.fillReport("MeuRelatorio.jasper", parametros, conexao);
JasperViewer.viewReport(jp);

JRGzipVirtualizer – [net.sf.jasperreports.engine.fill.JRGzipVirtualizer]
Construtor:
JRGzipVirtualizer(int maxSize)

Diferente dos outros dois virtualizadores, o JRGzipVirtualizer não escreve nada em arquivo físico. Ele otimiza o consumo de memória durante a geração, comprimindo as páginas diretamente na memória RAM, utilizando-se de um algoritmo GZIP. De acordo com a documentação oficial, ele reduz o consumo de memória num fator de 1/10.

conexao = Conexao.getConexao();
 
//Instancia o virtualizador
JRAbstractLRUVirtualizer virtualizer = new JRGzipVirtualizer(100);
 
//Seta o parametro REPORT_VIRTUALIZER com a instância da virtualização
HashMap parametros = new HashMap();
parametros.put(JRParameter.REPORT_VIRTUALIZER, virtualizer);
 
//Preenche o relatório e exibe numa GUI
JasperPrint jp = JasperFillManager.fillReport("MeuRelatorio.jasper", parametros, conexao);
JasperViewer.viewReport(jp);

Então é isso pessoal. Caso tenham alguma dúvida a respeito, podem perguntar nos comentários, ou então peça um help pelo grupo de discussão: http://groups.google.com.br/group/jasperreports-ireport-brasil

Se escrevi algo que consirem errado, ou falta algo, por favor, não deixem de comentar ok.

Abraço!

Fontes Principais:
Livro: The JasperReports Ultimate Guide
Site / Fórum: http://jasperforge.org/projects/jasperreports

Posts relacionados:

1. Virtualizar Relatório
2. Usando o componente Table do iReport
3. Participe: Grupo JasperReports / iReport Brasil

Uma das formas mais eficazes é realizar um intercâmbio, porém nem todos possuem recursos financeiros que possam bancar todo o custo necessário.. Mesmo assim, existem alternativas bem legais e de graça. Para quem não conhece, apresento-lhes o PalTalk.

No PalTalk, podemos praticar conversação com pessoas do mundo todo, via microfone, webcam ou simplesmente texto. Mas o mais interessante aqui, é usar o microfone.

O PalTalk é um programinha, no estilo MSN Messenger, porém  funciona de forma um pouco diferente. Lá, você procura salas de chat. Imagine o chat da UOL, onde existe diversas salas, divididas por temas. No PalTalk, as salas são criadas pelos próprios usuários,e muitas delas são dedicadas a prática do inglês.

Site para Download:  http://www.paltalk.com

Fiz um vídeo (12 minutos e com áudio) demonstrando para vocês como utilizá-lo. Espero que gostem =]

Nenhum post relacionado.

Resolvi então criar um grupo para tal.

Espero que participem, usuários ou não, afim de podermos criar um ambiente onde a API e a ferramenta sejam o tema de foco central, e possamos ajudar e tirar dúvidas de outros usuários!

JasperReports / iReport Brasil
http://groups.google.com.br/group/jasperreports-ireport-brasil

Participem! Quanto mais gente ajudar, melhor!
Abraço! =]

Posts relacionados:

1. Usando virtualização para gerar grandes relatórios no JasperReports
2. Usando o componente Table do iReport
3. iReport – Componente Table: Como mesclar células

Sendo assim, é de se esperar que possamos fazê-lo também com uma tabela feita no iReport. Essa não é uma tarefa tão simples, pois não existe uma opção explícita para fazê-la, é necessário prestar atenção nos detalhes.

Para mesclar duas células (ou mais), basicamente, é necessário selecionar as colunas delas, e então agrupá-las. Desse agrupamento, um novo elemento é criado na Table (visível apenas na árvore da tabela, no painel Report Inspector). Para que a célula mesclada apareça na tabela, basta clicar com o botão direto sobre esse novo elemento, e clicar em “Add Cell”.

Fiz um vídeo, comentado em áudio, demonstrando passo-a-passo como realizar esta tarefa, espero que ajude =]

Download do material do vídeo:

JRXML

Posts relacionados:

1. Usando o componente Table do iReport
2. iReport 3.5.3
3. Virtualizar Relatório

Espero que gostem =].  Não foi possível colocar no youtube devido ao tamanho…

Em posts futuros, explicarei mais detalhes do uso da table, tais como mesclar células, esconder colunas e utilizar agrupamentos.

Vídeo: Usando o componente Table (Têm Áudio)

Download do material do vídeo:

JRXML
PDF

Obs: A base de dados eu disponibilizo para download também caso alguém se interesse.

Posts relacionados:

1. iReport – Componente Table: Como mesclar células
2. Usando virtualização para gerar grandes relatórios no JasperReports
3. iReport 3.5.3

Hoje, apresento uma forma de integrar essa biblioteca no framework CodeIgniter.

Download mPDF:  http://mpdf.bpm1.com/

Download CodeIgniter: http://codeigniter.com/

Dê um nome qualquer a pasta do mPDF, vou considerar daqui pra frente como “mpdf_lib“.

Coloque a pasta mpdf_lib dentro do CodeIgniter, na pasta “system/plugins”

Ficaremos então com a seguinte estrutura:

Estrutura do CodeIngiter + mPDF

Feito isso, vamos criar o plugin que será invocado para gerar os pdfs:

<?php  if ( ! defined('BASEPATH')) exit('No direct script access allowed');
 
function pdf($html, $filename=null)
{
    require_once("mpdf_lib/mpdf.php");
 
    $mpdf = new mPDF();
 
    //$mpdf->allow_charset_conversion=true;
    //$mpdf->charset_in='iso-8859-1';
 
    //Exibir a pagina inteira no browser
    //$mpdf->SetDisplayMode('fullpage');
 
    //Cabeçalho: Seta a data/hora completa de quando o PDF foi gerado + um texto no lado direito
    //$mpdf->SetHeader('{DATE j/m/Y H:i}|{PAGENO}/{nb}|Texto no cabeçalho');
 
    //Rodapé: Seta a data/hora completa de quando o PDF foi gerado + um texto no lado direito
    //$mpdf->SetFooter('{DATE j/m/Y H:i}|{PAGENO}/{nb}|Texto no rodapé');
 
    $mpdf->WriteHTML($html);
 
    // define um nome para o arquivo PDF
    if($filename == null){
        $filename = date("Y-m-d_his").'_impressao.pdf';
    }
 
    $mpdf->Output($filename, 'I');
}
 
/* End of file mpdf_pdf_pi.php */
/* Location: ./system/plugins/mpdf_pi.php */

Salve esse código na pasta “system/plugins” como o nome “mpdf_pi.php“.

PS: As linhas comentadas não são obrigatórias, mas são apenas um exemplo de coisas que já podem ser setadas por default, quando gerar o PDF, para mais opções, recomendo consultar a documentaçao do mPDF.

Para utilizar o plugin nos controllers/views… basta chamar dessa maneira:

$this->load->plugin('mpdf');
 
$html = "<html>";
$html .= "<head></head>";
$html .= "<body>Meu arquivo de teste</body>";
$html .= "</html>";
 
// Opcional: Também é possivel carregar uma view inteira...
//$html = $this->load->view('uma_view_qualquer', null, true);
 
pdf($html);

Para que não seja necessário fazer “load” do plugin toda vez que precisar utilizá-lo, basta configurar para que ele seja carregado automaticamente pelo codeigniter. Para isso, abra o arquivo “/system/application/config/autoload.php“, e troque a linha…

$autoload['plugin'] = array();

…Por…

$autoload['plugin'] = array("mpdf");

Espero ter ajudado.

Qualquer dúvida, podem perguntar nos comentários que respondo assim que possível.

Abraço!

Posts relacionados:

1. Converter HTML para PDF usando mPDF

Se essa era a “melhor”, resolvi testá-la.

Me atendeu razoavelmente bem na sua tarefa principal “Html para PDF”.  Porém, se você quer formatar o PDF usando CSS, o suporte dessa biblioteca é horrendo. Muitos atributos não funcionam, e os que funcionam, hora só funcionam quando define-se a classe no próprio html (sem usar uma folha externa), hora só funcionam quando colocados inline ( usando o atributo style na própria tag html).

Até aí, ainda dá pra fazer um acerto aqui, e alí, e dá pra usar….

Porém um bug GRAVE, me fez obrigado abandonar essa bilioteca:  Se houver uma “table” que venha ocupar mais de uma página quando gerando o PDF, é levantada uma exceção: Uncaught exception ‘DOMPDF_Internal_Exception’ with message ‘Frame not found in cellmap

Depois de me decepcionar com o dompdf, busquei alguma outra solução. Para minha sorte, encontrei um post do Diogo Besson “mPDF PHP e PDF” que fala sobre a biblioteca mPDF.

Simplesmente FANTÁSTICA!!!!

Possui tudo que a dompdf possui, e muito mais….. tem suporte até para CSS 3!! A documentação no site oficial então, nem se fala… completíssima. É de longe…. bem melhor que a dompdf, tanto na perfeição dos PDFs gerados, quanto na possibilidade de customização dos mesmos.

Dêem uma lida no post do Diego Besson, lá ele já colocou alguns exemplos de uso, dos quais prefiro não repetir aqui.

Adotei a mPDF para todos os projeto “PHP” em que trabalho, e recomendo fortemente seu uso.

Posts relacionados:

1. Integrando CodeIgniter e mPDF para geração de arquivos PDF

Por volta de Agosto começou a se ouvir falar muito do nome: LOCKERZ.

Afinal, do quê se trata?

LOCKERZ é um site criado por uma união de associados, dentre eles a Apple, Microsoft, Marc Jacobs, EA, Ripstik, etc., fundado pela compania Liberty Media, que dá prêmios para os usuários, televisões, Notebooks, iphones, ipods, entre outras coisas.
A princípio o site consiste exclusivamente em mecanismos de acúmulo de pontos (PTZ) os quais podem ser trocados por prêmios, incluindo consoles de vide-games (wii, xbox 360, playstation 3 slim, dentre outros), pranchas de snowboarding, skates, bolsas, relógios, capinhas para iPhones, iPods, Laptops, etc.

As formas de se obter pontos são:
1 – Um jogo, que só pode ser jogado uma vez, que consiste em alcançar as notinhas verdes que caem, acumulando o máximo de ptz que você conseguir;
2 – A cada dia que você faz o log-in no site;
3 – A cada dia que você deixa resposta a uma pergunta (a pergunta do dia);
4 – A cada convidado que se cadastra no site.

Como entrar? Como se cadastrar?

É de graça? O que preciso para ganhar os prêmios?

Para se cadastrar no Lockerz você precisa de um invite (convite). Para conseguir um, tudo que você precisa é que alguém tenha a boa vontade de convida-lo. Para receber seu convite, basta preencher o formulário no inicio deste post que enviarei o mais breve possível.

Após receber seu convite, clique no link que está nele e você será levado ao site para se cadastrar.

O site é todo em inglês, portanto, segue abaixo uma imagem explicando o que deve ser preenchido em cada campo:

Tela de Cadastro do Lockerz

Como ganhar PTZ (Pointz)

O jeito mais fácil de ganhar PTZ (Pointz) no Lockerz é visitando o site diariamente. Participando dos dailies, que são eventos diários. Ao logar no site você já ganha 2 PTZ. Respondendo a pergunta do dia se ganham mais 2. E assim vai, até se juntarem muitos pontos para trocar por prêmios.

Tabela de pontuação

Acessar o site (1x por dia) – 2 PTZ
Responder a pergunta diária (1x por dia (diária, né)) – 2 PTZ
Convidar um amigo – 2 PTZ

Se for um membro Z-Lister, tudo vale em dobro (4 PTZ).

Alguns prêmios disponíveis

iMac 21,5″ – 3500PTZ
MacBook 13″(modelo de alumínio) – 2500PTZ
Notebook Acer 10,1″ – 1000PTZ
iPod Touch 64GB – 800PTZ
Notebook HP 10″ – 800PTZ
Notebook Inspiron Dell 10″ – 750PTZ
xBox – 675PTZ
PS3 – 675PTZ
PSP GO – 675PTZ
DJ Hero (PS3, xBox360, Wii) – 650PTZ
Câmera Digital Canon 10MB – 500TPZ
DSi – 375PTZ
Wii – 250PTZ
PSP- 200PTZ

Enviam para o Brasil?

Realmente, o Brasil é o único país no qual está complicando e não dá o braço a torcer. O Lockerz está tentando achar uma parceria aqui no país para poder fazer a distribuição diretamente. Por enquanto, você terá que torcer um pouco para o seu produto não ser taxado na alfândega, caso isso aconteça você terá que pagar 50% do valor para retirá-lo nos correios, algo que ainda vale a pena, pois o preço de um PS3 nos EUA é muito mais barato que aqui, e você irá pagar 50% do valor. Mas a maioria dos usuários do Lockerz aqui no Brasil dizem que recebem os produtos sem precisar pagar esta taxa… vai da sorte, infelizmente.

Alguns produtos estão marcados como “More Soon”.

O que é isso?

Existem 2 milhões de usuários cadastrados e o site vai repondo os produtos sempre, só que você vai ter que ser rápido para trocá-los por seus pontos, normalmente em poucas horas o estoque acaba. Não é nada muito difícil, mesmo!

OBS.: Esta semana saiu no Facebook uma nota dizendo que o site está para ser reformulado em dezembro/janeiro, fazendo com que todos os valores dos produtos sejam multiplicados por 4 (quatro), porém o site oferecerá 15 maneiras diferentes de se conseguir PTZ diariamente. A idéia é tornar um pouco mais difícil a conquista dos pontos, porém sempre ter em estoque os produtos (o que eu acho muito melhor). Então o negócio é começar desde já.

Nenhum post relacionado.

Quem sabe em um post futuro… por hora, dexarei ao final deste post alguns links interessantes sobre o assunto. O foco é mostrar como utilizar uma transação com python, usando o sqlobject.

Bom, vamos lá..

def executaTransacao(funcaoCallback, *args):
	from sqlobject import sqlhub
	conexao = [conexao] # Existem varias maneiras de obter uma conexao. Mas se este post lhe interessou, você provavelmente já tem a conexao.. rs
	conn_transacao = conexao.transaction()
	sqlhub.threadConnection = conn_transacao 
 
	try:
		try:
			valor = funcaoCallback(conn_transacao, *args)
		except Exception, ex:
			conn_transacao.rollback()
			raise ex
		else:
			conn_transacao.commit()
			return valor
	finally:
		sqlhub.threadConnection = conexao

linha 2 : Importa o sqlhub
linha 3 : Guardamos a referencia da conexao atual (para obter/abrir uma conexao com o banco, tem um post no site oturbogears.org
linha 4 : Esse método transaction() cria um objeto Transaction, que possui uma cópia da conexão atual, porém com o atributo autoCommit = False
linha 5 : troca a conexão do processo/thread atual pela conexao da transaction
linha 9 : Executa a função de callback* repassando os parâmetros informados na chamada da executaTransacao
linha 11: Caso ocorra qualquer exceção na funcao de callback, qualquer alteração realizada no banco será desfeita (Rollback)*. Porém só funcionará rollback nas alterações do banco onde a conexao da transação foi explicitamente utilizada (vou explicar mais a frente)
linha 12: Levanta a exceção ocorrida para ser tratada.
linha 14: Se nenhuma exceção ocorreu, dá Commit em todas as alterações feitas no banco.
linha 15: Retorna um valor da função de callback (caso queira retornar algo)
linha 17: Depois de tudo, com exceção ou não, devolve a conexao antiga para o processo/thread atual

*Função de Callback: Quando passamos a referência de uma função como parâmetro de outra função.

Já temos nosso método que vai gerênciar a nossa transação, agora podemos escrever nossa função que, efetivamente realiza as alterações no banco de dados.
Para um simples entendimento, vamos criar uma função que grava varias pessoas no banco de dados (tabela pessoa). O número de pessoas é informado como parâmetro.

Considerar que, a tabela pessoa, possui 0 (zero) registros e tem os seguintes campos:   id e nome

def minhaTransacao(connTrans, totalPessoas):
	for pessoa in range(totalPessoas):
		Pessoa(
				nome = "Pessoa %s" % pessoa,
				connection = connTrans
		)
 
                # Altera o nome da pessoa de id 2
                Pessoa.get(2, connTrans).set(nome = "Pessoa 2 editada")
 
                # Altera o nome da pessoa de id 2
                Pessoa.get(30, connTrans).set(nome = "Pessoa 30 editada") 
 
                return "Comandos executados com Sucesso"

linha 1 : Assinatura da função. Obrigatório ter pelo menos 1 parâmetro, que é a conexao da trasansação, recebida da executaTransacao.
linha 2 / 3 : Grava as pessoas no banco de dados (tabela Pessoa), conforme o numero informado no parametro totalPessoas.
Importante: Notem que, ao gravar uma pessoa na tabela, é informado um atributo connection. Isto serve para que esse INSERT seja feito utilizando a transação, sendo assim possível efetuar o commit/rollback. Se essa conexão não fosse explicitada aí, a transação não teria efeito nesse comando.

Utilizando as funções criadas:

retorno = ""
try:
	retorno = executaTransacao(minhaTransacao, 10)
except Exception, ex:
       raise ex
 
print retorno

linha 3 : Executa nossa transação, passando o valor 10

Nesse exemplo acima, acabamos criando um exemplo de ROLLBACK, pois será levantada uma exceção:

A transação efetua as seguintes ações:
(funcao minhatransacao)
- Grava 10 pessoas na tabela pessoa (id de 0 a 9)
- Edita o nome da pessoa com id = 2 de “Pessoa 2″ para “Pessoa 2 editada”
- Tenta editar o nome da pessoa com id 30, de “Pessoa 30″ para “Pessoa 30 editada”, PORÉM, esse registro não existe, e é levantada uma exceção.
- a funcao executaTransacao detecta a exceção, e desfaz a edição da pessoa com id = 2, de “Pessoa 2 editada” para “Pessoa 2″
- as 10 pessoas que haviam sido inseridas na tabela, são excluídas.
- a exceção então é levantada mais uma vez, para fora da executaTransacao, para possível tratamento… Nesse caso, estamos apenas dando um raise.

Se, neste exemplo, ao invés de passar 10, passassemos 31 ou valor mais alto, a função minhaTransacao teria rodado sem levantar nenhuma exceção, logo, a funcao executaTransacao daria COMMIT , e todos os registros seriam salvos no banco com sucesso.

Bom, então é isso… Espero ter ajudado.

Qualquer dúvida / sugestão, podem deixar nos comentários que procurarei responder o mais breve possível.

Até a próxima!

Exemplo de fluxo de uma transação simples

Links Interessantes:

Manual do SQLObject traduzido para português:
http://oturbogears.org/documentacao/tutorial/tutorial-sqlobject

Object-relational mapping
http://en.wikipedia.org/wiki/Object-relational_mapping

Mapeamento objeto-relacional
http://pt.wikipedia.org/wiki/Orm

PDF sobre Transação
http://www.dcc.ufam.edu.br/~eccv/bd1/slides/3-transacoes.pdf

Nenhum post relacionado.

O script para inserção de registros no banco de dados (PostgreSQL) que eu estava preparando estava com um pequeno problema. As datas estavam num formato inválido “DD MM YYYY”:

INSERT INTO organization VALUES ('AL', 'Arab League',  'Cairo', 'ET', 'El Qahira (munic.)', '22 03 1945');
INSERT INTO organization VALUES ('AG', 'Andean Group', 'Lima', 'PE', 'Lima', '26 05 1969');
INSERT INTO organization VALUES ('C',  'Commonwealth', 'London', 'GB', 'Greater London', NULL);
INSERT INTO organization VALUES ('NAM','Nonaligned Movement', 'Jakarta', 'RI', 'Indonesia', '01 09 1961');

Notem que, para o banco de dados aceitar esses INSERTs, a data deveria estar no formato “YYYY-MM-DD”.
Eu poderia muito bem ter arrumado as datas na mão, claro, mas eram mais de 150 linhas, e eu demoraria muito fazendo isso…

Foi então, que, tive a idéia de criar um script em Python (sim, tenho dons de python, rs) para realizar a correção dos meus INSERTs.

Peguei todas as instruções de INSERT, e coloquei-as dentro de um arquivo “txt”, chamado “inserts.txt“.

Após rodar o script python, é gerado o arquivo “inserts_novo.txt“, com todas as instruções sql corrigidas, como num passe de mágica.

INSERT INTO organization VALUES ('AL', 'Arab League',  'Cairo', 'ET', 'El Qahira (munic.)', '1945-03-22');
INSERT INTO organization VALUES ('AG', 'Andean Group', 'Lima', 'PE', 'Lima', '1969-05-26');
INSERT INTO organization VALUES ('C',  'Commonwealth', 'London', 'GB', 'Greater London', NULL);
INSERT INTO organization VALUES ('NAM','Nonaligned Movement', 'Jakarta', 'RI', 'Indonesia', '1961-09-01');

Segue então o código. Importante notar que, como foi um código corriqueiro, não me preocupei em fazer validações, não havia necessidade.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

insert = "INSERT INTO organization VALUES "
arquivo = open("inserts.txt", "r")            # Arquivo de INSERTS com data incorreta
novo_arquivo = open("inserts_novo.txt", "w")  # Arquivo que receberá os INSERTS corretos
 
for linha in arquivo:
	tupla = linha[linha.find("("):linha.rfind(")")+1]  # Pega a parte que vem após o VALUES
	tupla = tupla.replace("NULL", "None")              # Troca os valores NULL por None. OBS: Não existe NULL no Python, no lugar dele, existe o None
	lista = list(eval(tupla))                          # Transforma string numa tuple, e logo em seguida numa list. Isso é necessário, dado que objetos tuple são imutáveis.
 
	if lista[-1] != None:
		dia, mes, ano = lista[-1].split(" ")       # Quebra o elemento onde está a data em mais 3 elementos, e já atribui eles em variáveis
		lista[-1] = "%s-%s-%s" % (ano, mes, dia)   # Troca a data antiga pela data no formato correto
 
	tupla = tuple(lista)                               # Tranforma a list numa tuple novamente
	nova_query = insert + str(tupla) + "\n"            # Recria o INSERT
	nova_query = nova_query.replace("None", "NULL")    # Troca novamente os valores None por NULL
 
	novo_arquivo.write(nova_query)                     # Escreve o INSERT no arquivo_novo.txt
 
novo_arquivo.close()  # Salva as informações escritas e fecha o arquivo
arquivo.close()       # Fecha o arquivo

Apenas a título de curiosidade para aqueles que não conhecem essa linguagem fantástica, o código acima pode ainda ser escrito de outra forma:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

insert = "INSERT INTO organization VALUES "
arquivo = open("inserts_novo_old.sql", "r")
novo_arquivo = open("inserts_novo.sql", "w")
 
for linha in arquivo:
	lista = list(eval(linha[linha.find("("):linha.rfind(")")+1].replace("NULL", "None")))
 
	if lista[-1] != None:
		dia, mes, ano = lista[-1].split(" ")
		lista[-1] = "%s %s %s" % (ano, mes, dia)
 
	novo_arquivo.write((insert + str(tuple(lista)) + "\n").replace("None", "NULL"))
 
novo_arquivo.close()
arquivo.close()

Ainda dava pra diminuir, porém não estou com inspiração pra fazer isso… rs

Observação: Esse código não levou nem 15 minutos para ficar pronto e funcionar. Isso porque nem sou um mestre em python, rs… Os gurus da Python Brasil talvez levassem apenas uns 5 minutos… rs .  Se eu fosse alterar as datas na mão, talvez levasse um pouco mais de 1 hora…

Bom, fica aí a dica, aprendam Python, mesmo que o básico, e verá o quanto pode se beneficiar disso. Não é a toa que dizem que Python torna o desenvolvimento mais rápido e produtivo.

Quem tiver interesse em aprender, pode acessar o site da Python Brasil, ou pesquisar pela internet mesmo, que existe muito material bom…

Links interessantes:

http://www.python.org/ (Site Oficial do Python – Inglês)
http://www.python.org.br
http://diveintopython.org/
http://www.async.com.br/projects/python/pnp/

Nenhum post relacionado.