Linux x PostgreSQL

Insert com a recuperação do ID

2015-10-26T06:40:00.001-07:00

Buenas pessoal, já faz muito tempo que não posto nada, não por não ter o que postar, mas sim, por estar fazendo a graduação na área e o tempo faltando aos montes.

Hoje resolvi postar algo simples, mas que dá muito trabalho aos programadores em iniciantes quando sem fala em "inserts" em tabelas relacionas.

Um exemplo do que estou falando, é a simples ação de incluir o cabeçalho de um pedido e obter o ID do mesmo para incluir seus itens. Há programadores que utilizam uma tabela para estas duas ações, mas no meu caso, sempre uso duas, das quais chamo de mestre x detalhe.

Para dar um exemplo, é preciso criar um tabela simples. Segue o comando:

Create table "Pedido"(ID_Pedido serial primary key, Total Numeric);

Quando todo o processo é feito via banco de dados, ou seja, através de funções, podemos utilizar pelo menos duas opções para retornar este ID:

1º Através de comando "nextval"

create or replace function inserir_pedido1() returns integer as
$$
declare
--Cria-se uma variável para receber o valor "nextval"
xID_Pedido Integer default 0;
begin
    --Recuperando o ID via comando "nextval"

    xID_Pedido = nextval('"Pedido_id_pedido_seq"');

    --Insert utilizando a variável para gravar o ID na tabela mestre e retornar a
    --função para depois utilizar na inclusão dos itens.

    Insert Into "Pedido" (ID_Pedido, Total) Values( XID_Pedido, 1.5);

    --Retornando o valor do ID
    Return XID_Pedido;
end;
$$
language plpgsql;

--Chamada da função que inclui o mestre do pedido
Select inserir_pedido1();

2º Através do comando "returning"

create or replace function inserir_pedido2() returns integer as
$$
declare
--Cria-se uma variável para receber o valor "into"
XID Integer;
begin
--Recuperando o ID via comando "returning"

Insert Into "Pedido" (Total) Values(1.5) returning ID_Pedido into XID;

return XID;

end;
$$
language plpgsql;

--Chamada da função que inclui o mestre do pedido
Select inserir_pedido2();

A segunda opção, é a mais ideal a ser usada, levando em conta, que ao mesmo tempo que se envia os dados via comando "insert", se recebe o valor "id" gravado pela "sequence" do banco, sem a necessidade de executar dois comandos, ou seja, abrir duas sessões em vez de uma.

O comando "returning" retorna o valor gerado pela "sequence" e gravado na tabela no campo primário.

PostrgreSQL Uso do "Copy To"

2012-05-24T10:55:00.000-07:00

Introdução

Pessoal, hoje, eu gostaria de mostrar um exemplo simples, de como usar o comando "Copy To".  Este comando, faz a carga de uma tabela para dentro de um arquivo.

Sintaxe do comando

COPY tablename [ ( column [, ...] ) ]
TO { 'filename' | STDOUT }
[ [ WITH ]
[ BINARY ]
[ OIDS ]
[ DELIMITER [ AS ] 'delimiter' ]
[ NULL [ AS ] 'null string' ]
[ CSV [ HEADER ]
[ QUOTE [ AS ] 'quote' ]
[ ESCAPE [ AS ] 'escape' ]
[ FORCE QUOTE column [, ...] ]

Obs: Maiores explicações sobre cada parâmetro, acesse a documentação em português
do PostgreSQL em http://pgdocptbr.sourceforge.net/pg80/sql-copy.html

Mãos ao trabalho.

Vamos criar uma função, onde o conteúdo de uma de nossas tabelas, neste caso, a de "clientes" serão gravados dentro de um arquivo.

CREATE OR REPLACE FUNCTION "CopyTo"(Caminho Varchar) RETURNS boolean AS
$BODY$
Declare
/*
Duas variáveis, A primeira, "Retorno" do tipo "Record" utilizada para guardar registros. Ela   assume a strutura
da tabela ou tabelas informadas no SQL.
A segunda, "Sql" do tipo "Varchar" utilizada para guardar os comandos SQL, que após serão executados por
outro comando "Execute".
*/
Retorno Record;
Sql Varchar default '';
Begin
/*
Aqui, é criado uma tabela tempória para receber dados criteriados, de outra tabela de nosso banco de dados.
*/
Sql = 'Create Temp Table "RemessaTemp"("CodigoCliente" integer) On Commit Drop;';
Execute Sql;

/*
Neste ponto, o SQL, envia para dentro da variável "Retorno" os registros
encontrados e criteriados na claúsula "Where".
*/
For Retorno in
Select "CodigoCliente"
From "Cliente"
Where "DataNascimentoCliente" between '2012-01-01' and '2012-03-01'
Loop
/*
Após, entramos em um loop, dando um "Insert" dos dados para dentro da tabela temporária.
*/
XSql = 'Insert Into "Temp" ("CodigoCliente") Values ('||Quote_Literal(XRetorno."CodigoCliente")||');';
Execute XSql;
End Loop;

/*
Agora vamos para o final, criar o arquivo com os dados contidos na tabela temporária.
*/
XSql = 'Copy "Temp" To '||Quote_Literal($1);
Execute XSql;
Return true;
end;
$BODY$
LANGUAGE 'plpgsql' VOLATILE;

Para executar a função, onde que cria o arquivo com os dados de uma tabela, faça:

Select "CopyTo"('Diretório para gravação\Nome do arquivo.csv');

Considerações: No próximo artigo, eu irei demonstrar o inverso deste comando, utilizando o "Copy From", onde irei ler o contéudo de um arquivo e gravar dentro de uma tabela. Uma detalhe importante, mas não exatamente uma regra, é que, o arquivo lido, deverá ter a mesma estrutura de registros igual a sua tabela. No exemplo acima, eu uso um único campo, com isto o arquivo terá uma única coluna. Para demais colunas, usar os caracteres determinados pela sintaxe do comando.

Uso dos comandos "Create Types" e "Execute" em funções PostgreSQL

2012-04-26T16:59:00.001-07:00

Neste artigo, eu tento demostrar o uso que eu faço dos comandos "Create Type" e do "Execute".

O "Create Type", permite criar um novo tipo de dado. No meu caso, uso ele para as saídas de dados(lista campos e seus conteúdos pertencentes a uma tabela pesquisada) das funções que faço no banco.

O "Execute", é um comando utilizado em funções "plpgsql", para executar sql, contidos dentro de uma variavel do tipo texto. Este procedimento, é interessante, para que possámos unir strings mais complexas, fazendo delas, um sql mais enxuto, e dando a possíbilidade de NÃO usar comandos como: "Case When" ou "If then", que em muitas vezes, não deixa que o banco uses seus índices, necessários para agilizar uma determinada consulta.

Para criar um type faça:

Create type "ListaPessoas_Type" as
 ("CodigoPessoa"   Integer,
  "NomePessoa"     Varchar(100)) ;

A função a seguir, lista dois campos de uma tabela, chamada "Pessoas", onde a informações listadas, poderão serem "Clientes" ou "Fornecedores". Vejam, que os types criado, cuja o nome ficou "ListaPessoas_Type", é atrelado a função logo nas primeiras linhas, onde que representa a saída dos dados.

A proposta aqui, é mostrar o uso do create type e do execute. Sei, que consultas como estas, poderiam serem feitas de uma outra forma, de tamanho menor e numa função do tipo "sql" e não "plpgsql".

Para criar a função faça:

Create or replace function "ListaPessoas"(varchar(15))
Returns setof "ListaPessoas_Type" As
$$
declare
   XSQL     Text;
   XRetorno Record;  
begin
  /*Montagem do sql em uma variável text*/
  if $1 = 'Clientes' then
     XSQL = 'Select "CodigoPessoa","NomePessoa"

             From   "Pessoas"

             Where  "TipoCliente" = ''Clientes''      

             Order by "NomePessoa"';
  else   

     XSQL = 'Select "CodigoPessoa","NomePessoa"

             From   "Pessoas"

             Where  "TipoCliente" = ''Clientes''      

             Order by "NomePessoa"';

  end if;
  

  /*Executa o conteúdo da variável XSQL*/

  For XRetorno in
      Execute XSQL
  loop
    Return Next XRetorno;
  end loop;
end;
$$ Language plpgsql;

Linha de comando para fazer a chamada a função

Select * From "ListaPessoas"('Clientes');

Observações: Em testes passados, consegui comprovar, o ganho em tempo de retorno de dados pesquisado, quando usamos quando criamos os tipos de campos para o retorno de uma função.

Backup banco PostgreSQL pelo Linux

2012-04-20T06:32:00.001-07:00

Gente, novamente venho a contribuir um pouquinho, com algum pouco conhecimento que tenho sobre Linux e PostgreSQL. Neste script(Linux), do qual dou o nome de "backup.postgres.sh", faço o backup do banco pg, levando em conta:
1º A existência da pasta para receber o arquivo(mkdir -p);
2º Uma analise, e ao mesmo tempo, a exclusão dos arquivos a mais de 3 dias(find);
3º O backup propriamente dito(pg_dump);
4º Por final, o vacuum para limpar e organizar e com isto agilizar o banco para o dia seguinte(vacuum).

#Scritp responsável pela cópia do banco de dados PostgreSQL
#Autor: Marcos Andre G.A
#Data1: 02/04/2012

#1º Mensagem que mostra na tela a data e hora de início do backup.
DATA=`date +%Y%m%d`
HORA=`date +%H%M`
echo "+++ ."
echo "+++ Data/Hora do inicio da copia. "$DATA $HORA
echo "+++ ."

#2º Criando, caso não exista, "mkdir -p" a pasta para receber o banco.

mkdir -p /opt/backups/base_de_dados/

#3º Procedimento de limpeza dos backups com data a mais de 3 dias.
echo "+++ Executando limpeza das copias dos bancos de dados a mais de 3 dias"
find /opt/backups/base_de_dados/ -name 'Trabin*' -ctime +3 -exec rm -fv {} \;

#4º Procedimento que gera cópia do bando de dados.

echo "+++ Gerando copia do banco. Aguarde..."

pg_dump -Fc -Z9 -U postgres -h localhost -f /opt/backups/base_de_dados//Nome_do_Banco_$DATA$HORA.bkp "Nome_do_Banco"

echo "+++ Nome_do_Banco copiado!"

#5º Neste ponto, gero um vacuum. Abaixo, a lista dos parâmetros possíveis.

echo " "

echo "+++ Gerando o vacuum do banco, Aguarde..."
#-a : passa em todos bancos de dados;
#-d base : para escolher o banco de dados;
#-f : vacuum full;
#-z - vacuum analyze;
#-v : verbose;
#-h : servidor remoto postgres;
#-U : login do usuarioo do banco.

vacuumdb -d "Nome_do_Banco" -U postgres -q -z
#echo "+++ Vacuum - TrabinBase ok"

Campos associados em uma consulta SQL

2012-04-12T07:15:00.000-07:00

Buenas pessoal, hoje rapidamente lembrei de algo que muitas vezes é comum mas não é de uso de todos. Fazer SQL com campos de tabelas associadas. Ou a grosso modo, pegar o valor de um campo de outra tabela e mostrar no sql que estamos construindo. No PG, eu tenho sempre uma função que ao passar o ID que esta gravado na tabela principal a tabela secundária, me retorna o valor do campo que desejo. Isto, daria para fazer sem a necessidade de uma função, mas é mais organizado e tu pode aproveitar em outras partes do sistema.

Bom, esta função, recebe o ID da Cidade que esta na tabela de clientes e retorna o nome da cidade

CREATE OR REPLACE FUNCTION "RetornaCidadeNome"(Integer)
RETURNS Varchar AS
$BODY$
Select Cast("NomeCidade" as Varchar)
From "Cliente"
Where "CodigoIDCliente"=$1
$BODY$
LANGUAGE 'sql';

Este é o SQL que mostra os dados dos clientes mais o nome da cidade, do cliente 1 ao 1000

Select "CodigoCliente",
"NomeCliente,
"RetornaCidadeNome"("CodigoIDCidadeCliente") as "XNomeCidade"
From "Cidade"
Where "CodigoCliente" between 1 and 1000;

Detalhes: Aspas duplas, garante que no postgresql o nome da função fique como foi digitada.

Obs: Pessoal, fiz algumas alterações pontuações, das quais, estão em negrito.

Cálculo do Módulo11 para o Nosso Número

2012-03-30T13:03:00.001-07:00

No exemplo anterior postado, eu mostro como fazer um cálculo do dígito verificador módulo10 do banco do brasil, e neste, mostro como é feito o cálculo usando o módulo11. Essas duas funções, referente aos chamados DV(Dígito Verificador), podem serem executadas sem nenhuma alteração, pois, elas não fazem referência as tabelas do banco de dados, são funções das quais chamo de "Genéricas".

CREATE OR REPLACE FUNCTION "TS_ParcelaBloquetoBancoBrasilModulo11"(xdocumento character varying)
RETURNS character varying AS
$BODY$
declare
XNumero Varchar;
XNumeroOrg Varchar;
XCont Integer;
XParcial Integer;
XDivisorM11 Integer;
XResto Integer;
XDigVerM11 Integer;
XMultiplo Integer;
begin
/*
Função responsável por calcular o DV módulo 11
Esta informação vai impressa no bloqueto
*/
--Pegando somente os números do documentos
XNumeroOrg = regexp_replace(XDocumento, '[^[:digit:]]', '', 'g');

/*
*** Calculando Módulo "11" ***
*/
XDivisorM11 = 2;
XParcial = 0;
XNumero = trim(XNumeroOrg);
XCont = length(XNumero);
loop
--Pegando número a número e multiplicando por 2 a 9 e acumulando o resultado linha a linha
if XDivisorM11 > 9 then
XDivisorM11 = 2;
end if;
XParcial = XParcial + Cast(SubStr(trim(XNumero),XCont,1) as Integer) * XDivisorM11;
XDivisorM11 = XDivisorM11 + 1;
XCont = XCont - 1;
if XCont = 0 then
Exit;
end if;

end loop;
/*
Tratando o resultado da multiplicação
*/
XResto = Cast(((XParcial-(trunc(Cast(XParcial as Numeric(15,2))/11))*11)) as Integer);
XDigVerM11 = 11 - XResto;
if XDigVerM11 = 0 or XDigVerM11 = 10 or XDigVerM11 = 11 then
XDigVerM11 = 1;
end if;

Return XDigVerM11;
end;
$BODY$
LANGUAGE 'plpgsql' VOLATILE;
ALTER FUNCTION "TS_ParcelaBloquetoBancoBrasilModulo11"(character varying) OWNER TO postgres;

*** Para executar esta função digite: ***
Select "TS_ParcelaBloquetoBancoBrasilModulo11"('12345678')

Cálculo do Módulo10 para o Nosso Número

2012-03-29T07:26:00.000-07:00

Neste exemplo, criei em plpgsql, uma função para o cálculo do módulo10, para usar na geração do "Nosso Número" para a remessa e bloquetos do banco do brasil.

CREATE OR REPLACE FUNCTION "TS_CalculaModulo10BancoBrasili"(xdocumento character varying)
RETURNS character varying AS
$BODY$
declare
XNumero Varchar;
XNumeroOrg Varchar;
XCont Integer;
XParcial Integer;
XParcialPosterior Integer;
XDivisorM10 Integer;
XResto Integer;
XDigVerM10 Varchar(1);
XMultiplo Integer;
XTotalM10 Integer;
begin
/*
Função responsável por calcular o módulo 10
para os campos da linha digitável cobrança banco do brasil
*/
--Pegando somente os números do documentos
XNumeroOrg = regexp_replace(XDocumento, '[^[:digit:]]', '', 'g');

/*
*** Calculando Módulo "10" ***
*/
XDivisorM10 = 2;
XParcial = 0;
XNumero = trim(XNumeroOrg);
XCont = length(XNumero);
loop
XTotalM10 = Cast(SubStr(trim(XNumero),XCont,1) as Integer) * XDivisorM10;
if XTotalM10 < 10 then
XParcial = XParcial + XTotalM10;
else
XParcial = XParcial + (Cast(SubStr(XTotalM10,1,1) as Integer) + Cast(SubStr(XTotalM10,2,1) as Integer));
end if;
XCont = XCont - 1;
if XCont = 0 then
Exit;
end if;
--Pegando número a número e multiplicando por 2 e 1 e acumulando o resultado linha a linha
if XDivisorM10 = 1 then
XDivisorM10 = 2;
else
XDivisorM10 = 1;
end if;

end loop;
/*
Após achar o resto da divisão, encontrar o maior
valor da soma e fazer a subtração
*/
if Length(XParcial) <= 2 then
XParcialPosterior = (SubStr(Cast(XParcial+10 as Varchar),1,1)||'0');
elsif Length(XParcial) = 3 then
XParcialPosterior = (SubStr(Cast(XParcial+10 as Varchar),1,2)||'0');
elsif Length(XParcial) = 4 then
XParcialPosterior = (SubStr(Cast(XParcial+10 as Varchar),1,2)||'0');
end if;

if (XParcialPosterior-XParcial) = 10 then -- Se maior que 9 desmembrar o número e soma-los Resto = 18 fazer 1 + 8 = 9
Return (0);
else
Return (XParcialPosterior-XParcial);
end if;
end;
$BODY$
LANGUAGE 'plpgsql' VOLATILE;

*** Para executar esta função digite: ***
Select "TS_CalculaModulo10BancoBrasili"('12345678')

No próximo post, mostrarei a função que cálcula o DV, usando o módulo11.

Substituir String por outra String

2012-01-13T03:18:00.000-08:00

Algumas vezes precisamos limpar um conjunto de caracteres para ficarmos somente com o que interessa, ou, trocar um caracter por outro correspondente. Um exemplo disto, é o CNPJ ou CPF, onde, dependendo de onde se pega a informação, vem com os caracteres '/'(barra), '.'(ponto) e ou '-'(hífen).

Exemplo1: Trocar na ordem os pontos e hifens por null
Select translate('999.999.999-72', '.-',''); Aqui eu mando pegar o número e tirar os pontos e hifens caso tenha.

Exemplo2: Trocar na ordem os pontos por sinal de + e hifens por *

Select translate('999.999.999-72', '.-','+*'); Aqui eu mando pegar o número e tirar os pontos e hifens caso tenha.

Decompondo o comando

Nome: Translate

Parâmetro1: Conjunto de caracteres a serem analisados

Parâmetro2: Caracteres dos quais substituiram na mesma ordem.

O comando translate utilizado acima, é do postgresql, por sua vez, é possível que tenham em linguagens de programação ou banco de dados o mesmo nome com a mesma função.

Instalando a versão PostGreSQL-8.2.23 no Ubuntu 10.04 LTS

2011-12-19T05:52:00.000-08:00

Instalação

A grande jogada nesta instalação, é instalar uma versão de postgresql, da qual, os repositórios do ubuntu não possue. Para a versão de linux que vamos trabalhar, a 10.04 LTS, o postgresql liberado é o 8.2.7 e vamos atualizar para último da categoria 8.2.23

1) Baixar ou enviar os fontes do postgres para máquina a ser instalado;

Repositório fpt oficial para download

ftp://ftp.postgresql.org/pub/source

Comando - Para descompactar

$ sudo -s
$ cd /usr/src
$ tar jxvf /home/trabin/postgresql-8.2.23.tar.bz2Obs: Mova a pasta criada na descompactação para o seguinte caminho /usr/src/

2) Para que possamos criar um clusters em LATIN1 é preciso ajustar a language do sistema operacional.Comando$sudo apt-get install language-support-pt

$sudo echo "pt_BR.ISO-8859-1 ISO-8859-1" >> /var/lib/locales/supported.d/pt
$sudo localedef -i pt_BR -c -f ISO-8859-1 pt_BR
Por fim, edite o arquivo /etc/default/locale e altere

De:

LANG="pt_BR.UTF-8"

LANGUAGE="pt_BR:pt:en"

Para:

LANG="pt_BR.ISO-8859-1"

LANGUAGE="pt_BR:pt:en"

3) Instalação do PostgreSQL 8.2 dos repositórios da versão "hardy"
Comando:
$ sudo -s
$ echo "deb http://archive.ubuntu.com/ubuntu hardy main universe" > /etc/apt/sources.list.d/ubuntu-8.04.list
$ apt-get update -o APT::Cache-Limit="50331648"
$ apt-get install postgresql-8.2
$ rm /etc/apt/sources.list.d/ubuntu-8.04.list
$ apt-get update

b) Instalação Compilador + Libs necessárias para compilar o PG:
Comando:$ sudo apt-get install build-essential libreadline-dev zlib1g-dev flex bison libssl-dev vim

c) Compilação / Instalação do PostgreSQL 8.2
Obs: Verifique se você esta no seguinte caminho /usr/src/postgresql-8.2.23
Comando:
./configure
make
su
make install
adduser postgres
mkdir /usr/local/pgsql/data
chown postgres /usr/local/pgsql/data
su - postgres
/usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data
/usr/local/pgsql/bin/postmaster -D /usr/local/pgsql/data >logfile 2>&1 &

d) Incluindo a senha ao postgresComando
sudo su postgres -c psql postgres ALTER USER postgres WITH PASSWORD ‘sua senha’;
\q;

e) Remover o cluster atual do 8.2 (Só na primeira)

$ sudo pg_dropcluster --stop 8.2 main

f) Verificar tamanho do bloco da partição onde será instalado o cluster

$ sudo blockdev --getbsz /dev/sda1

4096

g) Verificando que o tamanho do bloco da partição "/dev/sda1" é "4096" vamos customizar a compilação do PostgreSQL para que também utilize esse tamanho de bloco

$ sudo -s

$ cd /usr/src/postgresql-8.2.23

$ vim src/include/pg_config_manual.h (neste ponto iremos editar o arquivo)

Alterar o

#define BLCKSZ 8192

para

#define BLCKSZ 4096

(salvar e sair)

h) Compilar / Instalar o PostgreSQL dentro da infra-estrutura do Ubuntu/Debian

$ sudo -s

$ cd /usr/src/postgresql-8.2.23

$ ./configure '--prefix=/usr' '--includedir=/usr/include' '--mandir=/usr/share/man' '--infodir=/usr/share/info' '--sysconfdir=/etc' '--localstatedir=/var' '--libexecdir=/usr/lib/postgresql-8.2' '--srcdir=.' '--mandir=/usr/share/postgresql/8.2/man' '--with-docdir=/usr/share/doc/postgresql-doc-8.2' '--datadir=/usr/share/postgresql/8.2' '--bindir=/usr/lib/postgresql/8.2/bin' '--libdir=/usr/lib/postgresql/8.2/lib' '--includedir=/usr/include/postgresql/' '--enable-integer-datetimes' '--with-openssl'

$ make

$ make install

$ exit

i) Depois de compilado e instalado agora vamos criar o novo Cluster

$ sudo pg_createcluster -e LATIN1 8.2 main

$ sudo /etc/init.d/postgresql-8.2 start

j) Neste ponto já temos o novo cluster operacional, vamos verificar:

$ pg_lsclusters

Version Cluster Port Status Owner Data directory Log file

8.2 main 5432 online postgres /var/lib/postgresql/8.2/main /var/log/postgresql/postgresql-8.2-main.log

(Observe que o "Status" está "online")

l) Agora algumas configurações básicas no seu PostgreSQL:

$ sudo nano /etc/postgresql/8.2/main/postgresql.conf

listen_addresses = '*'

ssl = false

log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d '

autovacuum = off

$ sudo nano /etc/postgresql/8.2/main/pg_hba.conf

# Database administrative login by UNIX sockets

#local all postgres ident sameuser

# TYPE DATABASE USER CIDR-ADDRESS METHOD

# "local" is for Unix domain socket connections only

local all all trust

# IPv4 local connections:

host all all 127.0.0.1/32 trust

# IPv6 local connections:

host all all ::1/128 trust

$ sudo /etc/init.d/postgresql-8.2 restart

m) Feito todas etapas agora temos o novo cluster com a versão 8.2.23 compilada pronta para uso

$ psql -U postgres -l

List of databases

Name | Owner | Encoding

-----------+----------+----------

postgres | postgres | LATIN1

template0 | postgres | LATIN1

template1 | postgres | LATIN1

(3 rows)

$ psql -U postgres

Welcome to psql 8.2.23, the PostgreSQL interactive terminal.

Type: \copyright for distribution terms

\h for help with SQL commands

\? for help with psql commands

\g or terminate with semicolon to execute query

\q to quit

postgres=# select version();

version

-------------------------------------------------------------------------------------------

PostgreSQL 8.2.23 on i686-pc-linux-gnu, compiled by GCC gcc (Ubuntu 4.4.3-4ubuntu5) 4.4.3

(1 row)

Este material é cópia alterada do documento postado no blog de um amigo de Porto Alegre.

Fonte: Fabrízio de Royes Mello

PostGreSQL parou na atualização do Windows Server 2008

2011-12-16T02:33:00.000-08:00

Uma informação interessante e relevante sobre atualização de sistemas operacionais. Não façam se não souberem fazer! Isto é claro, se o suporte técnico já não deixou configurado para fazer sempre.
Foi bem isto que aconteceu com um dos nossos clientes, ele tem um servidor windows server 2008, onde, ontem pela madrugada, se atualizou e mexeu na memória compartilhada do sistema operacional. Com o postgresql, usa parte desta memória, ao tentar startar seu serviço não conseguiu. Bom, deixei o arquivos postgresql.conf original no lugar do que alteramos. Isto fez voltar o banco, mas não ficou com a nossa configuração.
Eu ainda não achei o lugar no windows para corrigir este problema. Assim que encontrar posto aqui.

SCP - Copiar Arquivos/Diretórios Entre Máquinas

2011-10-04T11:23:00.000-07:00

Pessoal, vim dar minha a pequena contribuição no mundo linux. Hoje mostro como fazer uma cópia de uma pasta inteira que esta em uma máquina remota para dentro da sua máquina.

Para tal faça:

scp -r 192.168.1.109:/opt/backups/ /opt/backups/

scp
É o comando que vem com a instalação do ssh na máquina remota;

-r
É critério que indica a cópia de diretórios e não um arquivo;

192.168.1.109:/opt/backups/

Assim diretamente, você digita o ip + o caminho de onde deseja copiar o diretório da máquina remota;

/opt/backups/

É onde o diretório vai ser gravado na máquina local.

A questão de criação dos diretórios e suas permissões, eu não aborto aqui. Ainda é possível usar o rsync, onde bem configurado é mais eficiente que o scp.

Comandos usados do POSTGRESQL em SHELL LINUX

2011-06-27T12:53:00.001-07:00

Acessar o linux e usar o usuário postgresql
para ações abaixo:
su postgres
postgres: digitar a senha
Para criar um banco a partir do template faça:

createdb nomedb -T template0 -e LATIN1 -O postgres;
Para restaurar um banco a partir de um
arquivo de bkp, faça:

pg_restore -i -h localhost -p 5432
-U postgres -d nomedb mnt/dados/nomearquivo.backup;
Para criar um arquivo bkp de um banco, faça:

pg_dump -Fc -Z9 -U postgres -h localhost -f
/mnt/dados/nomearquivo.bkp nomedb
Para entrar, no banco de dados, e manipulá-lo,
por exemplo: "TrabinEnxxe", faça:

psql -d nomedb
Para gerar um vaccum do banco faça:
#-d base : para escolher o banco de dados;
#-f : vacuum full;
#-z - vacuum analyze;
#-v : verbose;
#-h : servidor remoto postgres;
#-U : login do usuarioo do banco.
#-a : passa em todos bancos de dados;
vacuumdb -d nomedb -U postgres -q -z

Instalando a versão PostGreSQL-8.4 no Ubuntu 10.04 LTS

2011-06-15T12:29:00.000-07:00

Instalando a versão PostGreSQL-8.4 no Ubuntu 10.04 LTS

Este tutorial, ajuda na instalação do postgresql-8.4, via shell no ubuntu 10.04 LTS

Comando para instalaçãosudo apt-get install postgresql-8.4 postgresql-client-8.4
Comando para cadastrar a senha do usuário postgressudo su postgres -c psql postgres ALTER USER postgres WITH PASSWORD ‘password’;
\q;

Para que possamos criar um clusters em LATIN1 é preciso ajustar a language do sistema operacional. sudo apt-get install language-support-pt

sudo echo "pt_BR.ISO-8859-1 ISO-8859-1" >> /var/lib/locales/supported.d/pt

sudo localedef -i pt_BR -c -f ISO-8859-1 pt_BR

Por fim, edite o arquivo /etc/default/locale e altere

De:

LANG="pt_BR.UTF-8"

LANGUAGE="pt_BR:pt:en"

Para:

LANG="pt_BR.ISO-8859-1"

LANGUAGE="pt_BR:pt:en"

Apos, vamos dropar o cluster criado pela instalação, onde é feito usando o UTF8 como linguagem. Dropando...
pg_dropcluster 8.4 main

Criando...
pg_createcluster -e LATIN1 8.4 main
Agora é preciso configurar o arquivo pg_hba.conf e postgresql.cof, para que os outros usuários possam acessar o banco de dados no servidor. Pra isto, edite os arquivos e deixe-os parecido com estas linhas abaixo:
pg_hba.conf
# "local" is for Unix domain socket connections only local all all ident # IPv4 local connections: host all all 127.0.0.1/32 trust host all all 192.168.1.0/24 trust # IPv6 local connections: host all all ::1/128 trust

postgresql.conf
#listen_addresses = '*' # what IP address(es) to listen on;

Obs: Ao final de tudo execute o comando

sudo /etc/init.d/postgresql-8.4 restart

Pronto, neste ponto, já é possível acessar o banco e tanto localmente quanto remotamente.

O nosso banco já esta configurado e rondando.

2011-06-10T13:03:00.000-07:00

Durante algumas semanas, na tranquilidade, eu venho ajustando um servidor com Ubuntu Server 10.04 LTS + PostGreSQL.

Restaurei meus bancos de dados
Copiei os arquivos do servidor windows
Configurei o samba, para que todos que usam windows, pudessem visualizar o linux.

Depois de tudo acima, tive que fazer um script de backup para copiar periodicamente arquivos fontes dos projetos feitos em delphi de todas as nossas máquinas windows e criar cópias dos bancos postgresql mais importantes dos quais nós usamos.

Criar um script, não é galho, mas algumas coisas que faço no postgresql ou em delphi gostaria de fazer no script e tomei um laço, mas esta pronto.

#O processo a baixo coloca na tela um mensagem da Data/Hora inicial do processo

DATA=`date +%Y-%m-%d`

HORA=`date +%H:%M`
echo "+++ ."
echo "+++ Data/Hora do inicio da copia. "$DATA $HORA
echo "+++ ."

#Este processo aqui, limpa todos os arquivos com extensão bkp com mais de 3 dias de criação
echo "Executando limpeza das copias dos bancos de dados a mais de 3 dias"
find /opt/Base_de_Dados/ -name '*.bkp' -ctime +3 -exec rm -fv {} \;

##Data e Hora para fazer os backup do banco de dados
DATA=`date +%Y%m%d`
HORA=`date +%H%M`
echo "+++ Gerando copia dos bancos mais importantes da empresa"
pg_dump -Fc -Z9 -U postgres -h localhost -f /opt/Base_de_Dados/NomeDoArquivo_$DATA$HORA.bkp "Nome_do_Banco"

#O processo a baixo coloca na tela um mensagem da Data/Hora fim do processo

DATA=`date +%Y-%m-%d`

HORA=`date +%H:%M`

echo "+++ ."

echo "+++ Data/Hora do fim da copia. "$DATA $HORA

echo "+++ ."

Campanha - USEM LINUX

2011-03-18T10:34:00.000-07:00

           A idéia de usar linux, veio a sete anos atrás, onde a minha terceira máquina, um pentium 100, com 256MB de RAM, recebeu um dual boot entre Conectiva10 e WindowsXP.
   Durante muitos anos, fui tentando usar o linux e achar uma forma dele ficar definitivamente com sistema operacional preferencial, foi difícil!!! Foi ai, que o aprufundamento do uso de um dos melhores bancos de dados, o postgresql, que a empresa onde trabalho viu a necessidade de começar a estudar este sistema operacional. Outra grande motivo, foi a necessidade de alguns clientes que não aguentavam mais com os vírus que tem no windows e nos pediram para instalar e gerenciar o linux pra eles.
           No ano de 2010, fiz um curso na capital do meu estado Porto Alegre - RS, onde estudei desde o módulo iniciante até o avançado. Foi ai, que realmente me senti a vontade e nunca mais mudei o sistema operacional.
           Atualmente, uso Ubuntu - Desktop 10.04 LTS, como sistema host e virtualizo um xp, para poder trabalhar com a linguagem de programação que me sustenta Delphi.
   Com o tempo, consegui deixar tudo redondinho, ter uma maquina virtualizada, foi também um grande estudo meu. Não é fácil implantar tecnologias como estas a usuários comuns ou entidades empresariais como a que trabalho, sou obrigado a provar que funciona e também sentir que posso dominar e manter tal tecnologia, a ponto de ser uma referência local no que emprego e luto para que seja prática usual a todos.
   Pessoal, sei que não é facil usar linux, mas esta melhorando, os programadores estão cada vez mais facilitando para usuários comuns o manusei do sistema. Bom, por mim, eu já me viro 100% na unha, ou seja, shell é a minha casa, me acho melhor do que no desktop.
USEM LINUX!!!

SSH - Erro de autenticação

2011-03-09T06:07:00.000-08:00

Nesta postagem, eu explico como eu corrigi um erro de autenticação do SSH.
Os erros de autenticação, pra mim, até hoje, foi somente porque eu mexi onde não deveria mexer.
Vendo artigos na internet e em vários sites, todos recomendam a exclusão do arquivo /root/.ssh/known_hosts. Este arquivo grava as chaves de acesso para autenticação.
Fiz tudo que foi descrito acima e ainda continuo com o mesmo erro, não consigo me logar no servidor. A solução para este galho, foi também na máquina onde uso para me logar, também excluir este arquivo. Este foi o modo que resolvi o meu problema, mas sei, que se eu entrasse no arquivo do qual foi excluído, e excluísse somente a linha referente ao ip da máquina de acesso resolveria também.

http://lgerardlucas.blogspot.com/

2011-02-28T03:51:00.000-08:00

Instalação Ubuntu Server 10.04 LTS

Neste documento, é definido a preparação de um servidor Linux para ser um servidor de banco de dados PostGreSQL.

Sistema Operacional

Linux - Ubuntu Server 10.04 LTS - Versão com 5 anos de atualizações

Dados para Instalação:

Nome do usuário: servidor
Senha: *****
Teclado: Portugues
Login: Pedir senha e usuário
Desktop: Sem Desktop
Sistema de Arquivo Recomendado: Ext3 ou Ext4(Padrão)

Preferêncialmente usar Ext4;
Este sistema de arquivo, tem melhor desempenho para arquiteturas 64Bits;
Totalmente compatível com Ext3;
Melhor segurança nos processo de I/O.

Linguagem: Português - Brazil

Nº de hds que a máquina possui

Analise: No meu servidor, há dois hds de 150GB cada, com isto, foi feito o seguinte processo:

No sda1 foi instalado do sistema operacional mais a swap.
No sdb1 foi formatado e montado no /mnt/dados

Configurações para os procedimentos acima

Reconhecimento: Foi usado fdisk -l para listar os hds existentes. Neste ponto foi reconhecido dois, o sda e o sdb.
Preparação:

Foi criado o disco com o comando fdisk /dev/sdb1;
Foi dado um sistema operacional ext4;
Foi formatado o discso em questão com mkfs.ext4 /dev/sdb1
Foi criado um diretório em /mnt/dados com permissão 777
Foi feito a montagem usando o seguinte comando no arquivo /etc/fstab
Comando: # Particao referente ao segundo hd sdb1 para gravar dados do banco postgres
/dev/sdb1 /mnt/dados/ ext4 auto,user,exec 0 0

Sistema operacional, após a instalação:

Atualizar todo o sistema

Comando:

sudo apt-get update;
sudo apt-get upgrade;

Instalação e configuração de programas

SSH: Instalar o serviço ssh para acesso remoto, tanto do nxmachine como por linha de comando.

Comando: apt-get install ssh

PORTA: Liberar no modem a porta 22(Ou definir uma porta mais segura) apontando para o ip da máquina servidor de acesso, que deverá ser uma, pré-definida e que tenha linux. Obs: Esta configuração, servirá para uso dos programas acima citados.
SAMBA: Instalar serviço samba Versão 3.4 ou superior(A partir desta versão, já suporta acesso a máquinas com Windown 7), para que máquinas windows enxergem as máquinas linux.

Comando: sudo apt-get install samba
Menu: Sistema/Administração/Gerenciador de pacotes Synaptic
Arquivo: /etc/samba/smb.conf
Conteúdo: [global]
        workgroup = meu grupo
        server string = %h Servidor Linux (Servidor)
        dns proxy = no
        name resolve order = lmhosts wins bcast host
        interfaces = 127.0.0.0/8 eth0
        cups options = raw
        socket options = TCP_NODELAY
        security = share
        printing = cups
        printcap name = cups
        printcap cache time = 750
[servidor]
        comment = Servidor Linux - PostGreSQL8.2
        path = /home/servidor/.wine/drive_c/
        browseable = yes
        guest ok = yes
        writeable = yes
        read only = no
        create mask = 0777
        directory mask = 0777
        public = yes
Comando: Utilizar a linha de comando a seguir para aplicar a configurações feitas no samba /etc/init.d/smbd restart, stop ou start;
Serviço smbfs: Instalar o serviço smbfs. Algumas vezes, este serviço não é instalado junto com o samba e, é com ele, que a rede funciona;

Comando: apt-get install smbfs

FSTAB: Arquivo responsável por manter as montagens feitas entre máquinas, preferencialmente criadas na pasta /mnt. Neste ponto é feito a montagem das estão no Servidor compartilhadas. Isto garante, o acesso aos arquivos necessários ao sistema

Arquivo: sudo /etc/fstab
Conteúdo: #Apontar para o ip do Servidor
//192.168.1.250/Compartilhamento/ /home/trabin/.wine/drive_c/pasta smbfs user=servidor,password=*****,user,rw,uid=1000,
gid=1000,umask=022 0 0
Obs: Após deixar o arquivo citado configurado, criar dentro do caminho onde haverá a montagem, o diretório da montagem e dar permissão 7777

Rede

Rede Linux: Configuração responsável por introduzir o sistema operacional linux na rede.
Arquivo: /etc/network/interfaces

Uso: Arquivo responsável por colocar na rede a máquina em questão, no seu ip, máscara e gateway correto;
Placas: Na configuração abaixo, considero que a máquina tenha somente uma placa de rede. Mesmo que tenha duas, o máximo que poderiamos fazer é dar outro ip para a outra placa de rede.
Conteúdo do arquivo:
auto lo
iface lo inet loopback
auto eth0
iface eth0 inet static
address 192.168.1.250
netmask 255.255.255.0
gateway 192.168.1.1

Obs1: Neste ponto, analisando as camadas do modelo OSI, aqui seria a camada Sessão;

Arquivo: /etc/network/interfaces

Uso: Arquivo responsável por colocar na rede a máquina em questão, no seu ip, máscara e gateway correto;
Placas: Na configuração abaixo, considero que a máquina tenha duas placas de rede, e que iremos fazer uso das duas em um único ip. Se uma placa parar a outra assume;
Conteúdo do arquivo: auto lo
iface lo inet loopback

# Acesso a primeira interface de rede
auto bond0
iface bond0 inet static
address 192.168.1.251
netmask 255.255.255.0
gateway 192.168.1.1
Ativando e instalando módulos:

Instalar: Para o gerenciamento de duas placas em um só ip, é preciso ter, isto no caso do Ubuntu, os módulos ifenslave e bonding instalado e pra isto execute o comando: aptitude ifenslave bonding
Ativando: Após a instalar os módulos acima, é preciso ativar o módulo bonding. Pra isto, no meu caso, foi criado um arquivo sh para fazer as ativações e associações necessárias, com o seguinte conteúdo:
Ativa o módulo bonding
modprobe bonding
Vincula ao serviço bond as placas de rede 0 e 1
ifenslave bond0 eth0
ifenslave bond0 eth1
Ativa o vinculo acima criado
alias bond0 bonding
Configurações do serviço bond
options bond0 miimon=1000 mode=1Obs: O arquivo acima, foi dado um nome com a extensão sh com permissão 777 e colocado no diretório /mnt/init.d/, onde será executado ao ligar a máquina.

Arquivo: /etc/resolv.conf

Uso: Arquivo responsável por resolver o DNS
Conteúdo do Arquivooptions rotate nameserver 8.8.4.4 #DNS Public da Google

Arquivo: /etc/hostname

Uso: Arquivo responsável em dar um nome a máquina
Conteúdo do arquivo: servidor

Comando para informações

free -mt: Retorna o espaço total e livre em MB;
df -h: Retorna o espaço total e livre em MB mais detalhado;
dpkg -l: Mostra todos os pacotes instalados. dpkg -l | grep ssh mostra se o pacote ssh esta instalado;
cat /proc/cpuinfo/: Mostra o conteúdo do arquivo que guarda os dados da máquina, como o processador;
mount: Mostra informações como sistema de arquivo.

Desktop

Instalação: Para fins de acesso seguro e manutenção dos bancos de dados pelos funcionários sem conhecimento do uso do servidores via linha de comando, no final desta documentação, irei instalar o dektop no server digitando o seguinte comando:
sudo aptget install ubuntudesktop

Banco de dados

Instalação PostgreSQL 8.2

Preparação: Para instalar o PostgreSQL 8.2 no Ubuntu Server 10.04, é de fato que teremos de utilizar os repositórios do ubuntu 8.04, pois para esta versão de postgresql a versão de linux, jás não possui os repositórios necessários.
Sourceslis: Entra no arquivo /etc/apt/soucer.list e incluir a seguinte linha dentro: deb http://br.archive.ubuntu.com/ubuntu hardy main universe
Instalando:

sudo apt-get update
sudo apt-get install postgresql8.2

Apos a instalação no ubuntu os arquivos do postgresql ficarão no seguinte caminho:
# ls -l /var/lib/postgresql/8.2/main/
drwx------ 5 postgres postgres 4096 2011-02-25 16:13 base
drwx------ 2 postgres postgres 4096 2011-02-25 16:14 global
drwx------ 2 postgres postgres 4096 2011-02-25 16:13 pg_clog
drwx------ 4 postgres postgres 4096 2011-02-25 16:13 pg_multixact
drwx------ 2 postgres postgres 4096 2011-02-25 16:13 pg_subtrans
drwx------ 2 postgres postgres 4096 2011-02-25 16:13 pg_tblspc
drwx------ 2 postgres postgres 4096 2011-02-25 16:13 pg_twophase
-rw------- 1 postgres postgres    4 2011-02-25 16:13 PG_VERSION
drwx------ 3 postgres postgres 4096 2011-02-25 16:13 pg_xlog
-rw------- 1 postgres postgres 125 2011-02-25 16:13 postmaster.opts
-rw------- 1 postgres postgres   54 2011-02-25 16:13 postmaster.pid
lrwxrwxrwx 1 root     root       36 2011-02-25 16:13 server.crt -> /etc/ssl/certs/ssl-cert-snakeoil.pem
lrwxrwxrwx 1 root     root       38 2011-02-25 16:13 server.key -> /etc/ssl/private/ssl-cert-snakeoil.key

sudo apt-get update

Configuração Cluster

Entrei no soucer.list e incluir a seguinte linha
deb http://br.archive.ubuntu.com/ubuntu hardy main universe
Isto me proporcionou a instalação do postgresql-8.2
Após a instalação executei os seguintes comandos:
# pg_lsclusters O resultado foi este:
Version Cluster Port Status Owner    Data directory                  Log file
8.2     main    5432 online postgres /var/lib/postgresql/8.2/main    /var/log/postgresql/postgresql-8.2-main.log
Isto indica que meu cluster(agrupamento de bancos) esta ok.

Verificando status do serviço postgres
# /etc/init.d/postgresql-8.2 status
O resultado foi este: Running clusters: 8.2/main

Excluindo o cluster, já que a instalação e toda nova e não tem banco
# pg_dropcluster --stop 8.2 main
O resultado foi este: nada, a principio eu matei o meu cluster

Listando os clusters existentes
# pg_lsclusters
O resultado foi este:
Version Cluster   Port Status Owner    Data directory                     Log file
Agora já não possuo mais um cluster, ficanco pronto para criar um novo.

Nas linhas abaixo, iremos mudar o econding do sistema operacional. Isto é necessário para que o novo cluster seja criado no econding correto para o nosso caso.
# locale
LANG=pt_BR
LANGUAGE=pt_BR:pt:en
LC_CTYPE=”pt_BR”
LC_NUMERIC=”pt_BR”
LC_TIME=”pt_BR”
LC_COLLATE=”pt_BR”
LC_MONETARY=”pt_BR”
LC_MESSAGES=”pt_BR”
LC_PAPER=”pt_BR”
LC_NAME=”pt_BR”
LC_ADDRESS=”pt_BR”
LC_TELEPHONE=”pt_BR”
LC_MEASUREMENT=”pt_BR”
LC_IDENTIFICATION=”pt_BR”
LC_ALL= pt_BR.ISO-8859-1

Criando o novo cluster. A opção "-e" indica a criação, mas é possivel usar a outras opção conforme man pg_createcluster, por exemplo para criar o cluster em outro diretório. "-d"
# pg_createcluster -e LATIN1 8.2 main
Creating new cluster (configuration: /etc/postgresql/8.2/main, data: /var/lib/postgresql/8.2/main)...
Moving configuration file /var/lib/postgresql/8.2/main/postgresql.conf to /etc/postgresql/8.2/main...
Moving configuration file /var/lib/postgresql/8.2/main/pg_hba.conf to /etc/postgresql/8.2/main...
Moving configuration file /var/lib/postgresql/8.2/main/pg_ident.conf to /etc/postgresql/8.2/main...
Configuring postgresql.conf to use port 5432...

Logando com usuário postgres para trabalhar no banco
# su postgres
Entrei com usuário postgres

Acessando o banco template1 para teste
# \c template1
Acessei um banco de dados

Criando meu banco de dados
postgres =# CREATE DATABASE "MeuBancoDeDados"
Criei um banco de dados

Analisando o encondig do banco
postgres =# \encoding LATIN1

        # su postgres
          Entrei com usuário postgres

          #postgres =# \encoding
          LATIN1

Hoje é só isto que fiz, conforme vou evoluindo irei postar mais.