eu.NET Web de cada dia

Gerando um Shapefile à partir de uma consulta SQL

noreply@blogger.com (Ronaldo Andrade) — Wed, 11 Apr 2018 13:14:00 -0700

pgsql2shp -f -h -u -P databasename ""

Adicionando Foreign key e primary key no PostgresSQL

noreply@blogger.com (Ronaldo Andrade) — Fri, 16 Mar 2018 09:46:00 -0700

Alterando a coluna para não receber nulo

ALTER TABLE tabela ALTER COLUMN coluna SET NOT NULL

Adicionando uma primary key

ALTER TABLE tabela
  ADD PRIMARY KEY (coluna);

Adicionando uma chave estrangeira

ALTER TABLE tabela
ADD CONSTRAINT nome_relacao
  FOREIGN KEY (campo)
   REFERENCES tabela(campo);

Fazendo update de tabela no PostgresSQL com INNER JOIN

noreply@blogger.com (Ronaldo Andrade) — Fri, 16 Mar 2018 07:45:00 -0700

Para realizar um UPDATE com INNER JOIN é um comando muito simples :)

UPDATE tabela1 T1
SET campo = T2.campo
FROM tabela2 T2
WHERE (T1.campo2 = T2.campo2)

Listando arquivos por formato no ubuntu

noreply@blogger.com (Ronaldo Andrade) — Mon, 12 Mar 2018 13:15:00 -0700

sudo find . -type f -name "*.tif"

Listando Métodos de um objeto Javascript

noreply@blogger.com (Ronaldo Andrade) — Fri, 16 Feb 2018 09:25:00 -0800

Um método muito útil é o de recuperação de métodos disponíveis para um objeto javascript.

var obj = { locaMethod: function() { alert("hello"); }, a: "b", c: 2 };
for(var p in obj)
{
    if(typeof obj[p] === "function") {
     console.log(p);
    }
}

Gerando shapefile à partir de um Raster

noreply@blogger.com (Ronaldo Andrade) — Thu, 8 Feb 2018 09:33:00 -0800

Para gerar um arquivo shapefile tendo como base um shapefile basta o seguinte comando:

gdal_polygonize.py arquivo.tiff -f "ESRI Shapefile" arquivo.shp

Gerando Crop (clip) de um Raster com ShapeFile

noreply@blogger.com (Ronaldo Andrade) — Wed, 7 Feb 2018 11:00:00 -0800

De uma maneira simples, para gerar um clip de raster à partir de um shapefile.

gdalwarp -cutline INPUT.shp -crop_to_cutline -dstalpha INPUT.tif OUTPUT.tif

Micro servidor Web com Python

noreply@blogger.com (Ronaldo Andrade) — Tue, 19 Dec 2017 09:49:00 -0800

Um recurso bem simples para testar páginas web com python ou html. Basta digitar o comando na página onde contém suas páginas web.

python 2.7
python -m SimpleHTTPServer

Python 3
python3 -m http.server

Isso irá criar um micro servidor na porta 8000.

Chamadas assíncronas com GNU Parallel

noreply@blogger.com (Ronaldo Andrade) — Mon, 16 Oct 2017 12:19:00 -0700

Uma maneira bem simples de aproveitar todo o potencial do seu processador é criar chamadas em paralelo utilizando o GNU Parallel.

Instalando Parallel

sudo apt-get install parallel

Criar uma lista de comando txt com os scripts à serem chamados por ex: (R, Pyhon) já com os argumentos à serem passados
Abrir o terminal de comando e digite o comando:

parallel -j 8 < lista.txt (-j significa o número de núcleos da máquina para serem utilizados).

Tecle Enter e sua lista de scripts serão chamados de acordo com a lista em paralelo.

Converter TIFF para SHAPE

noreply@blogger.com (Ronaldo Andrade) — Tue, 13 Jun 2017 07:22:00 -0700

Uma função bastante útil é a geração de Shapefille à partir de um arquivo Tiff. Para isso usamos a biblioteca GDAL. Segue exemplo abaixo:

gdal_polygonize.py arquivo.tiff -f "ESRI Shapefile" arquivo.shp

Alterando coluna do Postgres para Timestamp

noreply@blogger.com (Ronaldo Andrade) — Thu, 20 Apr 2017 11:09:00 -0700

Para alterar o tipo de coluna de string por exemplo para timestamp no Postgres basta executar como exemplo abaixo:

ALTER TABLE tabela ALTER COLUMN coluna TYPE TIMESTAMP USING coluna::TIMESTAMP;

Download de E-Book na faixa!

noreply@blogger.com (Ronaldo Andrade) — Tue, 21 Mar 2017 11:46:00 -0700

Olá para todos!
Dando uma vasculhada na internet achei um site onde se pode baixar vários e-books na faixa, tem muita coisa boa, porém todos em inglês... mas vale muito dar uma conferida no material do site...
se ai o link:

http://www.computer-books.us/

Chamada de scripts R por linha de comando

noreply@blogger.com (Ronaldo Andrade) — Tue, 21 Mar 2017 11:45:00 -0700

Para executar uma chamada do script R por linha de comando basta executar como abaixo onde é chamado o script e passado alguns parâmetros:

Rscript --vanilla sillyScript.R iris.txt out.txt

Instalando pacotes R

noreply@blogger.com (Ronaldo Andrade) — Tue, 21 Mar 2017 11:12:00 -0700

Para efetuar a instalação de pacotes do R basta um comando simples, basta entrar dentro da plataforma R e digitar o comando abaixo:

install.packages('nome_do_pacote', dependencies=TRUE)

obs: No Ubuntu para instalar alguns pacotes é necessário instalar o OpenSSL para isso basta seguir os passos abaixo antes de instalar o pacote no R.

sudo apt-get -y build-dep libcurl4-gnutls-dev
sudo apt-get -y install libcurl4-gnutls-dev

Instalando R por linha de comando no Ubuntu

noreply@blogger.com (Ronaldo Andrade) — Tue, 21 Mar 2017 11:01:00 -0700

Para efetuar a instalação do R por linha de comando é necessário alguns passos simples:

1. Inserir a fonte na lista do Ubntu

sudo sh -c 'echo "deb http://cran.rstudio.com/bin/linux/ubuntu trusty/" >> /etc/apt/sources.list'

2. Criando uma chave para o registro

gpg --keyserver keyserver.ubuntu.com --recv-key E084DAB9

3. Adicionando a chave para o registro:

gpg -a --export E084DAB9 | sudo apt-key add -

4.Atualizando as fontes de dados:

sudo apt-get update

5.Instalando o R

sudo apt-get -y install r-base

Voilá! se tudo correu bem o R ja está instalado, para testar basta digitar na linha de comando a letra R, se o R se instalou corretamente a seguinte mensagem será apresentada:

Scape de string no PostGres

noreply@blogger.com (Ronaldo Andrade) — Tue, 25 Oct 2016 04:42:00 -0700

Para dar scape de string no Postgres é muito simples, segue exemplo abaixo:

select E'd\'agua';

Instalando o Gdal 2.1 no Ubuntu 16.04

noreply@blogger.com (Ronaldo Andrade) — Wed, 19 Oct 2016 14:58:00 -0700

Primeiramente baixe o instalador que pode ser encontrado AQUI

Após o download basta executar os seguintes comandos:

$ cd gdal-2.1.0/
$ ./configure --prefix=/usr/
$ make
$ sudo make install
$ cd swig/python/
$ sudo python setup.py install

Criando funções em R

noreply@blogger.com (Ronaldo Andrade) — Fri, 14 Oct 2016 10:56:00 -0700

#criando funções com valores de entrada padrão
soma_valores = function(x=0,y=0){
  return (x+y)
}
soma_valores()

Manipulando data em R

noreply@blogger.com (Ronaldo Andrade) — Fri, 14 Oct 2016 10:56:00 -0700

dta <- Sys.Date() #recuperando a data corrente

as.character(dta) #convertendo para string

dta2 <- as.Date("2016-04-30") #convertendo string para data

dtas <- seq(from = dta2, to = dta, by=1) # lista com sequencia de datas

dtaFormatada <- as.Date("07/Ago/12", format = "%d/%b/%y") #data formatada

dtaFormatada2 <- as.Date("2012-Agosto-07", format = "%Y-%B-%d") #data formatada

format(dtaFormatada, "%d") #recuperando o dia da data

format(dtaFormatada, "%m/%Y") #recuperando o mes e ano

range(dtas) #recuperando o range de datas envolvidas

dta3 <- seq(from = as.Date("2016-04-01"), to = dta2, by=1)

all(dtas %in% dta3) #verificando se todas as datas de um array está contido em outro

which(dtas %in% dta3) #verificando quais datas estão contidas em outro array

which(!(dtas %in% dta3)) #verficando quais datas não estão contidas dentro de um array

dtas[which(!(dtas %in% dta3))] #recuperando os valores das datas de quais não estão contidas dentro de um array

dtas4 <- dtas > as.Date("2016-05-05") & dtas <= as.Date("2016-05-15") #criando subset com comparativo de datas

Operações aritméticas com vetores em R

noreply@blogger.com (Ronaldo Andrade) — Thu, 13 Oct 2016 12:59:00 -0700

// Comment
#OPERAÇÕES COM VETORES
v1 <- 1:10="" 2="" de="" do="" multiplicando="" os="" por="" quadrada="" raiz="" sqrt="" todas="" um="" v1="" valores="" vetor="">= 3 #checando quais valores são maiores ou igual a 3

c(1,2,3,4) %in% v1 #verificando se determinados valores existem dentro de um vetor

c(1,2,3,4) * tail(v1,4) #pegando alguns elementos de um vetor e multiplicando dois vetores

c(1,2,3,4) * c(3,5) #multiplicando dois vetores

seq(from=10, to=100, by=0.5) #criando uma sequencia de números

vector(mode = "numeric", length = 2) #criando vetores em branco

vector(mode = "character", length = 10) #criando vetores de texto em branco

vector(mode = "logical", length = 3) #criando vetores de boleano em branco

rep(x = 22, times = 10) #criando vetor com valores repetidos
x = c(18, 0, 9)

rep(x, 3) #criando um vetor a partir da repetição de outro

v1[1:2] #recuperando elementos específicos de um array

v1[c(1,2,3)] 
v1[v1>1 & v1 < 4] #recuperando um intervalo de valores
v1[v1>4 | v1 < 10]

#Manipulando Vetores em R
a <- c(1:5)
b <- c(6,NA,7,NA,8,NA,9)
c <- c("1","2","5","6")

clean <- complete.cases(b) #filtra apenas os itens completos de uma array
is.na(b) #filtra apenas os objetos vazios de um array

b[clean] #filtrando os itens do array completos

Comparando geometrias dentro de uma área específica com PostGIS

noreply@blogger.com (Ronaldo Andrade) — Wed, 31 Aug 2016 07:55:00 -0700

Uma tarefa muito útil nos bancos de dados geográficos é a possibilidade de se comparar geometrias mesmo que seja virtualmente, no exemplo abaixo pode se comparar um ponto no exemplo com uma geometria que é gerada pelo operador st_envelope do PostGIS. No segundo exemplo tem executamos a mesma tarefa do primeiro porém comparando os valores min e max de X e Y.

1- SELECT x FROM table where geom && ST_MakeEnvelope(-85.994,-55.994, -32.994,10.005)

2- SELECT x FROM table
where (ST_X(geom) >= -85.994 and ST_X(geom) <= -32.994)
and (ST_Y(geom) >= -55.994 and ST_Y(geom) <= 10.005)

Exportando GEOJson do Postgis

noreply@blogger.com (Ronaldo Andrade) — Wed, 31 Aug 2016 07:21:00 -0700

Um recurso muito bom do Postgis é a facilidade de exportar um geojson diretamente pela consulta de sql, eliminando aquela tarefa um tanto quanto chata de utilizar o ogr2. Segue script abaixo, exportando um polígono para geojson.

SELECT ST_AsGeoJSON(ST_MakeEnvelope(-89.296875,-58.539595,-31.992188,13.068777),4326)

O exemplo da saída pode ser visualizado aqui.

Referência: http://postgis.net/docs/ST_AsGeoJSON.html

Criando rotinas python com crontab

noreply@blogger.com (Ronaldo Andrade) — Thu, 25 Aug 2016 05:46:00 -0700

Uma maneira de operacionalizar tarefas diárias com python é utilizando o recurso crontab do linux que executa tarefas de acordo com seus parâmetros.

O primeiro passo é adicionar na primeira linha do seu arquivo python o cabeçalho que o torna executável. obs(não fica mais necessário utlizar python script.py).

#!/usr/bin/env python2

O segundo passo é dar permissão do arquivo de ser executável, para isso utilizamos o chmod +x script.py

o próximo passo é abrir a ferramenta crontab utilizando o comando crontab -e, abrirá um editor de texto com as configurações das tarefas que você pode ter já configuradas. Para adicionar a sua basta ir até o final do arquivo e configurar seu script.

A sequência de execução do crontab é primeiramente o tempo de MM HH DM M DS caminho do script / script.py >> caminho do log de execução /log.txt 2>&1 REF: http://www.infowester.com/linuxcron.php

Voilá!, após estas configurações seu script será executado de acordo com a data configurada.

Filtrando um dicionário em python

noreply@blogger.com (Ronaldo Andrade) — Wed, 3 Aug 2016 07:51:00 -0700

Um recurso muito útil é filtrar um ou vários objetos dentro de um dicionário, segue abaixo os exemplos de filtragem de objetos de um dicionário pela key (índice) e valor.

Primeiramente nosso dicionário de exemplo:

dict = {'conc_co':'monoxido_carbono','conc_pm':'material_particulado','umid_ar':'umidade_relativa', 'tmp_ar':'temperatura', 'vento_dir':'vento_direcao', 'vento_vel':'vento_velocidade'}

Agora o filtro pelo valor do objeto:

dict2 = {k: v for k, v in prefixos.items() if v == 'vento_velocidade'}

O resultado de dict2 será:

{'vento_vel': 'vento_velocidade'}

Agora filtrando pela chave do objeto:

dict2 = {k: v for k, v in prefixos.items() if k == 'umid_ar'}

O resultado será:

{'umid_ar': 'umidade_relativa'}

Removendo espaços em branco de uma string com python

noreply@blogger.com (Ronaldo Andrade) — Wed, 3 Aug 2016 07:13:00 -0700

Uma função para remover espaços em branco de uma string à esquerda, direita ou totalmente em python.

Removendo todos os espaços em branco de uma string

s = "  \t a string example\t  "
s = s.strip()

Removendo os espaços à esquerda

s = s.lstrip()

Removendo os espaços à direita

s = s.rstrip()