Data and GIS tips

Classement du niveau de vie des départements: autre proposition de représentation

2012-01-22T04:17:00.000-08:00

Here is a new attempt of associating the rank of a department's life level with its spatial location. It illustrates the flexibility of R in merging maps with numbers.

Auparavant, afin de pouvoir associer le rang d'un département à sa localisation, je vous avais proposé une représentation figurant le classement sous forme de trajet.

Je vous en offre une autre qui est plus lisible selon moi. Sur celle-ci, le classement figure de part et d'autre et chaque département est colorié selon son classement, du bleu au jaune.

Avant, j'avais listé le classement du même côté et associé les couleurs aux lignes mais j'ai trouvé qu'avec la liste d'un même côté, les lignes formaient un amas assez confus. Aussi, la couleur associée aux lignes était inutile car la choroplèthe suffisait.

Une petite carte socio : niveau de vie des départements

2012-01-19T08:18:00.000-08:00

A sociological map: life level of each department in France.
This map is inspired by the work of Baptiste Coulmont on the richness of cities in France and by the work of Robert Kosara's ZipScribbleMaps on representing the order of zip codes on a map. It explains the process behind the creation of what I would call an "ordinal" map. Do you find this visualization interesting, boring, useful, useless? Don't hesitate to comment.

Carte de la prospérité en France

Il n'y a pas longtemps, je suis tombé sur cette carte de Baptiste Coulmont avec une représentation de la prospérité sur la France Entière. Cette carte assez remarquable a été relayée sur pas mal de sites, notamment liés au logiciel R.

La carte est le fruit du croisement entre les données géogaphiques GEOFLA et des données sur les revenus et salaires de l'INSEE. Ces deux données sont en libre téléchargement sur les sites de ces institutions.

Ce qui rend cette carte intéressante, selon moi, c'est:
- la thématique de la richesse/précarité qui est d'actualité en cette période de crise.
- la façon dont elle est représentée avec une palette de couleur divergente allant du rouge au bleu
en passant par le blanc, cette dernière couleur faisant office de "mer" entourant des îlots de prospérité ou de précarité
- le nombre de données représentées qui donne envie de s'y immerger et la rend fascinante, granuleuse, presque organique, protéiforme. Sur ce point, on pourrait faire un lien avec les travaux de Manuel Lima sur la représentation de la complexité.

En cartogramme

Un autre utilisateur s'est emparé du sujet pour réaliser, lui, un cartogramme continu, qui est une visualisation intéressante car l'idée de boursouflure, de gonflement fait appel à l'idée d'accumulation de richesses.

Je dirais qu'il faut faire attention avec ce genre de cartes car certains pourraient en tirer des interprétations fâcheuses en véhiculant facilement l'idée que certaines communes écrasent les voisines alors que ce n'est peut-être pas le cas dans la réalité.

Classement du niveau de vie

Ces cartes n'ont pas pour but de permettre de classer les communes à vue d'oeil: en effet, pourriez-vous me trouver la commune la moins prospère? Elles donnent un aperçu d'ensemble. Elles figurent les communes de façon discrète mais non ordinale.

L'idée de pouvoir classer les communes en fonction de leur niveau de vie tout en conservant leur géométrie m'apparut comme une piste à suivre mais avec 36000 communes, le cerveau du lecteur risquait de s'emballer quelque peu!

Le niveau d'agrégation départemental m'apparut plus correct pour ce genre de carte. Je me suis alors emparé des données INSEE correspondant au niveau de vie à l'échelle départementale, le niveau de vie étant défini comme le rapport du revenu disponible du ménage auquel appartient l'individu au nombre d'unités de consommation.

Comment représenter le classement d'un point de vue spatial?

Si l'on plaçait le rang de chaque commune en tant que libellé, on obtiendrait une carte assez illisible et le lecteur, une fois positionné sur le département plus riche, par exemple Paris, devrait chercher le département moins riche placé juste après.

Je me suis alors souvenu d'un article exposant un type de cartes appelées zipScribbleMap permettant de représenter l'enchaînement des codes postaux dans l'espace, ce qui faisait, du reste, apparaître les limites administratives.

Muni du logiciel R, je me suis alors livré à des expérimentations avec la même idée en tête. En voici les résultats.

Si l'on connecte les différents départements selon leur ordre dans le classement du niveau de vie, on obtient cela:
Finalement, le résultat reste encore confus du fait que les lignes se croisent et ne sont pas dissociables. Aussi, il serait nécessaire de repérer la première ligne mais ce serait chercher une aiguille dans une botte de foin (noir).

La même représentation avec de la transparence est encore assez médiocre.

Si l'on ajoute un code couleur à chaque ligne et qu'on ajuste la largeur en fonction de son classement, cela devient pas mal.

Il y a encore malheureusement beaucoup de lignes. D'ailleurs, il est peut-être préférable d'abandonner le rendu de largeur en fonction du classement.

En répartissant les lignes dans 4 quartiles différents afin de faciliter la lecture et après un petit coup de GIMP, on obtient une carte plus reposante intellectuellement (n'hésitez pas à me donner vos impressions via les commentaires si vous avez encore mal à la tête!)

Cliquer pour voir en grand et zoomer

Cette carte est juste une proposition. Je ne pense pas forcément qu'elle convienne pour détecter certaines tendances d'organisation spatiale. Là où elle est efficace, c'est pour suivre le cheminement spatial du classement du niveau de vie de chaque département:et répondre à une question telle que : "quel est le département à niveau de vie plus/moins élevé situé juste après celui dans lequel j'habite?"

[fr] Talend Chef d'Orchestre d'un Traitement Raster: Découpage du Cadastre par Commune

2011-12-31T04:15:00.000-08:00

Dans un précédent post, je vous avais fait part des possibilités offertes par Talend pour l'orchestration de traitements GDAL.

Ici, nous allons voir un cas d'étude bien particulier relatif à une chaîne de traitement raster visant à constituer de manière automatisée un ensemble de dalles cadastrales sur la région PACA, soit 963 dalles (car 963 communes).

Cela est réalisable via de la programmation, dans à peu près n'importe quel langage, mais l'avantage de Talend, que j'avais cité précédemment, est de ne nécessiter quasiment aucune ligne de code ainsi que de présenter les traitements de façon graphique, facilitant ainsi leur partage.

Les deux documents suivants présentent:
- pour le premier, la démarche et la méthodologie employée. Le synopsis final, assez grand, est au sein de ce dernier mais également sur cette page au format JPEG.
- pour le deuxième, une description plus technique des jobs au sein de Talend avec intégration des commandes GDAL via des copies d'écran afin de vous permettre de les reproduire.

N'hésitez pas à poser toute question éventuelle via les commentaires! J'essaierai d'y répondre.

Dû à la compression des fichiers lors de l'upload sur scribd, il se peut que certaines diapos soient difficilement lisibles. Dans ce cas, téléchargez les documents depuis le site (suivre les liens)

Découpage du Cadastre par Commune

Synopsis (cliquer pour voir en grand)

Découpage du Cadastre par Commune - Orchestration

[Feed #3] Data scientists, IKEA heat map, GDEM Aster, MapQuest Elevation Service, Spatial models of Peace, GeoKettle, and other things

2011-11-19T02:21:00.000-08:00

Harold Fisk's map of Mississippi River flooding over time, made in 1944

Here's a collection of articles I found on the net arranged by topics from the more general to the more technical.
Articles in French are listed afterwards.

HUMOUR

- Big Brother is watching you
http://gidivigo.com/maps/

- What your favorite map projection says about you
http://imgs.xkcd.com/comics/map_projections.png

RISE OF DATA SCIENCE

- The Economist on the explosion of Data
http://www.economist.com/node/15579717
http://www.economist.com/node/15557443?story_id=15557443

- Barack Obama's looking for Data scientists with preferred skill in R language
http://rdatamining.wordpress.com/2011/09/27/obama-recruiting-analysts-and-r-is-one-preferred-skill/

- Job trends for different keywords: "big data", "statistician", "data scientist", "R statistician", and R "data scientist". Maybe R is worth learning if you're looking for a job.
http://blog.revolutionanalytics.com/2011/07/growth-in-data-related-jobs.html

- About building a data science team
http://radar.oreilly.com/2011/09/building-data-science-teams.html
http://flowingdata.com/2009/06/04/rise-of-the-data-scientist/
http://www.drewconway.com/zia/?p=2378

INFORMATION GRAPHICS

- When mapping meets art
http://casualdata.com/senseofpatterns/
http://www.fastcodesign.com/1665126/gorgeous-vintage-floodplain-maps-that-look-like-modern-art

- More traditionnal maps of volcanoes' geology, but very pretty
http://www.wired.com/wiredscience/2011/11/geological-maps-of-volcanoes/

- IKEA heat map
http://infosthetics.com/archives/2011/09/a_visual_analysis_of_how_people_shop_in_ikea.html

- A realistic Manhattan map model
http://www.visualnews.com/2011/09/24/the-heaviest-map-ever-mini-manhattan-made-of-marble/
I think this creation can be connected to this project that makes people whose heritage is threatened participate around 3D model
[fr] http://www.slideshare.net/geoseminaire2011/notre-fort-notre-dignit-maquette-3d-et-revendication-territoriale?from=ss_embed

- Okay, my blog is mostly spatial but one must admit representing data on a map is not always the best solution
http://www.ericson.net/content/2011/10/when-maps-shouldnt-be-maps/

- About animated geospatial data
http://radar.oreilly.com/2011/10/animated-geo-data.html

- Unusual cartograms. I prefer these ones because geometries are not altered. I think I'll write an article on achieving a similar result in R.
http://indiemaps.com/blog/2009/10/classed-cartograms/
http://indiemaps.com/blog/2008/12/noncontiguous-area-cartograms/

- An interesting statistical representation. I think I'll give it a try with R using spdep package. I'll publish the solution in a future post
http://www.fastcodesign.com/1665327/infographic-if-7-billion-people-lived-in-one-city-how-big-would-it-be

- Metadata is almost always literal. Could we use a new term MetaMap, which would be metadata of a map synthetized as a map (Ouch, I have an headache...)
http://oegeo.wordpress.com/2011/11/13/openstreetmap-data-temperature-how-it-was-done-and-do-it-yourself/

- Crime rates as topographic maps: why not?
http://weburbanist.com/2010/09/17/criminal-contours-crime-rates-as-topographic-maps/

- Jack Kerouac Litteracy as wonderful information graphics
http://infosthetics.com/archives/2008/04/literary_organisms_jack_kerouac.html

- A website to understand maths by Apple designer Bret Victor. After all, designing information or whatever is all about making things simpler and accessible, isn't it?
http://worrydream.com/KillMath/

AVAILABLE DATA

- Tutorials and guidelines on how to participate to Open Street Map with this website
http://www.learnosm.org/

- Open Public Transportation Maps:
http://wiki.openstreetmap.org/wiki/Openptmap

- R and OpenStreetMap
http://www.r-bloggers.com/visualizing-gis-data-with-r-and-open-street-map/

- I'll soon publish a post comparing the newly available Digital Elevation Model GDEM ASTER and the Digital Terrain Model from the French National Geographic Institute using R
http://slashgeo.org/2011/10/26/ASTER-Global-DEM-GDEM-Version-2-Released-Significant-Updates

ABOUT MAKING MAPS

- Several techniques on making maps using free tools
http://flowingdata.com/2009/11/12/how-to-make-a-us-county-thematic-map-using-free-tools/

- Making maps with R
http://gislounge.com/making-maps-with-r/?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+gislounge+%28GIS+Lounge%29

- Another one on the same subject
http://www.nceas.ucsb.edu/scicomp/usecases/CreateMapsWithRGraphics

AROUND WEBSERVICES

- A webservice search engine, for example with keyword "geographic"
http://webservices.seekda.com/search?q=geographic

- Using MapQuest Elevation Service inside a script:
http://lin-ear-th-inking.blogspot.com/2011/10/using-web-service-for-elevation-from.html

- Always about MapQuest: no preset limit on Free Map API Transactions:
http://devblog.mapquest.com/2011/11/17/no-preset-limit-on-free-map-api-transactions/

- Always about web API services, here is a tutorial on how to map research hot spots using Google Maps API with R

http://spatial-analyst.net/wiki/index.php?title=Mapping_research_hot-spots

SPATIAL DATA ANALYSIS

- Using LIDAR in archaeology.
http://blog.lidarnews.com/lidar-and-landscape-archaeology?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+InTheScan+%28LiDAR+News%29&utm_content=Netvibes

- A nice resource if you wish to dig into spatial stats
http://geography.uoregon.edu/geogr/topics/index.html

- Spatial stats and models could help predict social violence and harmony. A study made for Switzerland.
http://www.wired.com/wiredscience/2011/10/peace-boundaries/

SOFTWARES

- workshops on developing OGC compliant web apps
http://workshops.opengeo.org/geoext/

- GRASS in the cloud
http://www.slideshare.net/lucadelu/grass-cloud

- Some PostGIS 2.0 cheat sheets. The main new functionalities of PostGIS are native raster support and topology functions.
http://www.bostongis.com/blog/index.php?/archives/179-PostGIS-2.0-Cheat-sheets-in-the-works.html

- On my blog, you'll find some resources about the spatial ETL Talend - Spatial Data Integrator. Here are some keynotes of another tool: Pentaho Based ETL GeoKettle from Spatialytics
http://www.spatialytics.org/geomondrian/foss4g-2011-presentation-%E2%80%9Cbuilding-professional-geo-analytical-dashboards-reports-and-apps-with-geobiext%E2%80%9D-now-online/
http://www.spatialytics.org/geokettle/foss4g-2011-presentation-geokettle-the-open-source-spatial-etl-tool-overview-new-features-and-roadmap-now-online/

[FR]ENCH ARTICLES

- Très bon article sur les bonnes pratiques et astuces pour l'administration et l'exploitation d'une base de données PostgreSQL / PostGis

http://www.portailsig.org/content/postgresql-postgis-bonnes-pratiques-et-astuces

- Je cherchais depuis longtemps un article efficace, progressif et pédagogique sur les expressions régulières. Je l'ai trouvé.
http://www.portailsig.org/content/la-recherche-d-elements-par-expressions-regulieres-rationnelles-regular-expression-preambule

- Toujours un article de Martin Laloux, la procédure pour télécharger les dalles du modèle numérique d'élévation GDEM ASTER
http://www.forumsig.org/showthread.php?t=32548

- Un document technique du Centre d'études sur les Réseaux, les Transports, l'Urbanisme et les constructions publiques sur la constitution et l'exploitation de données agrégées à la maille.
"Raster or Vector, that is the question"
http://georezo.net/blog/sigurba/2011/11/01/eloge-de-la-maille/

- Un guide de 260 pages sur les solutions opensource (300 solutions référencées) édité par la société Smile. N'hésitez pas à jeter un coup d'oeil à leurs livres blancs, notamment celui sur l'ergonomie de sites internets et le décisionnel opensource

http://www.smile.fr/Livres-blancs/Culture-du-web/Guide-de-l-open-source

- Un article intéressant sur l'infonuagique (Cloud Computing en anglais)
http://georezo.net/blog/geointerop/2011/11/15/cloud-computing-un-nouveau-defi-pour-la-geomatique/

- Saviez-vous que des Web Processing Services sur la BDCartage étaient disponibles? Plus d'infos ici:
http://geotraitements.eaufrance.fr/spip.php?rubrique40

- J'avais rédigé auparavant un document concernant une méthode d'analyse de l'évolution de la tâche urbaine.
Si ce sujet vous intéresse, ce document sur le modèle SpaCelle vous intéressera sans doute.
http://www.cairn.info/revue-espace-geographique-2003-4-page-357.htm

[fr] Journée QGIS - OSGEO 2011

2011-11-02T00:14:00.000-07:00

Il y a une semaine, le MEDDTL a abrité sous son Arche la journée OSGEO 2011 consacrée à l'outil Quantum GIS.

Cet évènement a une teneur symbolique puisqu'il témoigne de l'intérêt que portent les Ministères de l'Ecologie (MEDDTL) ainsi que de l'Agriculture (MAAPRAT) pour le logiciel libre en géomatique

Il s'agit probablement de la journée OSGEO qui a compté le plus d'agents du Ministère.

Vous trouverez ici un petit compte-rendu de la réunion. Il se peut qu'il comporte des erreurs ou des lacunes, donc n'hésitez pas à consulter en complément l'article de René-Luc sur la journée.

QGIS et PNR du Ballon des Vosges: QGIS en tant que serveur cartographique, Alizé Géomatique, société 3Liz

En discutant avec des géomaticiens lors de la réunion, je me suis rendu compte que la plupart ignoraient l'existence du serveur cartographique pourtant intégré depuis la version 1.6 "Copiapo" de QGIS. Il est vrai que la frontière entre logiciel de bureau et serveur n'est alors plus très nette et la présence du serveur au sein de QGIS est plutôt discrète.

Dans le cadre du PNR du Ballon des Vosges, il y avait besoin de mettre à disposition du public des cartes de qualité adoptant une sémiologie graphique bien précise.

Pour cela, la solution QGIS a très vite été envisagée. En effet, malgré des performances WMS assez faibles qui le placent derrière Mapserver et Geoserver, la puissance de QGIS en tant que serveur cartographique se situe plutôt au niveau de la conception des cartes car celle-ci s'effectue directement au sein de l'interface de QGIS avec l'application rapide d'une symbologie poussée.

Le projet .qgs devient alors l'équivalent du mapfile de Mapserver et sert alors à la fois pour une exploitation des données bureau et pour une diffusion internet. Il facilite en outre la construction de la carte finale en concertation avec l'équipe chargée de la conception graphique.

La société 3Liz a créé un plugin de synchronisation des données par FTP appelé Lizmap plugin et a conçu une interface web cliente basée notamment sur OpenLayers pour la consultation dynamique de la charte du Parc.

L'architecture de QGIS en tant que serveur cartographique a donc permis de confier la conception cartographique à une équipe sans nécessiter d'elle de connaissance géomatique particulière en terme de programmation ou d'administration de serveur cartographique. Le développement, lui, s'est concentré autour d'un plugin QGIS et de l'interface web cliente.

Ce projet montre le potentiel de QGIS comme plate-forme de diffusion cartographique sur un projet stratégique devant obéir à une charte cartographique bien particulière, ainsi que la combinaison, sur un projet unique, de savoir-faires multiples d'une société de SSLL spécialisée dans le domaine de la géomatique.

Le plugin LizMap devrait être diffusé au grand public, peut-être sous une version allégée.

--
Le PNR des Ballons des Vosges
http://www.parc-ballons-vosges.fr/

Configurer un serveur carto QGIS:
http://www.qgis.org/wiki/QGIS_Server_Tutorial

QGIS Web client:
http://www.forumsig.org/showthread.php?t=32190
https://github.com/qgis/qgis-web-client

Comparaison de performances de serveurs WMS:
http://www.slideshare.net/gatewaygeomatics.com/wms-performance-shootout-2011

Symbologie avancée:
http://linfiniti.com/2010/12/video-tutorial-1-creating-a-custom-railway-style/
http://www.sourcepole.com/svg-symbols-in-qgis-with-modifiable-colors

mini-SIG Edugeo QGIS, CampToCamp et Ministère de l'Education Nationale

Dans le domaine de l'enseignement, le projet de mini-SIG edugeo, nous a ensuite été présenté.

L'objectif de l'application était de fournir au milieu enseignant un moyen d'accéder facilement à un patrimoine de données à la fois géographiques et historiques, afin de servir de support à l'exploration du territoire ainsi qu'à son questionnement.

Le projet comporte selon moi deux composantes principales:

- La première, la plus fondamentale, concerne les bases de données mobilisées, au-delà des données référentielles Géoportail. Sur certains secteurs, il est possible de reconstituer un historique du territoire, et ainsi d'observer son évolution, ce qui place le projet aux confluents de la Géographie et de l'Histoire.

- La deuxième concerne la partie développement de l'outil. Une première nécessité était de pouvoir rapatrier aisément les données du GéoPortail avec une gestion transparente des DRMs, ce qui a été effectué via un plugin QGIS en lieu et place de l'outil traditionnel Java de gestion de DRM téléchargeable sur le Géoportail. Surtout, QGIS a constitué l'outil ad-hoc pour la réalisation d'une interface simplifiée. A noter que l'utilisateur a le choix au lancement de l'application de choisir la version complète de l'application.

Des cas d'usage ont été passés en revue qui faisaient interagir les élèves autour d'ouvrages fictifs telle la localisation idéale d'une infrastructure linéaire sur la base d'orthophotographies. On imaginait une participation forte des élèves grâce à une façon ludique et dynamique d'appréhender le territoire.

Des opérations spatiales telles que l'établissement de zones tampon ont même été employées par les élèves afin de modéliser des zones de bruit, à croire que les bureaux d'études peuvent désormais utiliser les compétences de collégiens!

On voit dans cet exemple que QGIS peut se plier à des exigences fonctionnelles très diverses, des plus simples aux plus sophistiquées. Aussi, selon moi, il révèle la piste reliant la cartographie aux actions citoyennes, si bien illustrées par les démarches OpenStreetMap.

Alors, la cartographie sera-t-elle un outil obligé du citoyen de demain? Le mini-sig edugeo y contribue sans aucun doute.

QGIS mobile et serveur, CG62

La sphère géomatique est en ébullition concernant le portage de technologies sur les smartphones et autres tablettes: cas d'OpenLayers Mobile, GvSIG Mobile.

Comme chacun le sait, l'évolution des technologies fait que celles-ci parviennent à s'exécuter sur de minuscules terminaux très appréciés en situations de mobilité.

QGIS a pu être porté avec succès sur Android mais comme la vidéo le montrait, une refonte de l'interface sera nécessaire afin de pouvoir correctement l'utiliser.

Ce portage qui consistera à modeler l'interface afin qu'elles s'adaptent aux écrans de taille modeste nécessitera un développement au coeur du noyau de QGIS assez difficile, mais qui pourra s'appuyer sur des tentatives déjà réalisées de simplification telle que celle effectuée sur le mini SIG edugeo. Le support du multi-touch pour se déplacer, zoomer sera également intéressant à implémenter.

En tout cas, il s'agit là d'un chantier pris en compte avec beaucoup de considération par l'équipe de développement de QGIS.

--
http://www.qgis.org/wiki/QGIS_Mobile_GSoC_2011
http://www.bernawebdesign.ch/byteblog/2011/08/21/qgis-android-works-2/

QGIS Processing framework, C-S

Un premier module important à avoir intégré QGIS a été l'outil GRASS.

Puis d'autres composants ont été couplés à QGIS tel que
- R avec ManageR de Carson Farmer qui consiste en l'intégration d'une console R au sein de QGIS ou SDA4PP qui donne accès à des fonctions sophistiquées de statistiques spatiales.
- plus récemment SAGA et ORFEO ToolBox

SAGA possède selon moi pas mal de relations avec GRASS tandis qu'Orfeo Toolbox s'attaque, lui, à l'univers de l'analyse d'images satellitales: segmentation, correction atmosphérique, etc... Je pense qu'à ce titre, le couplage QGIS-OTB est tout à fait révolutionnaire.

Au-delà des fonctions nombreuses qui sont implémentées s'est posée la question d'une interface unifiée, harmonisée afin d'exécuter les processus SAGA et Orfeo Tool Box. Cette dernière, appelée Processing ToolBox, aurait pour objectif final de pouvoir chaîner indifféremment des traitements issus de modules SAGA ou OTB

Pour aller plus loin, la question d'une modélisation de la chaîne de traitement par le biais d'une interface de conception graphique basée sur Vistrails où l'on piocherait les fonctions a été abordée. Cela m'a d'ailleurs mis la puce à l'oreille quant à la tentation de QGIS de devenir un ETL spatial, en-deçà d'un logiciel SIG, de statistiques, ou de serveur cartographique comme cela été vu précédemment.

Enfin, ce que l'on observe est une crédibilité accrue de Quantum GIS qui parvient à gagner la confiance de modules ambitieux à tel point que l'intégration de ces derniers à la visionneuse initiale PostGIS semble être un gage de qualité.

QGIS devient de plus en plus une sorte de glue qui rassemble, fédère et consolide autour de son noyau des projets prestigieux du libre issus de domaines très variés, ce qui lui assure de fait une assise stratégique de plus en plus solide.

--
http://wiki.orfeo-toolbox.org/index.php/Quantum_GIS_plugins
http://2010.foss4g.org/presentations/3655.pdf

QGIS MEDDTL MAAPRAT

Le Ministère de l'Ecologie porte une attention grandissante au logiciel Quantum GIS au point de s'en servir afin de rationnaliser son parc de licenses MapInfo.

Il souhaite pour l'instant le positionner entre l'interface de consultation cartographique web Descartes et l'outil de production de données historique MapInfo, en tant qu'exploratrice de patrimoines de données.

Les fonctions d'analyse ont été abordées via l'extension QSpatialite, dont l'ergonomie fait penser à celle de Sélection SQL de MapInfo. A ce titre, un document technique a été réalisé par Alain Ferraton, détaillant un mode opératoire pour analyser un ensemble de données MapInfo après les avoir importées dans Spatialite.

Au-delà des documents techniques, des guides de migration et des tutoriels, le MEDDTL compte aussi quelques développeurs de plugins qui ont agrémenté le dépôt du Miçnistère d'un total de 5 plugins. Ces derniers s'appuient sur l'infrastructure spécifique du MEDDTL afin de faciliter l'exploration du pool de données.

La réflexion concernant un financement du projet QGIS sur la base de crédits ministériels est en tout cas en cours. Le financement du projet, quelle que soit sa source, est un point sur lequel insistera d'ailleurs Paolo Cavallini tout au long de la journée :p

Financer QGIS, pourquoi et comment?, Société OSLANDIA

Il est important de soutenir le projet QGIS. Si vous l'aimez, il ne faut pas hésiter à contribuer, soit en développant, soit en mettant la main au porte-monnaie, aussi modeste soit le don.

Il existe plusieurs manières de soutenir QGIS, des plus simples aux plus compliquées. La société OSLandia a bien détaillé chaque type d'intervention avec ses avantages et inconvénients.

La présentation réalisée par Vincent Picavet a permis de dégrossir un sujet que la plupart ne trouveraient pas tellement attrayant. Malgré cela, il est nécessaire de s'y intéresser si l'on aime QGIS et si l'on souhaite qu'il avance.

Pour plus de détails, n'hésitez pas à consulter l'article concernant la journée QGIS sur le blog de René-Luc

Organisation et évolution du projet QGIS, Paolo Cavallini

L'étiquetage conditionnel devrait faire son apparition dans la prochaine version de QGIS. Hors, il s'agissait là d'une attente fonctionnelle du MEDDTL.

Aussi, la simplification de l'interface rendue possible avec la 1.8 est-elle attendue avec impatience car elle conditionne l'adoption de n'importe quel outil pour des agents novices ayant des besoins ponctuels (Keep It Simple, Stupid)

QGIS passera directement de la version 1.8 à la version 2.0

La question de la 3D ne semble pas être au goût du jour pour la 2.0. Pourtant, on se souvient d'une initiative avortée et pourtant assez alléchante via une extension nommée OGRE3D. Plus récemment, la société sourcepole avait présenté une solution de globe 3D développée au cours de la QGIS hackfest in Wroclaw. Apparemment, on devra encore se contenter de la 3D avec nviz dans GRASS avant une intégration dans l'interface dans une version ultérieure. On voit pourtant apparaître la 3D ici comme sujet au Google Summer of Code 2011.

La 2.0 comprendra un refactoring complet du code. Je prie l'équipe QGIS OSGEO ainsi que les lecteurs de ce post de m'excuser de ne pas avoir noté scrupuleusement toutes les nombreuses évolutions de QGIS 2.0.

QGIS en archéologie

Une présentation a été réalisée montrant l'utilisation de QGIS en archéologie.

Il s'agissait de géoréférencer des plans de fouille organisés selon un carroyage. QGIS a permis de constituer une véritable base de données archéologiques et des choroplèthes ont permis de visualiser certaines statistiques relatives aux unités de prélèvement.

Les web-services du BRGM ont été exploités afin de recueillir des données géologiques relatives aux différentes sites.

Durant la présentation, je me suis rendu compte que QGIS était utilisé à une échelle très fine, à l'échelle d'un site archéologique. Je me suis alors dit que dans ce cadre, une extension telle que Cadtools pouvait être utile afin de dessiner avec précision la configuration hypothétique du site en des temps anciens.

Enfin, l'auteur de la présentation a montré des bugs amusants qu'il avait pu capturer dans le composeur d'impression, à savoir une déformation de la légende prenant la forme aléatoire de papillon, de sapin de Noël ou même...de Batman. De cette façon, il a fait remonter sur un ton humoristique certains bugs relatifs à un logiciel qu'il juge à présent indispensable.

--
Cas de géoréférencement dans le domaine de l'archéologie:
http://bitingwires.blogspot.com/2011/01/guide-helmert-two-point-transformation.html

blog SIG & URBA - article "A la découverte de l'archéogéographie":
http://georezo.net/blog/sigurba/2011/10/25/a-la-decouverte-de-larcheogeographie/

D'Arcview3 vers QGIS dans une PME

Cette présentation a permis de démontrer la possibilité de migrer un parc conséquent de licenses propriétaires, en l'occurrence ArcView 3 vers un logiciel libre de géomatique dont le niveau fonctionnel était, selon les dires de l'intervenant, nettement supérieur aux licenses déjà installées.

L'intervention a été réalisée à la société Vectra. Chaque fonction utilisée auparavant par les employés sous l'ancien logiciel a trouvé son équivalent sous QGIS, ce qui a facilité le basculement.

L'opérateur de la migration a cependant éprouvé quelques difficultés à faire fonctionner un module qu'il aurait été très intéressant de valoriser, à savoir le plugin de Système de Référencement Linéaire

GPS en Direct et SDA4PP, Comité Interprofessionnel du Vin de Champagne

De l'archéologie à la gestion d'infrastructures routières, on passe maintenant à la protection des végétaux au sein du Comité Interprofessionnel du Vin de Champagne (hips!)

Ici, la localisation de plants présentant une certaine maladie (au nom sans doute barbare puisque je ne l'ai pas retenu) a été réalisée grâce au suivi GPS en direct intégré à QGIS.

Ensuite, les données ponctuelles ont fait l'objet d'une analyse statistique spatiale via le plugin SDA4PP (Spatial Data Analysis For Point Patterns). En l'occurrence, le calcul réalisé était celui permettant de déterminer le caractère spatial aléatoire ou non de la localisation de la maladie (G and F function), sans doute en préalable d'une analyse plus fine du phénomène afin de détecter un foyer potentiel de contamination.

Cet exemple d'utilisation est intéressant puisqu'il met en lumière l'utilisation d'un outil unique pour deux fonctions de niveau radicalement différent: d'un côté, le rassemblement de données terrain, de l'autre, leur analyse via des statistiques spatiales habituellement utilisées dans les milieux de la recherche, en l'occurrence en épidémiologie.

QGIS constitue ici à la fois un outil de collecte et de décision.

--
Suivi GSP en direct:
http://clubgeomatique.agorah.com/clubgeomatique/index.php/portail-membres/sig974bertrandbouteilles-menu/392-faire-un-lever-gps-avec-qgis.html

Au sujet de la notion de Complete Spatial Randomness:
http://en.wikipedia.org/wiki/Complete_spatial_randomness

spatstat::Gest function:
http://www.stat.ucl.ac.be/ISdidactique/Rhelp/library/spatstat/html/Gest.html

Plugin d'accès aux métadonnées MDLINK, UMR ADES du CNRS

On voit de plus en plus de plugins liés aux méta-données dans QGIS, parmi lesquels QGIS Metadata Editor ou bien l'extension Metatools

Cette présentation a introduit un plugin de méta-données sans lien avec les extensions pré-citées. Cette extension a nécessité un développement spécifique afin de s'appuyer sur un catalogue de données en ligne pré-existant.

Le principe de l'outil est de pouvoir facilement ouvrir les fiches de description issues de ce catalogue relatives aux couches chargées dans QGIS.

Atlas pompier OSM, Gaël Musquet ,président d'OSM France

Gaël Musquet a réalisé, de sa propre initiative, la cartographie des hydrants sur l'ensemble de la commune de Lambesc.

C'est sur la base d'un matériel que tout particulier peut se procurer (à condition d'un minimum d'investissement) qu'il a conduit cette campagne de cartographie, en concertation avec l'équipe de pompiers de sa commune.

Cette démarche rentre dans le cadre de la mobilisation d'outils de diffusion ainsi que de bases de données issues de la cartographie citoyenne. Elle s'inscrit dans la gestion de situations de crise. A ce propos, rappelons qu'Open Street Map a montré une grande efficacité dans la gestion de crises humanitaires comme celle en Haïti. Gaël est à ce titre un des co-fondateurs de CrisisCamp Paris

Il a enfin pu présenter un résultat d'exploitation de ces données mettant en évidence les habitations vulnérables localisées à plus de 200 m d'un hydrant. Le bâti utilisé pour se faire est celui du parcellaire dont l'import vectoriel dans OSM a été réalisé en grande partie sur l'ensemble du territoire français.

Cette intervention qui est du fait d'un seul homme est une démonstration, belle, et surtout efficace, du potentiel de la cartographie citoyenne, à la fois dans un objectif de collecte et dans un rôle d'information des acteurs concernés.

Les travaux d'un citoyen peuvent être utiles pour les quelque 8500 habitants de la commune de Lambesc. Alors, si on s'y mettait tous, quel serait le résultat?

--
OpenData:
http://ecrans.fr/OpenStreetMap-le-wiki-distribue,13069.html
Cartographie 2.0 : le grand public, producteur de contenus et de savoirs géographiques avec le web 2.0 : http://cybergeo.revues.org/24710

OpenData et missions humanitaires:
http://www.grotius.fr/open-data-gestion-de-crise-et-action-humanitaire-le-%C2%AB-web-humanitaire-%C2%BB-est-deja-une-realite/
http://owni.fr/2011/08/28/un-corridor-humanitaire-de-donnees-ouvertes/

OSM et crise en Haïti:
http://www.3liz.com/blog/rldhont/index.php/2010/01/18/327-openstreetmap-et-haiti-la-force-d-une-communaute
http://www.ecrans.fr/Haiti-Mobilisation-autour-d-une,8961.html

On the road with R & Grass: Intervisibility along Lines

2011-10-14T06:30:00.000-07:00

While drinking a glass of french Ricard (a famous drink from Provence) with Bertrand Bouteilles (see his blog) , a colleague of mine, the latter asked me if I knew a method to calculate the line-of-sight from a line. Usually, we calculate LOS from one XYZ observation points but I had not found any resource on the web for line.

He wanted to define how long you would see each part landscape if you were on a train, watching constantly through the window. Personally, I would sleep most of the times on long travels or I'd probably go at least once to the toilets.

Reciprocally, as the notion of intervisibility implies, such an analysis will tell you from where the railroad infrastructure will be the most visible. It gives the impact of it on landscape perception.

The problem was interesting, I took the challenge to give it a try.

More complex approaches integrating land covers could tell you when to sleep and when not to sleep (when the landscape is rich or when not), or whether you should book a seat on the left or right part of the train. That's what we could analyse in future posts of "On the Road"

I imagined Jack Kerouac being some kind of geogeek. He'd try to precisely prepare a travel by determining locations that would give him contemplative restfulness by watching the fugitive beautiful landscapes. That's why I correlated this post with the book "On the Road" by Jack Kerouac who used to catch trains to get from one place to another across the USA.

So, here is how Jack Kerouac would have prepared his travel from his meditation mountain to an hypothetic geo-R conference held in san Francisco.

This script will be helpful if you'd like to familiarize with R / GRASS. Don't worry, the different steps will be explained afterwards.

library(rgdal)
library(maptools)
library(spatstat)
library(spgrass6)
 
####################
### READING DATA ###
####################
track <- readOGR(".", "railroad")
track <- as(track, "psp")
 
#########################
### GENERATING POINTS ###
#########################
# every 50 meters (dem resolution)
pts <- pointsOnLines(track, eps=50)
 
################################
### GRASS REGION CONFIGURING ###
################################
# EXTENT
xrange <- as.character(c(pts$window$xrange[1]-5000, pts$window$xrange[2]+5000))
yrange <- as.character(c(pts$window$yrange[1]-5000, pts$window$yrange[2]+5000))
 
# CONFIGURING
execGRASS("g.region", flags = "p", parameters = list(rast = "mnt50", w = xrange[1], s = yrange[1], e = xrange[2], n = yrange[2]))
 
# GRID CREATING & GETTING THE NUMBER OF CELLS(for further programming)
grd <- gmeta2grd() 
ncells <- grd@cells.dim[1]*grd@cells.dim[2]
 
#######################################
### GRASS LINE-OF-SIGHT CALCULATION ###
#######################################
# POINT XY COORDINATES
coords <- cbind(as.character(pts$x), as.character(pts$y))
 
# GRID VALUES INITIALIZATION before LOOPING
sumV <- rep(0, ncells)
 
# LOOP
for (i in seq(1, pts$n)) {
  # GRASS LOS CALCULATION
  execGRASS("r.los", parameters = list(input = "dem50", output = "los", coordinate = coords[i,], obs_elev = 2, max_dist = 2500), flags = c("overwrite"))   
  los <- readRAST6("los")
  values <- ifelse(is.na(los@data[[1]]), 0, 1)
  sumV <- values + sumV
}
 
# 0 VALUES TO NA
sumV[sumV==0]<-NA
save(sumV, file="sumV.RData")
 
#############################
### MAPPING DATA TO GRID  ###
#############################
sgdf <- SpatialGridDataFrame(grd, data = data.frame(sum=sumV))
 
# EXPORT DATA FILLED GRID TO TIFF
writeGDAL(sgdf["sum"], "trackLos.tiff", drivername="GTiff", type="Float32"

Created by Pretty R at inside-R.org

Here is the result:

This image show the locations on the landscape from where the infrastrructure is the most visible, and conversely, the elements of the landscape that are the most visible from the railroad

Here are some little explanations of some parts relative to the code:

They key command is r.los which is a line-of-sight raster analysis program.
r.los input=string output=string coordinate=x,y [patt_map=string] [obs_elev=float] [max_dist=float] [--overwrite]
For more details on r.los

####################
### READING DATA ###
####################
track <- readOGR(".", "railroad")
track <- as(track, "psp")
 
#########################
### GENERATING POINTS ###
#########################
# every 50 meters (dem resolution)
pts <- pointsOnLines(track, eps=50)

This part reads railroad.shp then coerces the SpatialLines object to a psp object so that it can be processed by pointsOnLines spatstat function. pointsOnLines will create a point every 50 meters along the line. 50 has been chosen because it corresponds to the dem resolution.

################################
### GRASS REGION CONFIGURING ###
################################
# EXTENT
xrange <- as.character(c(pts$window$xrange[1]-5000, pts$window$xrange[2]+5000))
yrange <- as.character(c(pts$window$yrange[1]-5000, pts$window$yrange[2]+5000))
 
# CONFIGURING
execGRASS("g.region", flags = "p", parameters = list(rast = "mnt50", w = xrange[1], s = yrange[1], e = xrange[2], n = yrange[2]))

Here we configure a region which extent is the track extent extended with 5 kilometers because we'll have to calculate LOS at each extremity of the track line also. The extent must be transmitted as String to g.region

# GRID CREATING & GETTING THE NUMBER OF CELLS(for further programming)
grd <- gmeta2grd() 
ncells <- grd@cells.dim[1]*grd@cells.dim[2]
 
#######################################
### GRASS LINE-OF-SIGHT CALCULATION ###
#######################################
# POINT XY COORDINATES
coords <- cbind(as.character(pts$x), as.character(pts$y))
 
# GRID VALUES INITIALIZATION before LOOPING
sumV <- rep(0, ncells)

grd is a SpatialGrid object created from GRASS region paramemters: extent and resolution. ncells is the number of cells (nrows * ncols) We create a vector of values of same length as the number of cells and filled with 0 values.

# LOOP
for (i in seq(1, pts$n)) {
  # GRASS LOS CALCULATION
  execGRASS("r.los", parameters = list(input = "dem50", output = "los", coordinate = coords[i,], obs_elev = 2, max_dist = 2500), flags = c("overwrite"))   
  los <- readRAST6("los")
  values <- ifelse(is.na(los@data[[1]]), 0, 1)
  sumV <- values + sumV
}
 
# 0 VALUES TO NA
sumV[sumV==0]<-NA

We launch Line-Of-Sight calculation for each point, and each value of the raster derived from the observation of an individual XYZ point is added to that of the previous point, recursively.

# 0 VALUES TO NA
sumV[sumV==0]<-NA

0 values of the raster are replaced by NA to provide transparency

sgdf <- SpatialGridDataFrame(grd, data = data.frame(sum=sumV))
 
# EXPORT DATA FILLED GRID TO TIFF
writeGDAL(sgdf["sum"], "trackLos.tiff", drivername="GTiff", type="Float32")

We export the result to tiff.

Here are some useful links:
http://en.wikipedia.org/wiki/Jack_Kerouac

http://cran.r-project.org/web/packages/spgrass6/index.html
http://grass.osgeo.org/wiki/R_statistics
http://www.stanford.edu/~cengel/spatialanthro/archives/R_GRASS_Spatial.pdf

[fr] http://dit-archives.epfl.ch/FI01/fi-sp-1/sp-1-page51.html
[fr] http://www.osgeo.org/ojs/index.php/journal/article/viewFile/113/93

[Feed #2] PostGIS 2.0, WPS Shoot-out, Spatial Analysis, GeOps or easy editing with OpenLayers,...

2011-09-23T01:19:00.000-07:00

Spatial Analysis

Here is a very good and complete resource I found dealing with different aspects of spatial analysis.
>> http://www.spatialanalysisonline.com/output/

A scientific article about topological models and frameworks for 3D spatial objects
>> http://www.gdmc.nl/zlatanova/thesis/html/refer/ps/sdarticle.pdf

Softwares

Spatial Business Intelligence is gaining a lot of interest as more and more
data is being geolocated. To deal with this huge mass of data, we need efficient tools. GeoKettle is the equivalent of Talend Open Studio Spatial Data Integrator from pentaho distribution.
>> http://www.spatialytics.org/projects/geokettle/

You can also see my presentation of Talend SDI and my article about Business Intelligence

Web Development
On many forums, we can see questions about editing spatial objects in OpenLayers. GeOps aims at facilitating editing features by providing a simple framework for this purpose. Also, wen can note an increasing interest in Leaflet, an OL-like API that people seem to find easier to use than OL
>> http://ole.geops.de/#features

Web Services

Without any doubt, you know WMS and WFS. These protocols don't transmit complex operations, which is the goal of WPS, for Web Processing Service. With WPS, you configure spatial processes that a user can launch remotely on a server. Processes can be designed using GRASS modules for example.
Here is a WPS Shoot-out that will present you different WPS opensource solutions and compare their performances. The latter are PyWPS, deegree, 52 N, ZOO Project, Geoserver, Constellation
>> http://how2map.blogspot.com/2011/09/wps-shootout.html

In French, you could have a look at this article that explains how to configure a WPS service under Windows
It's an adaptation for Windows, of this initial article from Laurent Jégou.

Data Base Management

This pdf presents you in a technical way the new stuff and concepts introduced in PostGIS 2.0. Mostly, the new features concern raster management and topological concepts for areal data.
>> http://www.postgis.us/downloads/FOSS4G2011PostGIS20NewStuff.pdf

The flags below don't indicate I'm a Nationalist but that I introduce articles I found in french websites

Données
Tout le monde en convient: la divergence de nos référentiels cadastraux pose de nombreux problèmes et les inimitiés opposant les spécialistes de deux univers différents n'arrangent pas les choses. La conscience des enjeux d'une convergence est bien présente, ce qui est déjà un bon point.
>> http://georezo.net/blog/parcellair/2011/09/19/la-convergence-diplomatiqu/

Logiciels
L'avantage des outils opensource est la personnalisation qui suit le credo du DIY (Do It Yourself). La personnalisation a souvent pour motivation la simplification qui suit le leitmotiv KISS (Keep It Simple, Stupid). Voici un article intéressant d'Yves Jacolin sur la personnalisation de QGIS.
>> http://georezo.net/blog/geolibre/2011/09/20/personnalisation-de-qgis-presentation-de-quelques-methodes-simples/

Feed #1 foss4G, OpenAerialMap, QGIS & GvSIG,...

2011-09-16T07:02:00.000-07:00

Events

- FOSS4G, a major event for the Open Source GIS World. A little review here
>> http://slashgeo.org/2011/09/15/FOSS4G-2011-OpenData-OpenLayers-Mobile-Nodejs-Mapnik-OpenAerialMap

- Web services, clouds...but no need to buy a plane to reach them...During FOSS4G, a nice application has been presented implementing WPS (Web Processing Service) through the implementation of ZOO API project. It gives an idea of the dynamics of web GIS applications development and the possibility of realizing some web apps that are similar to desktop ones
>> http://www.mapmint.com/index.php?page=mapmint-modules

Data

- Ok, everybody knows OpenStreetMap but have you ever heard of OpenAerialMap?
>> http://www.openaerialmap.org/Main_Page

- Always about OSM, interesting examples can be found about the use of Open Geo Data for humanitarian goals below: Haïti, Tunisia, Philippines, Japan...
>> http://slashgeo.org/2011/09/12/State-Map-2011-Mapping-OSM-humanitarian-goals

- [in French] If you're working in an organism that deals with spatial planning, this blog is worth watching.
>> http://georezo.net/blog/sigurba/

Softwares

- It's been a while since my comparative analysis of QGIS and GvSIG. For something more recent look here:
>> http://gis.stackexchange.com/questions/13509/qgis-and-gvsig-comparison

- Are you a QGIS perfectionnist mapping artist? If yes, have a look here
>> http://www.sourcepole.com/svg-symbols-in-qgis-with-modifiable-colors

[fr] Autour de la tâche urbaine

2011-08-31T05:15:00.000-07:00

Dans le document suivant intitulé "Autour de la tâche urbaine", je vous propose d'explorer différents aspects de la représentation d'évènements dans l'espace et dans le temps, en l'occurrence ici l'évolution de la construction sur une commune côtière de Provence, puis de qualifier la morphologie urbaine de communes par le biais des statistiques spatiales.
Pour l'instant, seule la partie concernant la représentation spatio-temporelle est disponible. La deuxième consacrée à la typologie de formes urbaines sera disponible prochainement.

[R] Buildings on Google Earth : from 2D to 3D

2011-05-16T09:09:00.000-07:00

As I discover the marvels of (geo)R world, I found out this article (link)

It explains how to generate KML files from meuse, the source dataset delivered with sp package, using R software.

In the tutorial, KML files are created from scracth, writing each line of it.OGR driver only gives access to the options name and description (rdgal driver). So, "brute coding" may be necessary if you want to control other elements: color, heights for extruded objects...

Many people would like to visualize some buildings in 3D in google. The reference data that we have for buildings is often plain but there usually is a column specifying the height of each building. For example, for the french BDTOPO, the HAUTEUR column.

On the web, I found an arcScript for this but no opensource pre-built script or software.

Reading the article of the above mentioned tutorial called ploting 3D points gave me the idea to develop an R script for this purpose - which wasn't so difficult, indeed.

Here is the complete script:

# import rgdal library which contains all necessary drivers
library(rgdal)
 
 
# shp import
 
buildings<-readOGR(dsn="C:/buildings.shp",layer="buildings")
 
 
#variable initialization
 
zColumn<-"HEIGHT"
 
 
filename<-"buildings.kml"
 
 
#header writing
 
write(paste("<?xml
 
version=\"1.0\" encoding=\"ISO-8859-1\" ?><kml
 
xmlns=\"http:#www.opengis.net/kml/2.2\"><Document><Folder><name>buildingsge</name><Schema
 
name=\"buildingsge\" id=\"buildingsge\"></Schema>",
 
sep=""), filename)
 
 
#objects creation through a loop
 
for (x in 1:length(buildings@polygons)) {
 
 
write(paste("<Placemark><name>",
 
buildings@data$ID[x],
 
"</name><Style><LineStyle><color>7fbcbcbc</color></LineStyle><PolyStyle><color>7fbcbcbc</color></PolyStyle></Style><ExtendedData><SchemaData
 
schemaUrl=\"#buildingsge\"><SimpleData name=\"nature\">",
 
buildings@data$NATURE[x],"</SimpleData></SchemaData></ExtendedData><Polygon><extrude>1</extrude><altitudeMode>relativeToGround</altitudeMode><outerBoundaryIs><LinearRing><coordinates>",
 
sep=""), filename, append=TRUE)
 
 
# polygon coordinates injection
 
coordsPol<-paste(buildings@polygons[[x]]@Polygons[[1]]@coords[,1],
 
buildings@polygons[[x]]@Polygons[[1]]@coords[,2], buildings@data[[zColumn]][x],
 
sep=",")
 
write(coordsPol, filename, append=TRUE)
 
 
write("</coordinates></LinearRing></outerBoundaryIs></Polygon></Placemark>",filename,append=TRUE)}
 
 
# tail writing after exiting the loop
 
write("</Folder></Document></kml>",filename,append=TRUE)

Created by Pretty R at inside-R.org

Notes:
Here, I preferred to condense all the elements (<Placemark>, <coordinates>, etc...) in one line. Yet, it's not optimized for reading. One may prefer individualizing each line by as many write() occurrences as elements like in the spatial analyst tuto.

writing

write("text",filename, append=TRUE)

is used to write the file from scratch

paste function
It's used in order to concatenate several string elements

Placemark name

buildings@data$ID[x]

each bulding is identified by its ID as extracted from the buildings shapefile.

Coordinates

buildings@polygons[[x]]@Polygons[[1]]@coords[,1]

is the X coordinate of the xth polygon

buildings@polygons[[x]]@Polygons[[1]]@coords[,2]

is the Y

buildings@data[[zColumn]][x]

accesses the zColumn value for the xth polygon/building.

Additional info

<ExtendedData<SchemaData
schemaUrl=\"#buildingsge\">\"nature\">",
buildings@data$NATURE[x],"

will pop up the NATURE column value when clicking on an element (church, city hall, ...)
If you'd like to understand the functions of some KML elementsn check the KML reference guide:
http://code.google.com/intl/fr/apis/kml/documentation/kmlreference.html

[Rasters in QGIS] Generate a Vector Grid with Average Slope Values

2010-12-08T18:27:00.000-08:00

Operations:

Slope: DEM Layer.tif=[QGIS/Raster Based Terrain Analysis]=>slope.tif=>[r.in.gdal]=>slope
Grid: [QGIS/Vector/Research Tools/Vector Grid]=>grid.shp=[v.in.ogr]=>grid=>[v.to.rast]=>grid
Crossing Grid and Slope: grid*slope=[r.average]=>gridSlope=[r.to.vect]=>gridSlope=[v.out.ogr]=>gridSlope.shp

Open your DEM Layer

Here, we applied a pseudo-color table

Slope Raster creation
First, create a slope map using raster-based Terrain Raster Analysis Plugin

Here is the result with pseudo-color table

Import your raster
Use r.in.gdal

Vector Grid Creation
Create a grid covering your area of interest
Vector > Research Tools > Vector Grid

It generates a grid shapefile with an ID Colum which is unique

Here, the grid covers the slope map

Import your grid
v.in.ogr

Rasterize your grid using ID Column
v.to.rast.attr
The ID attribute will become the cell's category

Set the region on your rasterized vector grid

Generate an average slope grid using the two existing rasters
r.average
" r.average - Finds the average of values in a cover map within areas assigned the same category value in a user-specified base map. "

Remember that each square area of the rasterized vector grid has a unique category as it corresponds to the previous ID attribute of the vector grid

Here is the result:

Vectorize your average slope grid
r.to.vect.area

Here, we labeled the generated vector using the cat column. Each number represents the average slope in each cell.

Export it to shapeFile (optional)
v.out.ogr

--
Remarks:
Slope could have been created using r.slope.aspect within GRASS instead of using QGIS plugin
You could apply the same procudure using features instead of a grid. For example, you could get the average slope touching and/or surrounding some urban areas in the context of a Terrain Movement study

[Talend SDI] 2 very simple , yet useful operations

2010-11-22T02:26:00.000-08:00

Here, we'll see how to sort features by area and how to remove duplicate features.

Sort features by area

Here is an example of layer I got. The representation is not convenient for printing as small features are partially or totally covered by bigger ones. So, I'd like small features to be on the top.

Here is the job in SDI:

1-Automatically generate the schema of the shapefile

2-Configure the input shapefile component
In the shema, choose the one you automatically generated.

3-Create an AREA column with the area of each feature

In the expression, type
GeometryOperation.GETAREA(row1.the_geom)

4-Sort features by area
Choose an ascendant order so that the biggest features will be in the indexed first

5-Generate the output shapefile

Here is an example of output result:

Remove duplicates

If you aggregate a workspace file with a base file without taking precautions, you could get a layer with duplicate features in it.

In this image we set transparency so as to enhance duplicate fatures.

You'd like to clean up this file, removing the duplicate features.

I's very simple to accomplish in Talend SDI:

--
Here, we reviewed two very simple operations in Talend SDI, yet very easy to create.
They are very simple to accomplish on a PostgreSQL/PostGIS Database but not very handy on flat files like shapeFiles. In this case, Talend/SDI is very useful.

Here is the link if you wish to download the spatial ETL Talend/SDI:
http://www.spatialdataintegrator.com/

[fr][QGIS/GRASS] Importer le MNT de l'IGN

2010-09-09T03:10:00.000-07:00

Ici, nous allons voir comment importer le Modèle Numérique de Terrain de l'IGN dans QGIS/GRASS et comment visualiser le résultat dans le visionneur 3D NVIZ

Modification de l'en-tête du MNT d'origine
Le MNT de l'IGN se présente sous la forme d'un fichier à extension .asc comme ASCII

Si l'on ouvre le fichier dans un éditeur de texte, on trouve l'en-tête suivant qui donne la résolution, le nombre de colonnes/lignes composant, ainsi que les coordonnées X Y du coin bas gauche du raster:
ncols 3441
nrows 5401
xllcorner 1157987.50
yllcorner 6101987.50
cellsize 25.00
NODATA_value -9999

Pour être importé dans GRASS, le fichier .asc doit posséder la structure d'en-tête suivante:
cols: 3441
rows: 5401
west: 1157987.50
south: 6101987.50
north: 6237012.50
east: 1244012.50

Les éléments à calculer sont l'abcisse Xmax de l'extrêmité gauche (east) ainsi que l'ordonnée de l'extrêmité haute Ymax (north) du raster.

Le mode de calcul est très simple. Le voici:
east=ncols*cellsize+xllcorner
Ici:
east=(3441*25)+1157987.50
et pour north:
north=nrows*cellsize+yllcorner

En résumé, voici la correspondance entre l'ancien en-tête et le nouveau:
cols: ncols
rows: nrows
west: xllcorner
south: yllcorner
north: nrows*cellsize+yllcorner
east: ncols*cellsize+xllcorner

Une fois cela fait, enregistrez le MNT sous le nom
MNT_GRASS.asc par exemple

Import du fichier ASCII
Dans QGIS, ouvrez les outils GRASS et activez le module r.in.ascii.

Entrez les paramètres suivants:

Visualisation dans NVIZ
Une fois cela fait, vous pouvez visualiser votre MNT via le visionneur NVIZ mais avant le lancement de NVIZ, assurez-vous d'avoir bien défini votre région: l'étendue ainsi que la résolution de la zone d'intérêt à étudier..

Ici, nous avons utilisé la palette de couleur par défaut pour les rasters d'élévation. Il s'agit de la table de couleurs rainbow.

Drapage d'orthophotos, de scans
Je vous recommande fortement de lire le document suivant écrit par Martin Laloux qui traite des résolutions de raster dans NVIZ, dans les cas où l'on souhaite draper une orthophoto, un scan...
http://www.portailsig.org/content/grass-gis-region-resolution-resolution-3d-drapage-ou-l-apparente-quadrature-du-cercle

Ici, nous avons appliqué la méthode décrite ci-dessus en interpolant le MNT à la résolution 0.5 de l'orthophoto puis ayant appliqué la table de couleurs de l'orthophoto.

La valeur de fine a été fixée à 0.5, résolution de l'orthophoto.

--
Plus d'infos sur le traitement de rasters d'élévation, NVIZ:
r.in.ascii
r.resamp.interp
NVIZ

[GRASS] Aerial Image + Shaded Relief => Shaded Aerial Image

2010-09-02T05:43:00.000-07:00

Sometimes, one might find the relief feeling given by an aerial image a little poor. You could also find that the moment the photo was taken doesn't enhance the right elements of the relief.

One solution is to use a raster elevation to integrate a shaded relief to an aerial image.

Used modules

Prerequisites
This assumes that you already have in your mapset:

the aerial image: ortho
the elevation raster map: MNT. This article explains you how to import MNT (for french readers)

And that your GRASS region is positioned on your area of interest:

g.region rast=ortho

Creating the shaded relief

r.shaded.relief map=MNT shadedmap=MNT.shaded altitude=80 azimuth=60 zmult=1 scale=1

Combining the aerial image with the shaded relief
Here, we use the aerial image and use the intensity of the shaded relief so as to get a modified aerial image.

r.his h_map=ortho i_map=MNT.shaded g_map=ortho.shaded.green b_map=ortho.shaded.blue r_map=ortho.shaded.red

The areas of the aerial image covered by dark areas of shaded relief will get darker but those covered by white areas will remain closely the same.
That's why the choice of altitude is important during the r.shaded.relief step. Using a low altitude parameter will cause the horizontal areas of the final image to be dark. We chose a value close to 90 (mid-day time), so as to enhance the horizontal areas.

Combining the different color raster maps of the shaded aerial image
As the shaded relief aerial image has been generated in 3 different rasters maps, we have to merge them.

r.composite green=ortho.shaded.green blue=ortho.shaded.blue red=ortho.shaded.red out=ortho.shaded

Here's the result:

Here, the feeling of relief that has been added is very light. Play around the azimuth and altitude parameters to get the appropriate aspect for your map.

Note: All the operations have been performed from QGIS, sometimes from the GRASS QGIS Shell. If you use GRASS and not QGIS, this operation is unnecessary. When displaying the aerial image under GRASS, just choose "Drape Map". However, you may find an interest in applying this method under GRASS if you want to output the result...

[fr][MAJIC] Intégration OpenSource des Fichiers Fonciers

2010-07-22T08:28:00.000-07:00

On peut lire beaucoup de fils de discussion dans les forums géomatiques traitant de l'extraction des données MAJIC comme celui-ci: http://georezo.net/forum/viewtopic.php?id=53811
La lecture de ces données, leur exploitation nécessitent des compétences particulières. Ainsi, certaines structures font appel à des prestataires ayant de l'expérience dans l'intégration de ces fichiers et/ou font l'acquisition de solutions le plus souvent propriétaires.

L'objectif de la série d'articles qui viendra est de:

vous présenter les fichiers fonciers MAJIC, leur structure
et surtout, de vous décrire comment procéder gratuitement à leur intégration à l'aide de Talend Open Studio, solution ETL OpenSource.

Présentation des fichiers fonciers
Voici un aperçu du contenu du CD ROM des fichiers fonciers:

On retrouve:
-l'ensemble des fichiers fonciers à la racine
*.NO748
-la liste des communes concernées LISTE_DES_COMMUNES.HTM
-le dossier DESCRIPT dans lequel on retrouve la documentation associée à chaque fichier.

Notons que pour les néophytes, la présentation des fichiers peut prêter à confusion comme ils ne possèdent pas d'extension. Un ajout de l'extension .txt vous permettra de les ouvrir automatiquement dans votre éditeur de texte préféré.

Structure des fichiers
Si l'on ouvre un fichier foncier, on retrouve cette structure (représentée de façon schématique):

Les fichiers source MAJIC sont de type positionnel, c'est-à-dire que chaque champ/colonne est déterminée par une position au nombre de caractères.

La structure de la plupart des fichiers fonciers est irrégulière dans la mesure où ces derniers peuvent contenir plusieurs types d'informations appelés articles revenant cycliquement au sein du fichier. Une ligne peut représenter un article, la suivante un autre article. Le nombre d'articles par fichier est variable. L'exemple ci-dessus serait celui d'un fichier foncier possédant 3 articles. Par exemple, le fichier des propriétés non-bâties NBAT en contient 4 (sans compter l'article direction commun à tous les fichiers).

Transformation des fichiers source
Peu de logiciels permettent de traiter et d'exploiter directement des fichiers de type positionnel.
Les formats les plus courants d'exploitation statistique sont les formats délimité, Excel/Calc ainsi que ceux de SGBDR tels que PostgreSQL. En l'état, les fichiers source MAJIC sont donc difficilement exploitables.
Une fois transformés dans les formats les plus couramment utilisés, il devient alors possible d'exécuter des requêtes spécifiques et donc d'exploiter pleinement les données. Les interrogations seront beaucoup plus poussées et plus faciles à exécuter sous un SGBDR comme PostgreSQL que sous Excel. C'est pourquoi la plupart du temps des prestataires proposent une intégration au sein d'un SGBDR.
Pour autant, nous verrons qu'il est tout à fait possible, dans Talend Open Studio, de procéder directement à des requêtes sur les fichiers source de type positionnel.

Etapes de traitement
Avant d'exploiter les données, il apparaît tout d'abord nécessaire d'effectuer quelques traitements.
Dans un premier temps, nous allons séparer un fichier foncier en autant de fichiers qu'il y a d'articles. Il y aura donc un fichier par article. Chaque fichier obtenu sera de structure homogène, contrairement à avant.
Article1

Article2
Article3

Une fois ce traitement réalisé, nous serons en mesure de transformer les fichiers source obtenus en fichier délimité et/ou procéder à leur intégration au sein d'un SGBDR (nous utiliserons ici PostgreSQL).

L'intérêt du fichier délimité est qu'il est ouvrable dans un logiciel Tableur comme OpenOffice Calc ainsi que dans les logiciels SIG courants.

Logiciels d'intégration existants
L'annexe du guide du CERTU mentionne, parmi les solutions d'intégration, le logiciel Feature Map Engine ainsi des macros ayant été développées sous Excel. La société veremes a développé une extension spécifique facilitant l'exploitation des données MAJIC dans FME.
Le tableau comparatif comprend deux solutions gratuites: les macros excel citées ci-dessus ainsi que l'application GISMeaux développée par le Pays de Meaux. Le développement de scripts Perl pour traiter les fichiers fonciers est gratuit, lui aussi, mais il demande des compétences fortes en programmation avec toutes les problématiques de maintenance que cela peut poser.
Talend Open Studio est une solution ETL opensource, assez similaire à FME, qui ne figure pas dans ce tableau. Elle fournit à l'utilisateur une interface de modélisation graphique des processus qui se substitue à l'écriture fastidieuse de lignes de code. Derrière, du code Java ou Perl est généré, sans que l'utilisateur n'ait à s'en préoccuper.
En plus de l'intégration, TOS permet d'effectuer un contrôle qualité des données: identification des doublons, de champs non renseignés, d'incohérences. De plus, l'implémentation de composants de Slow Changing Dimension permet de suivre l'évolution des données dans le temps, par exemple d'une année à une autre.
Spatial Data Integrator ajoute la composante spatiale à TOS. Il permet de générer des fichiers plats géographiques ainsi que d'importer les données MAJIC géolocalisées directement dans PostgreSQL/PostGIS.
En somme, il est tout à fait possible de procéder à l'intégration de la matrice cadastrale sans surcoût financier lié à l'acquisition d'un logiciel.

Les prochains articles vous décriront les opérations d'intégration sous le logiciel Talend Open Studio/Spatial Data Integrator.

Spatial Data Integrator, a spatial ETL - General Presentation and Use Cases

2010-03-27T05:40:00.001-07:00

This presentation is a translation of the related post

In the context of the Geomatics Community Meeting Day organized by the French Ministry of Environement, Sustainable Development and the Ministry of Agriculture, I was invited to present the ETL Spatial Data Integrator.

I've tried to translate this presentation in english to share it to the largest public as possible.

The presentation contains many screen prints of processes. It's been made in a didactic way so that you can recur the processes on your computer. Even if you don't practice, I hope you'll get an idea of some posibilities offered by a spatial ETL.

Good reading!

Spatial Data Integrator - Software Presentation and Use Cases

View more presentations from mathieuraj.

1st post of the year!

2010-01-06T03:03:00.000-08:00

I wish to all of you a happy new year. My best wishes for 2010!
I then want to thank everyone for consulting my blog. It's a pleasure to share knowledge amongst the OSGeo community.
I hope you have the same pleasure reading this blog that I have while reading other blogs on the web.
The OSGeo world is so active I discover new things every day!

I wrote the first article on the 17th of March 2009.
The post was about the power of an opensource GIS software as QGIS in an organization and announced a content strongly oriented on Open Source Softwares. It was an honor to see this post mentioned on RL D'Hont's blog, a very popular geo blog.
Since then, I tried to feed my blog regularly, with around 1 post per month.

Though French, I wanted to write this blog in english to allow the great majority of people to access its content, while practicing my english (I don't have this opportunity in my current job).
I was very surprised to see that people from all around the world consulted datagistips. I must admit I didn't expect that! That's one power of the web to make knowledge accessible to every one.

I often like to look at some statistics of consultation. These are the ones from the birth of the blog till now:

Let's have a closer look:

- The fact that France is at the top is not surprising: some articles are still in french, like the one about spatial data integration that I plan to translate.
- USA and Canada are then on the list, not surprisingly.
The fact that India has counted more visitors that United Kingdom and that it is in the "top 10" quite astonishes me!
- The same for Brazil that counts more visitors than European countries like UK and Belgium.
It reflects a global interest, not restricted to certain parts of the world. It kind of motivates me keeping on publishing.

I still have many ideas about posts that would potentially raise your interest. The use of Business Intelligence in geographical contexts gets more and more famous. I'll keep on writing some articles about this domain. You'll find some tips/tutorials about controlling data (quality, etc..), a critical function in all organizations, because it is strategic and time-consuming.
Also, I'm sure you'd like to read articles about Web developing. I've got some ideas of posts about programming with OpenLayers, jQuery.

Anyway, whatever you are interested in, if your concerns are about data and GIS, stay tuned!

Best,

Mathieu

One simple example of using GDAL/OGR together with Talend or how to get rid of scripts

2009-12-04T08:29:00.001-08:00

In this post, you can replace any mention to Talend by Spatial Data Integrator as this latter software is an extension of the initial Talend

One goal of some ETL tools like Talend is to avoid writing multiple and complex lines of code and speed the conception and execution of integration processes. All the operations are designed in a workspace. The administrator picks the components he needs from a palette and links them. Behind, Java or Perl lines of code are generated but the casual administrator wouldn't need to read nor modify these lines. Somewhat, Talend offers a graphical and friendly way for programming.

Spatial Data Integrator is just Talend to which spatial components and functions have been added. The java libraries behind are GeoTools, Java Topology suite and Sextante. Despite the richness of functionalities, you won't find some components needed for some specific operations. In particular, Talend SDI doesn't support as many formats as OGR. Therefore, you can't convert your files between some specific formats. Besides, in Talend SDI, for the conversion case, it requires knowing the structure of your files (called schemas) in advance. It's a prerequisite that limits massive format-converting.

Happily, Talend is flexible enough to allow the administrator to enrich the application with additional Java libraries and to launch command line tools. Talend will allow you to easily integrate GDAL/OGR operations inside complex processes with only one line of code. Actually, depending on the utility, it's the single line of code one is supposed to know.

Many people ask on forums how to use GDAL/OGR over a series of files, for instance how to convert a bunch of ESRI files into KML Files. The given solutions require knowing some elements in shell or batch scripting. Depending on the case, the script could become quite big, thus difficult to maintain (even more when considering one sometimes copies-pastes the lines of code without really understanding them).

Let's look at the solution given by Tim Sutton, a well-known developer in the OSGeo world, to convert a directory of tiffs to ecw. The SHP to KML script would look alike.

#!/bin/bash
mkdir ecw
for FILE in *.tif
do
BASENAME=$(basename $FILE .tif)
OUTFILE=ecw/${BASENAME}.ecw
echo "Processing: ${BASENAME}.tif"
if [ -f $OUTFILE ] #skip if exists
then
 echo "Skipping: $OUTFILE"
else
 /usr/local/bin/gdal_translate -of ECW -co LARGE_OK=YES $FILE $OUTFILE
fi
done

As you can see, skills in programming are obvious.

Designing the conversion process in Talend is quite easy as it uses only two components. The first one lists the files inside a folder and the second applies the OGR2OGR command over each of them. This case is one of the simplest example of integrating GDAL/OGR command line tools in Talend.

Let's examine the job:

Let's look at the tFileList component:

No explanation needed: just looking at the component properties is explicit enough, far more than multiple lines of code.

Now, let's look at the tSystem properties in which we launch the OGR2OGR command:

The command is the following one:
"ogr2ogr -f \"KML\" "+((String)globalMap.get("tFileList_1_CURRENT_FILEPATH")).replace("SHP","KML")+" "+((String)globalMap.get("tFileList_1_CURRENT_FILEPATH"))

((String)globalMap.get("tFileList_1_CURRENT_FILEPATH")) is the complete ESRI file path returned by the tFileList component. You access this global variable by typing the Ctrl-Space shortcut.
((String)globalMap.get("tFileList_1_CURRENT_FILEPATH")).replace("SHP","KML") is the complete ESRI File Path in which we replace "SHP" by "KML". The KML file will be generated in the same folder as the ESRI GIS files.
\" escapes the " character.

This job gives you the main principle for using a command line tool like GDAL/OGR together with Talend. You could do the same with gdalwarp, gdal_translate commands. As the method is mainly graphical and intuitive, it's easier to develop and to maintain than a shell or batch script. This kind of operation could get more complex when being part of a job that includes other Talend SDI components.

The possibility of transmitting the result of a command to other components can lead to powerful processes, complex, yet at the same easy to improve and maintain. We'll see one example of command outputting in a future post.

[fr] Présentation de Spatial Data Integrator, logiciel d'intégration de données SIG (mais pas que..)

2009-10-06T09:04:00.000-07:00

The powerpoint below will be translated in english soon

La réorganisation de l'Etat, notamment la fusion des services Déconcentrés, fait ressortir un large spectre de problématiques liées à la gestion de patrimoines de données. En rapprochant des personnes, des activités, c'est des infrastructures qu'il faut faire converger.

Tout l'enjeu consiste à maîtriser l'accroissement de la quantité de données, à homogénéiser les formats de stockage qui pouvaient être différents d'une structure à l'autre et à normaliser les méthodes de documentation et de traçabilité des données (qui pouvaient se faire via des fiches de méta-données).

La mutualisation des patrimoines de données, et des méthodes, est un élément qui affectera de manière importante l'appréciation que l'équipe de pilotage fera quant à la qualité de la fusion. Elle sera perçue comme stratégique et fera l'objet de beaucoup d'insistance.

Dans ce contexte, et parce que les délais sont courts, les équipes chargées de l'administration et de la valorisation des données doivent faire preuve d'une grande réactivité. La facilité avec laquelle elles pourront répondre au besoin d'unification est néanmoins tributaire des moyens disponibles. Il est donc essentiel qu'elles disposent de solutions clé en main leur permettant d'intervenir efficacement sur le système d'information décisionnel de leur structure selon la démarche projet qu'elles auront adoptée.

Lors de Journées Nationales du Réseau Géomatique qui rassemblaient des acteurs et responsables SIG du Ministère de l'Ecologie, de l'Energie, du Développement durable et de la Mer ainsi que du Ministère de l'Agriculture et de la Pêche, je fus invité à présenter une de ces solutions: Spatial Data Integrator, logiciel d'intégration de données géographiques(...mais pas que).

C'est le diaporama de cette présentation que je vous propose. En voici son articulation:
-Dans un premier temps, l'outil est présenté assez rapidement...
-...pour passer à une démo simple mais néanmoins utile qu'est la gestion des rejets lors de la jointure d'un fichier excel et d'un fichier géographique...
-...puis enfin, 4 cas d'utilisation sont abordés qui sont bien sûr transposables hors du domaine de l'Administration

Le présentiel comporte de nombreuses copies d'écran issues du logiciel qui vous aideront à reproduire les jobs.

[MAP-MEEDDM] Présentation Spatial Data Integrator

View more presentations from mathieuraj.

Business Intelligence and Geospatial BI opensource softwares

2009-07-02T13:04:00.000-07:00

The increasing amount of numeric data makes it difficult to control, to master.
The abundance of formats: excel files, XML, data stored in databases like Oracle, MySQL, PostgreSQL can be constraining.
Human intelligence is not sufficient to solve complex cases where many parameters must be taken into account.

Quoting Wikipedia, "Business Intelligence refers to skills, technologies, applications and practices used to help a business acquire a better understanding of its commercial context. Business intelligence may also refer to the collected information itself".
Note that even if there is Business in this term, BI is not only used in commercial and economic contexts.

Here are some goals of Business Intelligence:
- Breaking the barriers between formats so as to proceed joins, crosses, and building homogeneous infrastructures. We also need good performance in data treatment, its quantity being huge.
- Giving us direct and graphical informations for what we need. These selected informations are usually displayed through graphs, reports and dashboards.
- Helping us in making good decisions. Putting dimensions into data, not only relations, allows instaurating hierarchical relationships between them. It refines our analysis and helps us prioritizing our actions. On Line Analysis Processing reflects this approach.
- Synthetizing. The use of complex algorithms, statistic techniques will uncover patterns or even predict phenomenons that wouldn't have been "macroscopically" detected by a human being. That's what we call data mining.

This schema was taken and translated from piloter.org, a french reference portal on business performance management. It illustrates the different components of Business Intelligence.

Globally, BI divides itself into two main domains: integration and valorization. Integration is at the top of the BI chain. It consists in collecting and storing data while valorization aims at distributing and exploiting it.

In the opensource world, two integration tools distinguish themselves: Pentaho and Talend.

kettle, a component of pentaho, a complete BI suite.
Talend is developed by a french company. It was awarded "company-to-watch" by the Intelligent Enterprise Magazine.

Integration tools are also called ETL for "Extract, Transform and Load" :

Extract: they read many data sources
Transform: they can apply treatments to data, convert them between different formats
Load: they include "write" features

The advantage of kettle is that it's part of a complete BI suite. The other modules of pentaho are Mondrian, an OLAP server, Pentaho reports, Pentaho DashBoards, Pentaho Weka for data mining.
Talend provides connectors to many valorization tools like PALO, Jaspersoft or SpagoBI. It integrates itself well in a complete BI environment. The Jaspersoft Suite includes Talend, where it's been renamed JasperETL.

OpenSource BI softwares are still young but they gain more and more popularity amongst big companies.

Geographical data is like any kind of data. To add the geographical dimension to a standard set of data, you would just add a geometry column describing the graphical properties of each row. While you can compare strings between them, proceed mathematical operations on numbers, what you can perform on geometry are intersections, union, splitting, difference,...

Integrating the geographical dimension to the ETL tools raised the interest of
the GIS societies and Community. Geopolitics, geomarketing are some domains in which we would use Spatial OLAP analysises and geographical reports. Also, they would be useful to face some contemporary issues like the understanding of how migrations of population are correlated with climate change.

In the opensource geospatial BI world, we can distinguish two integration softwares.

GeoKettle is based on Kettle by Pentaho. It was developed at the canadian Laval university by the team of Dr Badard.
Spatial Data Integrator is based on Talend and developed by CamptoCamp, a famous french geospatial company.

The advantage of GeoKettle is that it is part of a complete geospatial BI suite, as Kettle is. The other components of the suite are GeoMondrian, a spatial OLAP server and Spatialytics for navigation into SOLAP data cubes and dashboards.
The complete geospatial BI suite based on Pentaho will be presented at the Foss4G 2009.

Here is a set of operations you can accomplish with a spatial ETL:

Transform a complete folder of shapefiles into PostGIS Tables
Mass Coordinate Reference System transforming
Joining multiple data sources, like a MySQL Table with a geographic File.
Geographical Data quality control.

Globally, spatial ETL tools will help you build and maintain a solid spatial data infrastructure very fast and efficiently.

Most of the next posts of this blog will deal with Spatial Data Integrator. I haven't tested GeoKettle but what I can say is that SDI is really friendly to use. Even if SDI is not part of a complete geospatial BI suite, nothing prevents you from using the canadian geospatial valorization tools GeoMondrian and Spatialytics in addition to it.

Freemind tip: explore and edit your XML Files

2009-06-18T08:06:00.000-07:00

More and more, we use XML files to store data.

The XML file format gives structure to data in a hierarchical way. Thanks to its validation rules, the compliance of data can be checked. Most development languages allow parsing them in order retrieve a specific data.

Here are some examples of XML-based Files in the GIS World:

KML, aka Keyhole Markup Language has been developed by google.
GML, geographical markup language.
GeoRSS, the RSS files with embedded location data.
SLD, Styled Layer Descriptor, which permits advanced map renderings.
getfeatureinfo request responses returned by a WMS server.

You can read XML files in your web browser but it turns out to be limited and very static.
With Freemind, you can add metadata to nodes like web links, notes, which can be useful if you'd like to collaborate on an XML file before releasing a final version of it.
Also, you can highlight some nodes, add some markers (icons for example), things that are helpful when you start learning a specific XML-based format.

Freemind and XMLs

Freemind is used to represent and organize ideas in a hierarchical, dynamic and graphical way. The Freemind files are XML-based files with a .mm extension.

Let's take the case of an SLD file. Its structure is rich and complex. I'd like to comfortably explore it before editing it. Freemind will ease navigation through it. Here are the steps to import our SLD file in Freemind.
The operation is valid for any XML files, so you can do it for KMLs.

1 -I open my SLD file in a text editor and I copy all the text

2 - Then I simply paste it in FreeMind. Here is the result:

As you can see, my initial linear text has been rendered in a tree-structured way, which is much more readable and attractive. it's much more comfortable to edit as well.

By default, after pasting your text, all your nodes are unfolded. You'd surely prefer to get all your nodes folded and unfold only the nodes you want.
To fold all the nodes, just pass your cursor over the root node and select in the navigation item > "fold all the nodes".

Now, you can use FreeMind features:

zooming, automatic folding and unfolding.
add nodes, edit nodes
take notes,
add attributes, icons...
attach web links to nodes
filtering your nodes by their icons or attributes.

To export your mindmap to an XML:
1 - select the node you want, most often the root node, press copy
2 - then paste in a text editing tool. Now you've got your xml. Note that the icons and attributes you added in Freemind have no consequences on the content of your XML but beware of the "note" nodes you might have added. These ones will be considered as XML nodes.

FreeMind is a pretty efficient for taking notes.
One goal of Freemind is to implement a mode in which people would collaborate on a common file over the internet.

Unexpected Uses of OpenLayers

2009-06-05T08:17:00.000-07:00

As I went through the websites listed in the OpenLayers Gallery, I was surprised of some unexpected uses of the javascript library. Discovering them made me enthusiastic. I decided to make a post about these strange maps...

Here is the collection I noticed. If you have some more, why not sharing them!

Mathematics : Mandelbrot Fractal Browser

With this project, you can navigate through a mandelbrot fractal frame.
You can zoom in or out. All along your navigation, you won't get lost in this infinity of forms thanks to the overview map.
OpenLayers was obviously the most convenient technology for this kind of displaying.
This website makes intelligent use of the resolution configuring, the zooming capabilities and ergonomic characteristics of OpenLayers.

Biology : Genome browser

What if, in the same manner as above, you could explore the genome?
That's what this website allows you to accomplish.
The coordinates are, here, replaced by the base pairs position and each genome's area is georeferenced.
A click on a region triggers the display of its characteristics.
Really nice!

The code is avalaible on google code. If you're curious about it, check it out here.

Gaming : Pentamino puzzle

This website demonstrates extensive use of OpenLayers' Vector Capabilities.
The build of such an interface is a real technical challenge.

Communication : Rosetta Project

The rosetta project aims at building an archive of all the languages in the world.
A very rich image representing the Earth with languages labels emerging from the continents helps you find your way in this tremendous collection.
With such an attractive and interactive homepage, you want to go deeper into the subject.

These examples show localization in fields where it wasn't expected.
It shows some very clever uses of OpenLayers. For some of these applications, one might have first thought of other technologies like Flash, but as we can see, the light-weight OpenLayers library really does the business good.

Talend Case Studies

2009-05-27T14:32:00.000-07:00

Talend is a powerful data integration opensource software.
The offical website includes a section with some clear, printscreened tutorials that let you explore the major functionalities.
The PDF documentations: user and components reference guide (in french and english) are really complete.
In the components reference guide, you'll find scenarios for each component.
Also, some webinars are animated live during which some Talend users from different organizations (public, private) explain how they use Talend. The webinars are still accessible in the webinar archives part.

Like for every software, the best thing is to practice. To approach all the software's potentials or even to figure out what could be processed, case studies are really helpful. So, it's a good news Talend published a case studies PDF. You'll probably find it useful to see how organizations used Talend in some ambitious business intelligence projects where data integration and orchestration were some prerequisites.
http://www.talend.com/document-download.php?doc=practosdi2fr&src=AdDeveloppez_may09

From GIS File Management to DataBase Management with PostgreSQL/PostGIS

2009-05-15T03:51:00.000-07:00

One goal of data Integration is to collect data from an organization into a single location.
One common difficulty for the data integrator is the spread of data that makes it difficult to locate.
Another one is to keep the data structure and unicity, even when data is centralized.

PostGIS/PostgreSQL is a very interesting and convenient datawarehouse for hosting an organization's pool of geographic Data:
-Fist of all, it is opensource, very well-documented.
-It takes advantage of the contributions of a growing community; PostGIS will soon support raster with the WKTRaster project.
-When you access PostGIS files through applications like QGIS, you guarantee the user a quick access to data; you can prevent him from modifying the data structure like the names, the types of the fields : this way, it maintains your data quality
-Automatic Processes can be performed on the server-side thanks to triggers. It's useful for historization : imagine automatically adding the current date, the user name when inserting / updating data.
-Roles and permissions are easily manageable and more fine-grained and versatile than ACL rights on a server. Whereas server's ACLs only allow you to give or revoke permissions on accessing/reading/writing a file, with PostgreSQL, you can grant privileges on reading (viewing), inserting, updating and deleting values.

All these elements contribute in easing Data Management, ensuring its quality.

Let's consider I managed to gather a tremendous quantity of geographic files in a set of folders ,now the question is: how to migrate my data into my PostgreSQL/PostGIS Database?
Assuming a database is equivalent to a folder and a database table to a GIS File, I'd like to get a database structure which would be as compliant as possible with the initial folder tree structure.

In the next posts, I'll detail two ways to get our database "skeleton", each one leaning on a delimited file with the databases' names. The first way uses a DOS Batch File, the second the ETL (Extract, Transform and Load) software Spatial Data Integrator.

PS: you can transform GIS Files into PostGIS tables, but it's also reversible: you can convert PostGIS Tables into GIS Files.

QGIS routine: get the attribute values of selected features

2009-04-26T09:46:00.000-07:00

Here, we'll learn how to access the values of a layer's selected features.

The retrieval of these values deserves many uses:
Statistics:
-some aggregation operations like sum, average, whatever...

Actions:
-Opening a picture related to a ponctual object
-Opening a web browser which URL includes one or more attribute values

Outputs:
-Export the values of selected features in a PDF report
-Opening a spreadsheet with these values so as to make graphs.

Notice: most of the actions mentionned above can also be accomplished using the QGIS actions that you access through the layer's properties.

Here is the QGIS routine that will allow you to access the attribute values of the active layer's selected features:

>>> myLayer=iface.activeLayer()
>>> objects=myLayer.selectedFeatures()
>>> objets.attributeMap()
>>> object=objects[0]
>>> attributes=object.attributeMap()
>>> attributes[0].toString()
"Bonifacio"

>>> objects=myLayer.selectedFeatures()
it returns a list of the selected objects
>>> attributes=object.attributeMap()
This attributeMap() method allows you to get the attribute values of the object you considered, in our case, the first one (object=object[0]).
It returns a dictionary which each key is an auto-incremented number. Notice that, unfortunately, the key is not the attribute name.
>>> attributes[0].toString()
Each value of the attributes is QString object. The method toString() makes it readable for the user. Here, we get the the first attribute's value.

Most often, you would combine the previous "attribute name" routine with this one.