SNail IT

Tip PENTAHO: comment modifier les traductions de l'interface Jpivot?

2013-06-14T10:09:00.005+02:00

Voilà une astuce qui va être utile pour les développeurs et administrateurs de pentaho qui ont mis en place les pivots jpivot.

Vous avez surement remarqué comme les traductions étaient des fois limites? Par exemple, la fonction dans la barre des outils de jpivot qui permet de supprimer les lignes vides a été traduite en "Opprimer les lignes blanches":

Pas très compréhensible tout ça...

Et bien, il y a un moyen pour y remédier, c'est de faire sa propre traduction.

Pour cela, il va falloir modifier directement la librairie jpivot:

Allez dans biserver-ce/tomcat/webapps/pentaho/WEB-INF/lib et choisissez le fichier jpivot-XXX.jar

Ouvrez-le avec votre gestionnaire d'archives préféré , puis allez dans le répertoire

com/tonbeller/jpivot/toolbar/resources

Là dedans vous allez trouver l'ensemble des fichiers de ressource qui servent à l'affichage des tooltips dans la barre des outils. Ouvrez le fichier resources_fr.properties

nano resources_fr.properties

puis modifiez la ligne suivante :

toolb.non.empty=Opprimer lignes blanches

par :

toolb.non.empty=Supprimer lignes vides

Il n'y a plus qu'à enregistrer le fichier de propriétés dans le jar et redémarrer PENTAHO et le tour est joué.

PENTAHO/JPIVOT: erreur à l'export Excel ou PDF

2013-06-13T16:44:00.001+02:00

Maintenant que votre pivot est affiché, vous avez peut-être envie de l'exporter sous Excel pour retravailler les données.
Pour cela vous utilisez le bouton bien connu :

Sauf qu'au lieu de récupérer l'export vous êtes confronté à une erreur du style :

mai 25, 2005 12:26:18 PM org.apache.catalina.core.ApplicationContext log
SEVERE: StandardWrapper.Throwable
java.lang.NoClassDefFoundError: org/apache/fop/configuration/Configuration
at com.tonbeller.jpivot.print.PrintServlet.init(PrintServlet.java:71)
at org.apache.catalina.core.StandardWrapper.loadServlet(StandardWrapper.java:1173)
at org.apache.catalina.core.StandardWrapper.allocate(StandardWrapper.java:809)
../..
Caused by: java.lang.ClassNotFoundException: org.apache.fop.configuration.Configuration
at org.apache.catalina.loader.WebappClassLoader.loadClass(WebappClassLoader.java:1645)
at org.apache.catalina.loader.WebappClassLoader.loadClass(WebappClassLoader.java:1491)
... 14 more

Tout cela est dû au problème de compatibilité descendante entre les dernières version de PENTAHO et jpivot.

Alors que PENTAHO intègre la dernière version de la librairie apache FOP, jpivot ( qui n'est plus maintenu depuis des lustres) utilise une version, disons-le, très ancienne.

Or, cette version ancienne version utilisait une classe (org.apache.fop.configuration.Configuration) qui n'existe plus dans la dernière version de FOP.

Il suffit alors de récupérer la version 0.20.5 sur un site ( maven par exemple) et la copier dans

biserver-ce/tomcat/webapps/pentaho/WEB-INF/lib/:

cd biserver-ce/tomcat/webapps/pentaho/WEB-INF/lib/
wget http://mirrors.ibiblio.org/pub/mirrors/maven/fop/jars/fop-0.20.5.jar

Le bug a été référencé sur le JIRA de PENTAHO :

http://jira.pentaho.com/browse/BISERVER-7286

Ah oui, dernière chose, n'oubliez pas de déplacer ou supprimer la librairie (fop-0.9XX.jar )fournie par PENTAHO.

Tip MySQL: "innodb_file_per_table" ou comment utiliser des fichiers de table séparés pour éviter le manque d'espace disque!!

2013-05-23T18:34:00.002+02:00

Bon,
je suis pas très fier de ce que j'ai fait mais je vous relate mes erreurs et comment je suis arrivé à les résoudre pour vous éviter de faire pareil...

Situation

J'installe Mysql sur mon nouveau serveur dédié, monstre de calcul (8 cpu "machin" bridge) et d'espace disque ( 1To). Je configure ma base de données au format Innodb ( le format qui permet les contraintes externes, etc.); je configure les capacités de mémoire, l'espace disque temporaire;
bref, je crois avoir tout passé en revue...

Puis j'alimente ma base avec des données provenant de réseaux sociaux - autant dire que la volumétrie est importante.

Out of space

Au bout de quelques semaines, je m'aperçoit que le fichier ibdata qui est dans le répertoire de données grossit mais ne rétrécit jamais , y compris lorsque je supprime des tables de plusieurs centaines de GigaOctets.
Finalement j’atteins la taille limite de mon disque et là je suis mal surtout que je dois produire des rapports d'analyse pour avant hier.

L'option de la mort qui tue

C'est là que je m'aperçoit que par défaut à l'installation, MySQL et configuré pour gérer toutes les tables et leurs index dans un seul et même fichier - le fameux "ibdata" et que ce fichier est voué a grossir - jamais à réduire !
Il aurait fallu utiliser l'option "innodb_file_per_table" dans le fichier de configuration (my.cnf) pour que chaque table utilise son propre fichier de stockage des données et d'index.
Ok, je l'ai pas fait; mais alors comment faire pour rattraper ma bourde ?

Play it like a barbarian

Oui, je dirais qu'il faut y aller "à la barbare" c'est à dire faire une réinstallation des bases!

Première chose, faire une sauvegarde complète des bases :

mysqldump -R -q -p --all-databases > 20120402_mysql_all.sql

Ensuite, arrêter MySQL et supprimer tous les fichiers du répertoire des bases de données( moi, je fais un move sur un support de sauvegarde):

service mysql stop
mv /home/mysql/* /home/backup/mysql_old_dir

Redémarrer Mysql :

service mysql start

Enfin, restaurer les tables :

mysql -u root < 20120402_mysql_all.sql

Je vous cache pas qu'il faut aimer avoir des sueurs froides dans le dos pendant quelques longues minutes.

N'hésitez pas à commenter ce post si vous avez été dans le même cas !

Tip MongoDB: dompter MongoDB pour qu'il ne mange pas tout l'espace disque sous ubuntu 64!

2013-05-22T14:54:00.003+02:00

Ma bête de course est en train de pleurer à cause d'un manque d'espace disque...
Mais que se passe-t'il donc?
Bon ok, lorsque j'ai fait l'installation d'Ubuntu 64 bits, j'ai paramétré la partition racine à 9 Gb, ce qui est un peu limite.

En utilisant Baobab, le programme de visualisation d'espace disque , je me suis aperçu que le fautif était MongoDB et plus précisément son système de journalisation:

Voici donc le moyen pour éviter de consommer de l'espace disque inutilement :

arrêter mongodb :

sudo service mongodb stop
éditer le fichier /etc/mongodb.conf et désactiver la journalisation :

# Enable journaling, http://www.mongodb.org/display/DOCS/Journaling
journal=false
supprimer les fichier dans le répertoire /var/lib/mongodb
redémarrer MongoDB:
sudo service mongodb stop

Et voilà, votre partition ne va pas être inutilement remplie!

Un autre moyen est de déplacer le répertoire des données de /var/lib/mongodb vers une autre partition (exemple /home/mongodb) Pour cela éditer le fichier /etc/mongodb.conf et modifiez la ligne suivante :

# Where to store the data. dbpath=/var/lib/mongodb

# Where to store the data. dbpath=/home/mongodb

puis déplacer les fichiers qui étaient initialement dans /var/lib/mongodb vers le répertoire cible :

sudo cp -rv /var/lib/mongodb /home/mongodb/

Si vous aussi vous avez eu le même problème et que ce post vous a aidé, vous pouvez laisser un commentaire !

Limitation pentaho/mondrian: ne pas utiliser explicitement les clefs (key) pour les membres de dimensions dans les requêtes MDX

2013-04-30T16:03:00.000+02:00

Bon, tout est dans le titre... mais, quand même, ça nécessite quelques explications et surtout des solutions de contournement.

La problématique

Si vous venez, comme moi, du domaine décisionnel "non libre" ( Microsoft Essbase, etc.) , vous avez sûrement l'habitude d'utiliser les clefs de membres des dimensions pour les sélectionner directement dans les requêtes MDX.
Ok on fait un récap:
Lorsque vous faites une requête MDX, vous pouvez sélectionner un membre de dimension soit par sa valeur affichée ( en général le nom du membre), soit par la clef utilisée par le moteur OLAP. En général, la clef utilisée et une clef numérique donc plus facile à manipuler.

Un exemple, vite !!

Ok, disons que vous voulez mettre en perspective les ventes deux de vos produits phares :

les [casseroles en métal argenté(c)]
et les [poêles dorées à l'or fin(TM)].

La requête MDX ressemblerait à peu près à ça :

SELECT {[ProductHierarchy].[casseroles en métal argenté(c)], [ProductHierarchy].[poêles dorées à l'or fin(TM)]} on ROWS,
{[Measures].[sales]} ON COLUMNS
FROM [Commercial]

Jusque là tout va bien, sauf que en fait la même requête doit servir pour deux pays différents. Et pour chaque pays, le nom des produits est différent.
Plus précisément, en Angleterre les deux produits s’appellent respectivement : [silver metal pan(c)] et [gilded with fine gold pans(TM)]
Et là on a un problème: la requête précédemment crée ne fonctionne plus telle quelle à condition que les dénominations soient remplacées par leur traduction respective!
Du coup, en Angleterre la requête qui fonctionne est celle là :

SELECT {[ProductHierarchy].[silver metal pan(c)], [ProductHierarchy].[gilded with fine gold pans(TM)]} on ROWS,
{[Measures].[sales]} ON COLUMNS
FROM [Commercial]

Alors, comment faire pour que la requête MDX fonctionne correctement quelque soit le pays (et donc les traductions) ?

L'implémentation

C'est là qu'en tant que super spécialiste de votre moteur OLAP préféré, vous allez utiliser les fonctions différentiation par la clef .
Dans notre exemple la casserole en argent a un N° d'identifiant numérique égal à 112 et la poêle en or fin le N° 113, quelque soit les langages.

On utilise le caractère & ( "et commercial" ou "ampersand" en anglais) pour utiliser la clef à la place du nom.
La requête devient alors :

SELECT {[ProductHierarchy].&[112], [ProductHierarchy].&[113]} on ROWS,
{[Measures].[sales]} ON COLUMNS
FROM [Commercial]

Ok, on met tout ça en pratique.

On crée donc la dimension ProductHierarchy dans le cube Mondrian à partir d'une table de dimension dénommée DimProduct avec deux champs ProductKey ( notre clef) et ProductName:

<Dimension type="StandardDimension" visible="true" name="ProductHierarchy">
<Hierarchy name="default" visible="true" hasAll="true" primaryKey="ProductKey">
<Table name="DimProduct" alias=""></Table>
<Level name="Product" column="ProductKey" nameColumn="ProductName" levelType="Regular" />
</Hierarchy>
</Dimension>

Le fait d'avoir rempli la propriété "column" avec le nom du champ "ProductKey" va permettre un certain nombre de choses, dont l'optimisation des requêtes SQL qui sont effectuées par le moteur de Mondrian, mais aussi la possibilité de faire notre requête sur la base de la clef ProductKey.

Mondrian Error !!

Vous exécutez la requête et là, patatras voilà ce que l'interpréteur de requête de Mondrian nous dit :

Mondrian Error:MDX object '[ProductHierarchy.New Hierarchy 0].&[113]' not found in cube 'Commercial'

La raison en est simple, Julian Hyde (le créateur de Mondrian ) n'a tout simplement pas prévu cette fonction dans son moteur.
Voici la preuve: un ticket a été référencé dans le gestionnaire d'incident de Mondrian sous la description :Member key treated as member name in WHERE

Arggh, voilà donc une mauvaise surprise ! Pour enfoncer le clou, ce bug a été ouvert en 2009...

Vous pourriez me dire: "tu n'as qu'à mettre le champ ProductName dans la propriété 'column' et on en parle plus !".
Oui, en effet ça marche mais :

la problématique de l'internationalisation reste entière.
De plus, il faut savoir que le moteur Mondrian va utiliser la propriété "column" pour créer ses jointures lors des requêtes SQL sous-jaçentes ( rappelons-nous que Mondrian est un moteur ROLAP- donc basé sur le moteur de base de données !). Or en général , il vaut mieux faire les jointure sur des champs de tables qui sont indexés , ne serait-ce que pour des questions de performance et faire un index sur un champ numériques a beaucoup plus d'efficacité que sur un champ de type caractère.

Quelle est donc la solution ?

On va donc utiliser une fonctionnalité qui ,elle, a été implémentée: les propriétés en conjonction avec les filtres.
Dans un premier temps on va créer une propriété basée sur le champ "ProductKey":

<Dimension type="StandardDimension" name="ProductHierarchy">
<Hierarchy name="default" primaryKey="ProductKey">
<Table name="DimProduct" />
<Level name="Product" column="ProductKey" nameColumn="ProductName">
<Property name="key" column="ProductKey" type="Integer" description="Key product" />
</Level>
</Hierarchy>
</Dimension>

Et enfin on va utiliser un filtre , basé sur cette propriété

SELECT {Filter( [ProductHierarchy].[Product].Members,
([ProductHierarchy].CurrentMember.Properties("key")=113)
OR
([ProductHierarchy].CurrentMember.Properties("key")=111))
} ON ROWS,
{[Measures].[sales]} ON COLUMNS
FROM [Commercial]

Là -enfin-, vous pouvez utilisez cette requête, quelque soit les traductions des produits utilisées.

Si vous avez déjà été dans cette situation n'hésitez pas à commenter cet article ou à demander des précisions !

Tip Pentaho/kettle: accélérer le chargement de spoon PDI 4.3 GA

2012-11-16T10:09:00.000+01:00

J'ai été assez désappointé par la dernière version de PDI ( Pentaho data integration) délivrée par Matt Casters en version 4.3 GA.
En effet, spoon, qui est l’interface de création des ETL, se charge en plus de 3 minutes montre en main !!!
Inacceptable dans ce monde speedé!!
Moi qui pensait que PDI était le seul truc de bien dans pentaho ( avec peut-être Mondrian) et bien j'en suis resté baba...

Et là je me suis aperçu que je n'étais pas le seul dans cette situation. Ce qui est assez déprimant c'est que le bug recensé n'est pas attribué, donc ne risque pas d'être résolu. Heureusement, Matt Casters himself , nous donne le work-around:

Aller dans le répertoire data-integration/plugins/spoon,
puis supprimer le répertoire agile-bi et tout ce qu'il contient.

Miracle, spoon prend 40 secondes à charger ( ce qui est encore trop long, mais bon...) !
Par contre, du coup, toutes les fonctionnalités agiles de PDI ne sont plus disponibles (mais comme c'est du pipeau, c'est pas bien grave)

Bon par contre, Matt nous dit dans le forum qu'il travaille à la résolution de ce bug alors que le ticket en cours n'est pas attribué.

Hou, le menteur!!

Vagrant : Mise en place d'une box prête à l'emploi

2012-11-14T15:42:00.001+01:00

Dans l'article précédent (Veewee : La creation d'une boite Vagrant), nous avons vu comment créer une machine virtuelle prête pour Vagrant.

Considérons que nous avons avons ajouter la box à l'environnement Vagrant avec la commande :

vagrant box add 'myubuntubox' 'pathto/myubuntubox.box'

Si vous le souhaitez, je peux vous fournir une box Ubuntu 12.04 server X64.

Une fois, cette dernière ajouter à votre environnement, il convient de créer votre machine virtuelle en utilisant les commandes suivantes :

vagrant init 'myubuntubox'

vagrant up

vagrant ssh

Vous vous trouverez alors dans la machine virtuelle, sur laquelle vous pourrez installer vos outils de développement.

Le principe de Vagrant est similaire à celui du Cloud, vous avez soit un environnement vierge que vous vous paramétrez, soit un environnement prêt à l'emploi qui vous permet de fournir le même environnement à toute une équipe.

Pour ce dernier point, il convient d'utiliser un outil de provisionning, pour ma part, j'ai choisi Chef, mais il y en a d'autres comme Puppet .etc..

Dans le cas de Chef, on trouve de nombreuses recettes sur Github permettant d'installer à peu près tout, avec par exemple le repository officiel d'Opscode (https://github.com/opscode-cookbooks).

Afin de simplifier, un peu la vie de ceux qui veulent se lancer, j'ai préparer un petit projet qui vous permet de vous lancer : https://github.com/gpsnail/VagrantBox
Suivez les instructions du README pour commencer.

N'hésitez à me faire part de vos commentaires.

tip pentaho/déploiements: rafraîchir le repository

2012-10-09T09:35:00.001+02:00

Le problème est très vite arrivé quand on veut déployer de nouveaux rapports sur plusieurs serveurs différents de façon automatique.
imaginons que ayez un nouveau rapport de type CDE ( kesako ?)que vous avez fabriqué sur votre serveur local.

Vous avez copié les fichiers physiques du rapports sur le serveur de production grâce à un script shell par exemple.
Si vous vous connectez sur votre console utilisateur (http://monserveur:8080/pentaho/Home), vous ne voyez pas le nouveau rapport !!
L'explication est simple, tant que vous n'avez pas rafraîchi la solution , les nouveaux fichiers ne sont pas pris en compte par le moteur Pentaho.
Sous le capot, Pentaho utilise un indexage des fichiers qu'il enregistre dans la base de données ( tables PRO_FILES et PRO_ACLS_LIST dans la base de données hibernate).
Tant que l'on a pas commandé à pentaho de rafraîchir le repository, les nouveaux objets qui ont été copiés n'ont pas été enregistrés dans l'index pentaho.
Comment on peut piloter ce rafraîchissement, par exemple par script shell ?
La seule façon que j'ai trouvé est de créer une page jsp que je vais installer dans le contexte d’exécution de pentaho.
Je vais l'appeler RefreshRepository.jsp et voici le code :

<%@ page language="java"
import="org.pentaho.platform.engine.core.system.PentahoSystem,
org.pentaho.platform.api.engine.IPentahoSession,
org.pentaho.platform.web.jsp.messages.Messages,
org.pentaho.platform.api.engine.IUITemplater,
org.pentaho.platform.web.http.WebTemplateHelper,
org.pentaho.platform.util.messages.LocaleHelper,
org.pentaho.platform.api.repository.ISolutionRepository,
org.pentaho.platform.repository.solution.dbbased.DbBasedSolutionRepository,
org.pentaho.platform.web.http.PentahoHttpSessionHelper" %>
<%
response.setCharacterEncoding(LocaleHelper.getSystemEncoding());
IPentahoSession userSession = PentahoHttpSessionHelper.getPentahoSession( request );
String content = "";
ISolutionRepository solutionRepository = PentahoSystem.get(ISolutionRepository.class, userSession);
solutionRepository.reloadSolutionRepository(userSession, userSession.getLoggingLevel());
content = "OK refresh";
%>
<%= content %>

Je n'ai plus qu'à déployer cette page dans le répertoire suivant :
biserver-ce/tomcat/webapps/pentaho/jsp/
Une fois fait, je peux maintenant piloter le refresh en faisant :

http://monserveur:8080/pentaho/RefreshRepository?userid=totologin&password=XXXX

Du coup je peux piloter le refresh par script Shell :

wget --quiet -O - "http://monserveur:8080/pentaho/RefreshRepository?userid=totologin&password=XXXX"

tip trac/ldap : usage de ldap-filter

2012-10-09T08:44:00.000+02:00

Il y a quelques temps j'ai dû ouvrir à des personnes externes un site de gestion d'incidents ( trac). Il se trouve que nous gérons les clients comme des contacts dans notre système openldap.
En gros un client a type a comme structure dans ldap :

dn: cn=jean Filemonpul,ou=clients,ou=Users,dc=masociete,dc=com
cn: jean Filemonpul
givenname: jeanfil
mail: jean.filemonpul@parlespieds.com
mobile: +33473000011
objectclass: inetOrgPerson
objectclass: extensibleObject
objectclass: person
objectclass: mailAccount
objectclass: top
ou: client
sn: filmonpul
uid: jfil
userpassword: {MD5}9x2+54ef34zeLOL4OneqsqsrSUgXUlsdsg==se

Par opposition, un utilisateur interne a cette structure:

dn: cn=pikki@masociete.com,ou=Users,dc=masociete,dc=com
cn: pikki@masociete.com
givenname: pikki
mail: pikki@masociete.com
mailbox: /home/vmail/masociete.com/pikki
mailenable: OK
mailuserquota: 1048576
mobile: +336XXXXXXXX
objectclass: inetOrgPerson
objectclass: extensibleObject
objectclass: person
objectclass: mailAccount
objectclass: top
ou: masociete
sn: pikki
uid: pikki
userpassword: {MD5}q09j+fqgfg4645refgzereza33454==

La grosse différence est donc l'unité organisationnelle ( ou) qui est soit "masociete" soit "client".
On veut donc autoriser l'accès au gestionnaire d'incident ( trac) à ces deux profils.
Pour cela, dans le fichier de configuration dans /etc/apache2/sites-enabled on va utiliser l'instruction Require ldap-filter dont la doc est à cette adresse .

Le truc est de savoir si la requête ldap va fonctionner ou pas. pour cela j'ai testé cette requete:

ldapsearch -W -x -D "cn=moimeme,dc=masociete,dc=com" \ '(|(ou=masociete)(ou=client))'

qui veut dire: << cherche toutes les entrées du ldap ayant comme "ou" soit "masociete", soit "client" >> .Nickel, il me renvoie bien des entrées. Du coup, je me dis, je vais mettre ça dans mon fichier de config apache :

Require ldap-filter (|(ou=client) (ou=masociete))

katastrof, en rechargeant apache( service apache2 reload) , impossible de se connecter ni en tant que client , ni en tant qu'utilisateur.

Il suffit juste d'enlever les parenthèses les plus excentrées pour que ça marche ( va comprendre..) .

Voici mon fichier de configuration:

<VirtualHost *:80>

ServerAdmin admin-system@masociete.com
ServerName tickets.masociete.com
DocumentRoot /var/www/tickets
<Directory />
Options FollowSymLinks MultiViews
AllowOverride AuthConfig
</Directory>
<Directory /var/www/tickets>
Options +SymLinksIfOwnerMatch
AllowOverride All
Order allow,deny
Allow from all
</Directory>
ErrorLog /var/log/apache2/trac/error.log
LogLevel warn
CustomLog /var/log/apache2/trac/access.log combined
ServerSignature On
<Location /> #set up Trac handling
SetHandler mod_python
PythonHandler trac.web.modpython_frontend
PythonOption TracEnv /var/www/tickets
PythonOption TracUriRoot /
PythonPath "sys.path + ['/var/www/tickets']"
</Location>
<Location "/login">
AuthType Basic
AuthName "LDAP auth"
AuthBasicProvider ldap
AuthLDAPUrl ldap://127.0.0.1/ou=Users,dc=masociete,dc=com?uid?sub
AuthLDAPBindDN "cn=rechercheuser,dc=masociete,dc=com"
AuthLDAPBindPassword XXXXXXX
Require ldap-filter |(ou=client) (ou=masociete)
</Location>
</VirtualHost>

Veewee : La creation d'une boite Vagrant

2012-09-07T11:52:00.000+02:00

Comme je l'abordais dans mon précédent article, l'utilisation de Vagrant pour le développement a été pour moi un gros plus et une superbe découverte.

Mais, vous allez me dire comment créer sa propre Box en effet, il est pas évident de faire confiance à celle que l'on peut trouver sur internet surtout dans le cadre d'une équipe de projet.

C'est à ce titre, que je conseille l'utilisation de Veewee (https://github.com/jedi4ever/veewee) qui permet de créer toutes sortes de Box et qui est surtout d'une simplicité d'utilisation déconcertante.

Le pré-requis pour l'utilisation de veewee est une plate-forme ruby 1.9.2 et la dernière version de VirtualBox (http://www.virtualbox.org), là, il faut impérativement installer RVM sur la machine qui va vous servir à créer votre box et cela afin d'avoir la meilleur version possible de ruby à savoir la 1.9.2p290.

Une fois, les pré-requis en place, la meilleure façon de procéder est de cloner veewee à partir de Github, le procédure d'installation est très bien faite : https://github.com/jedi4ever/veewee/blob/master/doc/installation.md

Ensuite, il y a juste à utiliser veewee (il faut se positionner à la racine du répertoire veewee) et voici la procédure à suivre pour créer une boite directement sans trop de changement :

Ce processus crée une nouvelle définition de boîte dans le répertoire veewee/definitions. Vous pouvez si vous vous en sentez le courage modifier les fichiers mais à titre d'exemple nous le ferons pas. La prochaine étape est de créer la Box :

Cette étape prend pas mal de temps à cause essentiellement des téléchargements d'images ISO nécessaire à l'installation. Vous pourrez suivre de manière simple la procédure.

Une fois, cette étape terminée, vous aurez une boite en place :

Une fois, la box créée, vous pourrez l'exporter dans une fichier ".box" à distribuer à l'ensemble de votre équipe de développement avec la commande suivante :
Nous venons de voir comment créer une Box vide, cependant, maintenant le problème se pose de la mise en place celle-ci dans un environnement réel avec les outils nécessaires comme mysql, postgres, php .etc.. Nous allons pour cela utiliser le système de "Provision" permettant à partir d'un script de mettre en place l'environnement et de l'utiliser ensuite au quotidien. Nous aborderons cela dans un prochain article en attendant, je ne saurait que trop vous conseiller de tester.

Vagrant : Le développement sur VM

2012-09-04T09:17:00.001+02:00

Nous nous sommes tous heurter à la difficulté de mettre en place son environnement de développement, surtout dans le cadre de la mise en place d'une plateforme homogène entre plusieurs postes sans ajout de logiciels tiers et le plus proche possible de l'environnement de production.

- Exemple : une plateforme PHP, MySQL, Postgres dans le cadre de la migration d'un application PHP de MySQL vers Postgres.

Au fil de mes recherches sur le net et surement avec beaucoup de retard je suis tombé sur Vagrant. (http://vagrantup.com)

Vagrant a pour but de rendre plus simple l'utilisation de machine virtuelle dans le cadre de l'environnement de développement. On peut le dire le but est atteint pour la facilité de développement entre la machine hôte et la VM.

Le plus compliqué avec Vagrant va être de créer sa propre machine proche des habitudes de développement de l'équipe. Car Vagrant n'est pas là pour cela, il est juste là pour le montage de la machine et son utilisation au quotidien.

Heureusement, la communauté est très active sur le sujet et des outils sont là pour simplifier la création de sa propre Box avec quelques connaissances. Je pense notamment à Veewee (https://github.com/jedi4ever/veewee) qui est vraiment un outil à s'accaparer pour la création de sa propre Box, n'hésitez pas à dupliquer le projet et pusher vos modifications pour mettre à disposition vos Box, c'est d'ailleurs ce que je vais faire.

Mais, ne vous inquiétez pas, je vous prépare un petit tutoriel pour l'utilisation de Veewee avec une Box en français.

Et, important à savoir tout cela, c'est en Ruby.

Tip SQL: pourquoi Migrer de MySQL vers PostgreSQL?

2012-09-03T08:00:00.000+02:00

Comment dire....
quand on a fini de jouer avec MySQL et que l'on veut passer en production, on cherche un moteur SQL de pros.
C'est un peu comme quand tu as cassé ta perceuse achetée chez Lidl (en promo !) et que tu bave devant la bosh dans le rayon chez casto...
Moi, mon vendeur, il m'a fait l'article et je viens tout juste de déballer le paquet: PostgreSQL 9.
Avec ça, j'ai bien envie de percer des trous partout dans mes serveurs...
Bon, je m'emporte:

MySQL c'est quand même bien!
je fais toujours des courses chez lidl
même facebook utilise la perceuse pas cher de chez Lidl ( MySQL)

C'est quoi les avantages de MySQL ?

d'abord le moteur est facilement configurable
l'outil de requêtage MysqlWorkBench est pas mal - je dirais même , il s'approche de ce que fait Microsoft.
la doc en ligne est ok
la communauté est active

Mais quand on se penche un peu sur le bestiau, il y a des trucs qui me gênent :

la sauvegarde incrémentale InnoDB => pas disponible en mode gratos. Vas donc sauvegarder 400 Go d'un serveur sur-sollicité....
le mode mono-thread sur les requêtes : Fais donc une auto-jointure sur une table de 25 millions d'enregistrements; ben, tu peux pas Mr patate !! en tout cas pas avec ton kimsuffi à trois euros six sous.
pas de sharding (répartition de données) sauf à l'implémenter côté applicatif; Bref, réinventer ce foutu fil à couper le beurre que j'ai eu tant de mal à réinventer les 50 dernières fois.
et puis j'ai aussi envie de changer les rideaux , donc je veux ma nouvelle perceuse !

Alors quelle perceuse doit-je prendre ? en général, le vendeur vous demande ce que vous allez en faire.

Moi, je veux :

une Bdd gratos
facile à administrer
grosse volumétrie
qui va se comporter en entrepôt de données ( peu de transactions, beaucoup de lectures, beaucoup de calculs)
compatible avec ce qui a déjà été implémenté côté applicatif
le plus proche possible de l'ANSI SQL 92 ( utilisation des instructions JOIN )

Vous savez maintenant ce que j'ai choisi comme Base de données....

Et vous, vous pensez quoi des avantages de l'un et de l'autre ?

Tip MySQL: restaurer une table à partir d'une sauvegarde complète

2012-08-27T09:37:00.000+02:00

En tant qu'administrateur de base de données MySQL, vous avez surement mis en place une politique de sauvegarde des bases de données qui permet de sauvegarder toutes les bases installées.
Pour ma part j'utilise automysqlbackup qui permet de faire une rotation des bases de données.
Or ce logiciel sauvegarde l'ensemble des bases dans un seul et même fichier.

Imaginons maintenant qu'un développeur vienne vous dire qu'il a détruit les données d'une table et qu'il faudrait restaurer uniquement cette table à partir des données de la veille.

La première chose que vous faites et de croiser les doigts en allant regarder dans le répertoire de sauvegarde s'il y a bien un dump des bases.
Ensuite, vous essayez de localiser la table en question avec votre éditeur préféré pour faire un copier coller dans l'IHM MySQL Workbench.
Problème: le fichier de dump fait 20 Go!
même vi a du mal à ouvrir le fichier...
Vous devez donc vous pencher sur les capacité du programme sed dont voici une bonne introduction.

L'explication suivante s'appuie sur un exemple précis:
restaurer la table comments qui appartient à la base de donées facebook.

Identification des patterns

Si on regarde de plus près le type de sauvegarde qu'automysqlbackup effectue ( grâce au programme mysqldump), on remarque plusieurs choses :

avant chaque création de base de données on retrouve un commentaire.Exemple :

--
-- Current Database: `facebook`
--
CREATE DATABASE /*!32312 IF NOT EXISTS*/ `facebook` /*!40100 DEFAULT CHARACTER SET utf8 */;
USE `facebook`;

pour chaque table , la table est détruite ( commande DROP)

DROP TABLE IF EXISTS `comment`;

la table est crée, verrouillée, les données sont insérées puis enfin la table est déverrouillée :

UNLOCK TABLES;

On peut donc en déduire une stratégie :

d'abord extraire la base de données cherchée et la sauvegarder dans un fichier
ensuite extraire la table cherchée et la sauvegarder dans un fichier

Extraction de la Base de données

On va donc utiliser le pattern "Current Database" pour extraire uniquement la base de données facebook:

sed -n -e '/Current Database: .facebook/,/Current Database/p' mon_fichier_de_dump.sql > facebook.sql

cette commande va extraire à partir du fichier mon_fichier_de_dump.sql tout ce qui se trouve entre le texte "Current Database: `facebook`" et le prochain texte "Current Database:" et sauvegarder dans le fichier facebook.sql.

l'option -n avec l'option /p permet à sed de n'écrire que les lignes comprises entre les deux patterns.
l'option -e

Extraction de la table

Une fois que la base de données est extraite, on peut maintenant extraire la table comment :

sed -n -e '/DROP TABLE.*`comment`/,/UNLOCK TABLES/p' facebook.sql > comment.sql

Restauration de la table

Il suffit ensuite de restaurer la table comments dans votre serveur de base de données avec la commande mysql:

mysql -h myserver.mynetwork.com -u root -pmyPassword -D facebook< facebook.sql

Evidemment, vous pourrez modifier

Tip SQL/MDX: chercher le top X pour chaque groupe

2012-08-21T17:36:00.004+02:00

Une des demandes les plus récurrentes, lorsque l'on fait des tableaux de bord c'est de retrouver les "10 meilleurs clients par zone commerciale", ou encore les "10 plus gros contributeurs facebook par page" .

Aujourd'hui je vous propose 3 façons de résoudre cette problématique en SQL, selon le système utilisé.

Imaginons la table suivante:

Create TABLE Contribs (id_page int, page varchar(50), fan varchar(50) , contribs INT);

INSERT INTO Contribs VALUES (2, 'françois Hollande', 'toto' , 65);
INSERT INTO Contribs VALUES (2,'françois Hollande', 'titi' , 50);
INSERT INTO Contribs VALUES (2,'françois Hollande', 'tutu' , 30);
INSERT INTO Contribs VALUES (2,'françois Hollande', 'tata' , 20);
INSERT INTO Contribs VALUES (8,'Nicolas Sarkozy', 'toto' , 5);
INSERT INTO Contribs VALUES (8,'Nicolas Sarkozy', 'titi' , 41);
INSERT INTO Contribs VALUES (8,'Nicolas Sarkozy', 'tutu' , 35);
INSERT INTO Contribs VALUES (8,'Nicolas Sarkozy', 'tata' , 66);
INSERT INTO Contribs VALUES (8,'Nicolas Sarkozy', 'tete' , 67);
INSERT INTO Contribs VALUES (24,'Marine Le Pen', 'toto' , 35);
INSERT INTO Contribs VALUES (24,'Marine Le Pen', 'tata' , 15);
INSERT INTO Contribs VALUES (24,'Marine Le Pen', 'titi' , 5);
INSERT INTO Contribs VALUES (24,'Marine Le Pen', 'tutu' , 3);
INSERT INTO Contribs VALUES (24,'Marine Le Pen', 'zozo' , 2);
INSERT INTO Contribs VALUES (8,'Nicolas Sarkozy', 'zizi' , 69);
INSERT INTO Contribs VALUES (8,'Nicolas Sarkozy', 'zaza' , 100);
INSERT INTO Contribs VALUES (8,'Nicolas Sarkozy', 'zuzu' , 1230);

Cette table correspond à la liste des fans ( champ fan) de pages page facebook avec la liste

Sql Server:

Bon là c'est tellement simple que s'en est bête... on va utiliser la fonction RANK, introduite avec la version 2005

la fonction RANK() , permet de calculer un auto-incrément lors d'une requête.

Par exemple:

select * from ( select page, fan, contribs, RANK() over ( Partition by page order by contribs DESC) as Rank
from Contribs ) as TEMP
where Rank <=10;

MySql:

Bon, là on va utiliser une fonctionnalité que j'appellerais "procédurale"de Mysql et non ensembliste.
Je m'explique:
au sein même de la requête, on utilise l'incrémentation au fur et à mesure que le moteur lit et ordonne les lignes qu'il trouve.
On doit d'abord ordonner les contributeurs par page:
select page, fans, contribs from Contribs order by page, contribs DESC;

On introduit l'incrémentation au travers d'une variable : @count.
Dès que le moteur de requête change de page, il est nécessaire de remettre à zéro la variable @count.
L'indication du changement de page se fera avec la variable : @oldPage

select @oldPage := 0 , @count := 0;
SELECT
@count := IF(id_page <=> @oldPage, @count+1, 0) as mycount,
@oldPage := id_page,
page,
fan,
contribs
FROM Contribs
ORDER BY id_page, contribs DESC;

Il suffit ensuite de filtrer :

select fan,page, contribs from (SELECT
@count := IF(id_page <=> @oldPage, @count+1, 0) as mycount,
@oldPage := id_page,
page,
fan,
contribs
FROM Contribs
ORDER BY id_page, contribs DESC) t
where mycount<=10;

ANSI SQL:

On doit toujours revenir aux bases...

Sachant que le langage SQL ne sait pas compter la position dans le résultat, il faut trouver autre chose.
On peut essayer d'imaginer d'extraire pour chaque contribution ( contribs) le sous-ensemble des contributions supérieures et inférieures.

Pour chaque contribs, on peut extraire le sous ensemble des contribs supérieures:

select C2.contribs, C1.contribs
from Contribs as C1
join Contribs as C2 on C1.contribs >= C2.contribs

On veut maintenant n'avoir que les contribs qui n'ont que trois contribs qui lui sont supérieurs. On va compter pour chaque sous ensemble le nombre distinct de contribs :

select min(C1.contribs)
from Contribs as C1
join Contribs as C2 on C1.contribs >= C2.contribs
group by C2.contribs
having count(DISTINCT C1.contribs) <=3;

Avec cette requête, on récupère ainsi les trois plus hautes contribs c'est à dire 69,100 et 1230

Enfin, on veut faire le regroupement par page :

select min(C1.contribs) , C1.page
from Contribs as C1
join Contribs as C2 on C1.contribs >= C2.contribs and C1.id_page = C2.id_page
group by C2.contribs, C1.page
having count(DISTINCT C1.contribs) <=3;

Il ne reste plus qu'à injecter les noms des contributeurs :

select c.* from Contribs c
JOIN
(select min(C1.contribs) as contribs, C1.id_page
from Contribs as C1
join Contribs as C2 on C1.contribs >= C2.contribs and C1.id_page = C2.id_page
group by C2.contribs, C1.id_page
having count(DISTINCT C1.contribs) <=3) t
on t.id_page = c.id_page and c.contribs = t.contribs;

Et voilà: on récupère les trois meilleurs contributeurs par page!!
C'est d'ailleurs la requête la plus élégante et celle qui fonctionnera partout.

MDX:

Alors là, le système est très simple avec l'instruction TopCount puisqu'il permet de faire le filtre pour chaque sous-ensemble.
Par exemple, on crée un "set" des clients à qui on a le plus vendu sur 2012, puis on peut l'utiliser en dans une requête MDX:

with set [Top10cust] as 'TopCount({[Client].[ClientName].Members}, 10.0, ([Time].[2012], [Measures].[sales]))'
member [Measures].[Ventes] as '[Measures].[sales]'
select {[Measures].[Ventes]} on COLUMNS,
{[Top10cust]} ON ROWS
from [Commercial]

Lion : Upgrade vs Clean Install

2011-09-16T12:23:00.000+02:00

Après deux mois d'utilisation de Lion, en upgrade, je viens de faire une clean install.

Pourquoi ?

Simple, le système me paraissait assez instable, et surtout lent par moment, voir extrêmement lent surtout au reboot environ 56s de boot.

Pourquoi, pas avant ?

J'ai opté pour la facilité, en effet, l'upgrade est d'une simplicité et surtout vraiment rapide.

De plus, j'avais un peu peur quand à la récupération de mes données, possédant une bibliothèque photo d'environ 90 Go, vous comprendrez ma crainte, mais bon time machine est là.

Comment procéder ?

D'abord, je conseille à tout le monde de se faire un clé USB en suivant le tutoriel de l'outil Lion Disk Maker : http://blog.gete.net/lion-diskmaker/.

Cet outil est très bien fait et permet de préparer la réinstallation de manière plus efficace que la clé de récupération Apple.

Une fois, la clé prête :

Une vérification du disque dur avec "Utilitaire de disque"
Backup avec Time Machine sur un disque vierge (conseil la backup courante suffit)
Redémarrage de l'ordinateur en utilisant la touche Alt afin de pouvoir choisir la clé USB qui doit évidement être inséré dans un port USB
Choisir la clé pour le redémarrage

Vous allez alors arriver sur l'écran suivant :

Il va alors dans le but d'une installation propre falloir suivre les étapes suivantes :

Aller dans l'utilitaire de disque et effacer la partition principale, généralement "Macintosh HD"
Surtout choisir en type fichier celui proposé : "MacOS etendu (journalisé)"
Une fois l'opération effectuée - fermer l'Utilitaire avec la croix rouge vous revenez alors sur l'écran ci-dessus
A partir de là lancer l'installation en utilisant "Réinstaller Mac OS X"
Suivez les instructions

Pour la récupération des données, personnellement, j'ai utilisé Time Machine mais pas l'Utilitaire de migration.

J'ai raccordé le disque utilisé pour ma sauvegarde précédemment et je lui ai dit que c’était un disque time machine, j'ai alors arrêté la première sauvegarde et je suis entré dans Time Machine pour ne récupérer que mes fichiers de données et non les paramètres.

Résultat visible :

Boot plus rapide 40s vs 56s (16s c'est toujours bon à prendre)
Fermeture plus rapide : 5s vs 15s
Application plus fluide surtout visible avec iTunes et iPhoto dont la bibliothèque pèse plus de 90Go.
Lancement des applications presque immédiatement.

Bref, aucun regret, si ce n'est un peu de temps, bien que l'ordinateur a travaillé tout seul la plupart du temps, début de la sauvegarde 9:30 fin vers 13:00.

Début de l’installation 13:15 fin vers 13:30

Début de la restauration incluant l'installation des mises à jour de l'OS 13:45 fin vers 16:30.

Il faut là l'admettre quelque soit l'OS une clean install prend du temps surtout à cause des opérations de sauvegarde et de restauration.

RVM : Ruby Version Manager

2011-08-27T15:08:00.002+02:00

Quand on essaye de développer sur Ruby, on se tourne tout de suite vers une machine virtuel sous Linux, non pas que Ruby pourrissent le système mais plutôt parce que sous windows il est beaucoup moins performant (c'est mon point de vue).

Quand on essaye de développer sur Ruby sous Linux, on entend rapidement parler de RVM (Ruby Version Manager).

RVM, c'est vraiment le paradis pour le développeur Ruby qui veut tester sur plusieurs types d'environnement (Ruby 1.8.7, 1.9.2, JRuby....), cet outil permet de switcher d'un environnement à un autre sans trop d'effort.

Il est hors de question de vous faire une fiche sur comment installer RVM, il y en a des très bonnes sur le net en Anglais certes et particulièrement http://pragmaticstudio.com/blog/2010/9/23/install-rails-ruby-mac qui marche exactement pareil sur ubuntu.

Je ne conseille pas l'installation en sudo qui n'est à mon avis pas utile.

Vous l'avez compris RVM est un outil indispensable pour les développeurs Ruby & Ruby on Rails, cependant, voici une liste de petits tips & tricks intéressant :

- Si lors de l'utilisation de "rake" vous rencontrez l'erreur "RakeFileUtils rake aborted", n'hésitez à utiliser le lien suivant : http://joneslee85.wordpress.com/2011/07/29/howto-fix-rake-0-9-2-to-work-with-ruby-1-9-2-under-rvm/

- uninitialized constant Rake::DSL in Ruby Gem, l'ajout de :

require 'rake/dsl_definition'

Dans le Rakefile

- vous rencontrez une erreur sur openssl avec Ruby on Rails, les commandes suivantes :

rvm pkg install openssl
rvm remove 1.9.2 --with-openssl-dir=$HOME/.rvm/usr
rvm install 1.9.2

A priori, vous avez là les principaux problèmes que l'on peut résoudre rapidement.

Time Machine : la sauvegarde pour les nuls

2011-08-26T09:08:00.001+02:00

Ce titre, un brin péjoratif, reflète bien le fait que c'est un outil de sauvegarde d'une simplicité étonnante.

Depuis, Leopard (10.5), Mac OSX a introduit ce nouveau système de sauvegarde automatique. Pour l'utiliser un disque dur USB vierge qu'il faut formater en HFS+, dès le branchement du disque Time Machine vous demande si vous souhaitez l'utiliser comme disque de sauvegarde et commence la première synchronisation qui peut durer un moment en fonction des données de votre disque principal.

Avec Time Machine, Apple a prévu tous les cas de pertes de données effacement accidentel, crash disque... En effet, la restauration après réinstallation est automatiquement proposée.

Time Machine sauvegarde les changements toutes les heures. Si le disque sature il supprime les sauvegardes les plus anciennes avec ou sans avertissement.

Alors, vous pourrez me lancer que Windows 7 propose également cela oui c'est vrai mais je trouve l'outil moins performant sur trois points :

- Il faut soit même programmer ce que l'on veut sauvegarder et sur quel fréquence.

- La restauration n'est pas si visuellement simple.

- Il ne supprime pas de lui-même les sauvegardes les plus anciennes.

Alors, oui, je maintiens mon titre, Time Machine est vraiment la sauvegarde pour les nuls, cependant, il faut quand même que je le précise, il existe sous Linux un équivalent sympa et assez efficace mais un peu plus proche de la solution Windows : "Back in Time".

La sauvegarde est un des points importants des futurs OS, en effet, les données numériques ont le vilain défaut de disparaître facilement, il faut donc que l'OS propose la solution la plus simple et efficace pour l'utilisateur avec une interface plaisante pour ne pas être rebuter par la mise en place de cette solution.

Pentaho:calcul du pipe commercial en MDX avec Mondrian - partie 2

2011-08-24T22:08:00.007+02:00

Dans mon précédent post j'ai posé le problème du calcul par périodes du pipe commercial.

Maintenant que l'on a la solution en SQL, on pourra valider la requête MDX.

On voudrait retranscrire ce que l'on a fait en SQL c'est à dire sélectionner les devis dont la date de devis est inférieur ( ou égal) à la fin de la période et la date de commande ou d'expiration supérieure (ou égale) au début de la période
pour rappel la requête SQL est la suivante :

... where (datedevis <= "31/01/2011") and(datecommande >= "01/01/2011" );

Premier essai MDX: Modélisation du cube

Imaginons que l'on ai créé un cube Mondrian basé sur la table des devis en sachant
que la table contient deux dates ( date de devis et date de commande)
Il nous faut donc deux dimensions de temps liées ces deux dates
On a donc les dimensions suivantes [TimeStart] et [TimeEnd]

Ces dimensions ne sont que des dimensions virtuelles de la dimension Time qui contient une hiérarchie par défaut dont les descendants ordonnés sont : Année,Quarter,Mois,Date:

Voici donc le rendu dans SchemaWorkBench :

Dans cette image , on remarque que les dimensions TimeStart et TimeEnd sont des Dimensions "Usage" c'est à dire qu'elles ont été crées à partir d'une véritable dimension.

Premier essai MDX: la requête

maintenant que l'on a créé le cube, on peut concevoir la requête:
On doit faire un croisement entre

la période qui va de janvier à l'infini dans la dimension TimeStart pour la date de commande ( rappelez-vous la condition SQL : datecommande >= "01/01/2011")
et la période qui va du début de l'existence de l'informatique (merci Turing! - je laisse Snail préciser les choses) à janvier dans la dimension TimeEnd pour la date de devis (condition SQL: datedevis <= "31/01/2011")
et enfin le montant

Bon alors ça donne quoi ?

déjà comment savoir la date du début de l'informatique ? On va utiliser le membre Firstchid de la dimension TimeStart auquel on va adjoindre la fonction MDX Openingperiod.

Du coup la condition 1 se résume à

OpeningPeriod([TimeStart].[Month],[TimeStart].firstchild):[TimeStart].[2011].[Q1].[January]

De même, la condition 2 correspond à ça ( grâce à la fonction ClosingPeriod et au membre Lastchild):

[TimeEnd].[2011].[Q1].[January]:Closingperiod([TimeEnd].[Month],[TimeEnd].lastchild )

Une petite explication s'impose sur ces deux ensembles:

[TimeStart].Firstchild permet d'identifier le premier enfant de cette dimension c'est à dire la première année possible, LastChild étant la dernière année possible.

OpeningPeriod permet de connaitre le dernier enfant possible à un niveau spécifié( [TimeEnd].[Month]) pour un membre spécifique( [TimeEnd].lastchild).

Pour moi, la fin du monde étant positionné à décembre 2013, la formule correspondra à

[TimeEnd].[Q4].[December].

Je vous laisse imaginer l'explication pour ClosingPeriod qui est la contraposée parfaite de la première.

Il suffit maintenant de mettre tout ça dans un bocal, rajouter la mesure Montant et d'agiter très fort. Voilà ce que ça devrait donner :

with MEMBER Measures.x as '
SUM( NonEmptyCrossJoin(
OpeningPeriod([TimeStart].[Month],[TimeStart].firstchild):[TimeStart].[2011].[Q1].[January],
[TimeEnd].[2011].[Q1].[January]:Closingperiod([TimeEnd].[Month],[TimeEnd].lastchild ) )
, [Measures].[Montant] )'
Select Measures.x on 0
from [Pipe]

Outre le fait que j'utilise un membre calculé, je fais appel à la fonction NonEmptyCrossJoin

qui permet de faire la jointure entre les parcours des deux dimensions ( en enlevant bien sûr les tuples vides) ainsi que la fonction SUM qui permet de faire la somme du montant sur le dataset créé par le crossjoin.

Premier essai MDX: Conclusions

Ok, on a le bon montant du pipe commercial en janvier 2011, mais peut avoir la même chose pour toutes les autres périodes à partir d'une seule requête ?

ça voudrait dire que l'on puisse décrire mois par mois ce qui revient à dire qu'il faut rajouter un axe supplémentaire dans la requête pour montrer les montants pour chaque mois.

Dans bien des cas, cela se résume à rajouter un axe colonne comme ceci :

select Measures.test on rows,
Descendants([Time]. [year],(Month) on columns
from [MonCube]

Fastoche ? Pas vraiment : je vous rappelle que l'on a deux dimensions de temps différentes TimeStart et TimeEnd et que l'on ne peut pas les aligner si facilement...

Comment ? parlez plus fort...

?rajouter une troisième dimension de temps ?

Ok, mais ça suffit pas.... il faut aussi lier les trois dimensions entre elles pour que lorsque l'on se positionne par exemple sur janvier , les deux autres prennent en compte cette période.

Heureusement M$ ( l'inventeur de MDX; respect à Mosha Pasumansky) a pensé à tout : la fonction LinkMember .

Arghh !! Mauvaise Limonade: Julian Hyde, le créateur de Mondrian, ne l'a pas implémenté... voir le ticket si ça dit à quelqu'un(e)..

Dans la troisième partie de cette série on verra comment résoudre le problème:

afficher à partir d'une seule requête MDX le montant du pipe commercial Mois par Mois

Pentaho:calcul du pipe commercial en MDX avec Mondrian - partie 1

2011-08-24T21:07:00.010+02:00

Voilà donc un cas d'école de la vraie vie comme un consultant décisionnel aime à en voir: Comment calculer mois par mois un pipe commercial ?

Bon, le besoin est simple: une entreprise veut connaître mois par mois le montant global des propositions commerciales qui ont été envoyées à ses prospects.

En général l'entreprise a un système de force de ventes qui permet d'extraire ces données là.
Par exemple , un extract serait :
N° de devis, N° de client/prospect, date du devis , date d'expiration du devis (ou date de commande),Montant du devis, etc.

Imaginons que nous voulions savoir la liste de tous les devis actifs sur le mois de janvier.
On va donc devoir identifier les cas possibles; ça se résume à cette image :

La solution SQL:

Bon là c'est facile , il suffit de retranscrire les 4 cas possibles dans les conditions de filtre:

select sum(montant) from Pipe where (datedevis>="01/01/2011" and datecommande<="31/01/2011" or () etc...

Fastidieux, non ?...
Heureusement, Il y a une façon plus élégante de regrouper les filtres:

... where (datedevis <= "31/01/2011") and(datecommande >= "01/01/2011" );

Dans le prochain article j'aborderais la solution MDX pour Mondrian

MacOS X : Lion - mise à jour on the air.....

2011-08-01T10:41:00.005+02:00

Avec Lion, Apple frappe-t-il un bon coup ?

Ce n'est pas sûr mais en tous les cas, le système de mise à jour par le Mac App Store est un sacré plus, en effet, cela va aboutir à une adoption rapide de ce nouvel OS.

Ce système de mise à jour est-il innovant ?

Oui et non, oui pour un OS payant la simplicité d'installation permet pour un néophyte de basculer sans se déplacer et de juste mettre en oeuvre l'installation.
Non, les OS open source proposent depuis longtemps de mettre à jour son OS directement par la mise à jour automatique.
C'est exactement ce qu'a utilisé Apple mais avec un format payant.
Il est évident que le Mac App Store est vraiment le point fort d'Apple pour le déploiement des applications et c'est d'autant plus vrai avec l'OS. Et là, il propose un basculement simplifié.

Dans la pratique direction le Mac App Store, on achète Lion et on télécharge les 3Go et un peu plus du fichier d'installation.

Il est préférable de faire une sauvegarde que ce soit par Time Machine ou autre avant de procéder histoire de ne pas se retrouver planté sans réinstallation de ses données personnelles, cela Apple n'y a pas pensé.

Autre point que je conseille vivement utiliser le logiciel Lion DiskMaker [1.2 – 37 Ko – Français – Mac OS X 10.6 – Gratuit] N'hésitez à faire un don à Guillaume Gete. Ce petit logiciel vous permettra de créer une image d'installation de Lion sur clé USB. Cela peut s'avérer fort utile.

Une fois cela fait, on lance l'installation, cette dernière dure environ 45 minutes.

A priori, vous ne rencontrerez pas de problème particulier, et vous vous retrouverez avec un Lion sous le capot.

Mais, bon, soyons honnête cet OS n'amène pas de chose à couper le souffle le mode plein écran est bien et simplifie l'usage du Multi-bureau un peu fouillis.

Les combinaisons de gestes sur le Trackpad sont eux vraiment bien et simplifient l'usage au quotidien.

Mais, vraiment la grosse avancée qui n'en est pas une est l'installation de la mise à jour OS comme un composant logiciel.

Des clefs pour le Crédit Impôt Recherche

2011-07-28T16:02:00.007+02:00

Le sujet du Crédit impôt recherche étant assez vaste je ne m'attarderais pas sur l'aspect administratif ni sur comment l'obtenir.

Le site du ministère étant très bien fait, je vous le recommande .

Je vous recommande aussi de vous munir du manuel de frascati, publié par l'ocde, qui est la bible dans ce domaine.

Je voudrais aborder plutôt, l'impact du CIR dans le contexte de l'entreprise.

Innovation

Tout d'abord il faut savoir que lorsque l'on est un heureux élu du CIR, on se doit d'innover.

Pour cela, il est important d'avoir défini un objectif scientifique et technique pouvant déboucher sur une application industrielle valable.

Ceci étant posé, on peut se demander de quelle façon les travaux que l'on va déclarer au CIR peuvent être innovants ?

Et la réponse n'est pas forcément facile et immédiate ...

Etat de l'art

Un travail nécessaire avant de faire quoi que ce soit est de constituer un état de l'art en rapport avec le projet engagé. Bon, les scientifiques ( moins les ingénieurs) savent ce que ça veut dire: aller à la pêche aux infos dans les bases de brevet, les bases scientifiques, etc.; bref c'est un travail de veille pur et simple mais qui risque de ne pas être payant à tout les coups.

Mieux vaut donc se rapprocher d'un labo scientifique expert dans le domaine dont c'est le métier (en partie) de faire cette veille. Par la même occasion, on peut même en profiter pour embaucher un doctorant issu de ce labo à moindre frais.

Production R&D

Maintenant que l'objectif et l'état de l'art sont connus, on peu passer à la phase la plus importante qui est celle de ce que j'appelle la production R&D: atteindre l'objectif fixé ( et déclaré au CIR !) en faisant sauter les verrous scientifiques et techniques pour obtenir des résultats tangibles.

Ces aspect là doivent normalement être maîtrisés par les ingénieurs affectés au projet ou au produit à créer.

Par contre il est particulièrement important de mettre en place un cahier de laboratoire pour chaque intervenant qui va permettre de suivre au jour le jour les avancées ou tout au moins les travaux de R&D.

Ce cahier de laboratoire doit pouvoir comporter au minimum

le temps de travail alloué spécifiquement au projet ou produit,
la part éligible au CIR ( tout ne peut pas être inclus dans le CIR)
et enfin un résumé des actions.

Dossier Annuel

C'est sur la base de ce cahier de laboratoire, que sera rédigé le dossier de projet qui devra être fourni à l'administration fiscale en cas de contrôle.

Je recommande de rédiger ce dossier le plus rapidement possible ( généralement en fin d'année)

Ce dossier doit reprendre:

le contexte dans lequel le projet ou le produit a été développé
les objectifs déclarés
l'état de l'art
les travaux effectués avec le détail des jours mensuel par intervenant
les difficultés rencontrées et les verrous
et enfin les progrès accomplis

Contrôle Fiscal

Le contrôle est piloté par l'administration fiscale ( les impôts) et non pas par le ministère de tutelle.

Il se déroule en deux phases ( si tout se passe bien!):

Première phase:

Un contrôleur des impôts s'installe dans les locaux de l'entreprise pendant quelques jours, questionne les responsables et vérifie les chiffres. Lors de cette phase, il est nécessaire que le cabinet comptable soit disponible pour produire l'ensemble des documents demandés par le contrôleur.

Attention, le loup étant dans la bergerie, il est important de maîtriser parfaitement les informations communiquées et de ne pas laisser divaguer la bête à son gré, des propos malheureux tenus par des employés à la machine à café étant vite arrivés...

Deuxième phase:

Un expert du domaine scientifique ou technique en rapport avec le projet ou produit va éplucher le rapport annuel sur le fond et rendre son avis sur le caractère "R&D" des travaux engagés.

là vous ne pouvez compter que sur la qualité de votre rapport.

Attention quand même, il semblerait que les contrôles faits par l'administration fiscale deviennent quasiment systématiques (ce qui serait le cas dans les Bouches du rhône et dans l'hérault) et que l'attribution du CIR dépend des résultats des contrôles des précédentes années.

N'ayant pas de confirmation officielle, ce ne sont que des projections à partir de témoignages.

Pour conclure

Les statistiques du CIR montrent que les petites entreprises bénéficient de 30% du montant annuel du CIR.

C'est donc un élément clef pour le développement d'une start-up techno!

Un rédacteur complémentaire

2011-07-28T15:29:00.001+02:00

Nous avons parmi nous un rédacteur complémentaire en la personne de Mordor.

Avec un nouvel arrivant, cela va me forcer à reprendre la rédaction de nouveaux articles de tech pour les techs.

- Posted using BlogPress from my iPhone

Location:Avenue d'Hawaï,Saint-Cyr-sur-Mer,France

Dropbox et le partage de fichier

2011-02-25T14:03:00.004+01:00

Depuis quelques temps, j'étais à la recherche d'un disque dur virtuel de qualité et surtout efficace sur toutes les plateformes.

J'ai alors fait une bonne découverte certes avec un peu de retard : Dropbox.

Effectivement, je suis sur Mac OS X et il y a bien le iDisk de MobileMe qui est bien intégré mais pas aussi bien fait que le système mis en place par Dropbox. Avec l'iDisk vous devez faire la démarche de synchroniser vos documents sur le Web et donc d'avoir vos fichiers disponibles partout via un browser ou webdav (bien que sous Windows 7 cela ne fonctionne pas super bien).

Dropbox a eu la bonne idée de créer une application Windows, Linux, MacOS, Android, Blackberry, iOS... et surtout de considérer que la synchronisation devait être transparente. Et, là, chapeau, l'outil est réussi et synchronise donc un répertoire Dropbox sur l'ensemble de vos systèmes mais surtout à une vitesse qui vous laisse à penser que vous avez une connexion du tonnerre (Quid : Savez vous pourquoi ? Je l'ai appris il n'y pas longtemps je ferai un article là-dessus).

Et, il faut le reconnaître Dropbox remplace depuis quelques temps ma clé USB avec mes documents que j'échangeais de PC en Mac, de Mac en PC, certes ce n'est pas une backup mais vraiment un outil d'échange.

Certes, on a que 2Go mais c'est amplement suffisant pour mes PDF et autres documents Word.

Apple avait une bonne idée avec l'iDisk mais ils se sont trop axés sur une utilisation purement Mac et n'ont pas pris en compte un environnement Multi OS, en fait, si mais ils n'ont considéré que le Browser et honnêtement ce n'est pas suffisant

Dropbox est donc pour l'outil grand vainqueur pour un fondu de clé USB comme je le suis.

PS: si vous le souhaitez aider moi à gagner des Mo en vous parrainant : http://db.tt/121QWCa

Comprendre la tarification Azure

2011-02-09T22:37:00.004+01:00

Un peu dur de comprendre le principe de tarification des offres de Cloud Computing et surtout de comprendre si l'on peut y être gagnant.

Le principal problème pour moi était le concept de consommation horaire qu'est ce que cela voulait dire ? Que l'on paye en fonction de l'utilisation effective de l'instance que l'on utilise ? Non, il ne faut pas le comprendre ainsi ce n'est pas un forfait téléphonique, oui, bon, je suis un peu nul d'avoir pensé cela mais c'est bien le principe du Pay as You Use, j'ai pensé cela principalement parce que je ne voyais vraiment pas ce que l'on pouvait estimer d'autre. Enfin, la réponse me vient par une personne de chez Microsoft lors des Techdays : "C'est en heure de déploiement sur un type d'instance et par instance".

La base de calcul pour un mois et donc : 24 * 30 = 720h d'où les forfaits à 750h de Microsoft. J'ai enfin une base et j'ai enfin compris.

Comme vous constaterez en allant sur le site Azure, cela représente un coût mensuel de 61€ pour l'instance la plus petite sur 720h, Microsoft base ses calculs sur 750h pour laisser de la marge et surtout permettre éventuellement de déployer sur une deuxième instance pendant des périodes courtes.

Alors, oui, la solution proposée semble attractive mais le calcul est à faire et surtout l'utilisation de cet environnement doit être murement réfléchi par rapport à un environnement mutualisé classique.

Je vais maintenant essayer de faire le même travail pour l'App Engine de Google afin de me faire un comparatif.

En tous les cas, Microsoft cherche à toucher les TPE-PME et cela est vraiment une bonne chose avec un premier prix attractif, mais il faut quand même se poser la question de l'utilité d'une plateforme si complète pour des sites Web extranet ou internet d'entreprise.

Update 1 : Sur un mois de 31 jours 744h rentre bien dans le forfait 750h pas plus de 6h de pique dans le mois.

Les Techdays 2011 - Le cloud consacré

2011-02-09T22:12:00.004+01:00

Comme chaque année en ce début février se tiennent les Microsoft Techdays, et il faut l'admettre comme chaque année ils mettent le paquet.

Les présentations sont toutes de bon niveau et les intervenants sont bien préparés, ce qui est normal mais n'est pas toujours le cas.

Cette année est vraiment la consécration du Cloud selon Microsoft à savoir la plateforme Azure, l'offre est très complète (Windows, Storage, SQL...), quand on pense informatique dans le Cloud, cette solution est une des premières qui vient à l'esprit.

Au cours de cette édition, force est de constater que l'accent est également mis sur les applications Web comme Office On Line, Exchange On Line et surtout de les intégrer dans le concept du Cloud. Ces services en lignes sont maintenant ultra développés, compatible avec la plupart des butineurs et bénéficient d'une tarification plus attractive.

Mais, pendant ces 3 jours, les conférences ne parlent pas que du Cloud mais vraiment de tous les produits Microsoft orientés productivités d'entreprise.

C'est vraiment bien que Microsoft organise cette événement en France, car il faut l'admettre à part cela nous n'avons pas beaucoup d'occasion de participer à ce genre de manifestation. Le WWDC d'Apple coûte une fortune et se situe de l'autre coté de l'Atlantique. Autre point fort, elle est GRATUITE......

Plénière du 9 février 2011

Comme vous le voyez sur cette photo, il y a du public et nous en sommes demandeur, ce serait vraiment bien un show de l'informatique en France à la manière du CES.

Pour 2012, je souhaite les Google, Apple, IBM, ORACLE WWDC et bien sûr les Techdays, pour ces derniers c'est quasi-certain pour les autres un simple voeux.