Tarpoon's blog

Optimiser son Bash : modifier la taille de l'historique

2009-11-05T13:30:00.002+01:00

Par défaut, l'historique des commandes lancées dans son Bash est limité au 500 dernières commandes lancées (ce qui est la plupart du temps largement suffisant).

Pour modifier cette taille et conserver dans son historique les 1000 dernières commandes exécutées, il faut ajouter une des 2 lignes suivantes dans votre fichier ~/.bashrc :

HISTSIZE=1000
ou
HISTFILESIZE=1000

Optimiser son Bash : éviter les duplications dans son historique

2009-11-04T14:08:00.001+01:00

Il m'arrive souvent d'exécuter la même commande plusieurs fois de suite et chaque exécution est stockée dans mon fichier d'historique bash (.bash_history) ce qui est assez pénible quand on veut revenir sur un commande précédemment tapée.

Il existe un paramétrage très simple à faire pour demander au Bash d'ignorer les commandes identiques dans l'historique : HISTCONTROL

Pour cela ajouter la ligne suivante dans votre fichier ~/.bashrc :

HISTCONTROL=ignoredups

Script de sauvegarde MySQL

2009-03-25T01:20:00.006+01:00

Je sais que beaucoup de personnes on leur petit script maison de sauvegarde MySQL mais personnellement, il m'est déjà arrivé de devoir en mettre un en place très rapidement et à chaque fois, il faut se replonger dans la documentation MySQL pour les options. :-(

Ce script est très simple mais il permet malgré tout d'effectuer la sauvegarde de chaque schéma d'une instance MySQL dans un fichier horodaté séparé et compressé avec bzip2 (c'est avec cet algorithme que j'obtiens le meilleur taux de compression sur mes sauvegardes MySQL) . Il ne reste plus qu'à le paramétrer sous crontab (toutes les nuits par exemple) et c'est parti !

#!/bin/bash
# Script de sauvegarde MySQL v5.0
MYSQL_LOGIN=backup_login
MYSQL_PASSWORD=backup_password
BACKUP_DUMP_ROOT=/backup/mysql
echo "# Sauvegarde des Bases MySql"
echo "# DUMP=${BACKUP_DUMP_ROOT}"
timestamp="$(date +%Y%m%d-%H%M%S)"
prefix=`hostname`
# Sauvegarde de chaque Base dans un fichier
for database in `echo "show databases" | mysql -u${MYSQL_LOGIN} -p${MYSQL_PASSWORD} -N`
do
BACKUP_FILE="${BACKUP_DUMP_ROOT}/${prefix}-mysql-backup-${timestamp}-${database}.sql"
echo "#$(date +%Y%m%d-%H%M%S)# DEBUT Sauvegarde de [${database}] in [${BACKUP_FILE}]"
mysqldump --quick --add-locks --extended-insert --lock-tables --allow-keywords --default-character-set=latin1 -c -u${MYSQL_LOGIN} -p${MYSQL_PASSWORD} ${database} | bzip2 -9 > ${BACKUP_FILE}.bz
retour=$?
if [ "$retour" -eq "0" ]
then
echo "#$(date +%Y%m%d-%H%M%S)# La sauvegarde s'est correctement deroulee"
else
echo "#$(date +%Y%m%d-%H%M%S)# La sauvegarde s'est terminee en ERREUR"
fi
echo "#$(date +%Y%m%d-%H%M%S)# FIN Sauvegarde de [${database}] in [${BACKUP_FILE}]"
done
exit $retour

Voici la liste des options utilisées dans le script :

-q | --quick

ne garde pas en buffer les requêtes mais écrit immediatement sur la sortie

--add-locks

ajoute dans le fichier de sauvegarde une instruction LOCK TABLES avant et UNLOCK TABLES après pour accélérer les insertions dans MySQL

-e | --extended-insert

utilise la nouvelle syntaxe INSERT multi-ligne (plus courtes et plus efficaces)

--lock-tables

Verrouille toutes les tables avant de commencer l'export. Les tables sont verrouillées avec READ LOCAL pour permettre des insertions concurrentes sur les tables MyISAM

--allow-keywords

Permet la création de colonnes ayant des noms de mots réservés. Cela fonctionne en préfixant chaque nom de colonne avec le nom de la table.

--default-character-set=latin1

le charset par defaut (si ce paramètre n'est pas spécifié alors utf8 est utilisé)

-c | --complete-insert

insertion complete avec les noms de colonnes

Pour plus d'options de paramétrage de mysqldump, n'hésitez pas à aller consulter la documentation MySQL en ligne et à partager vos trouvailles ou optimisations.

Tests de charge distribués avec Apache JMeter

2009-02-21T17:16:00.001+01:00

Apache JMeter est un outils graphique écrit 100% en java permettant d'exécuter des tests fonctionnels et de mesurer les performances du système sur lequel ces tests sont executés. Initialement, JMeter était prévu pour tester des pages web mais rapidement, des extensions ont été ajoutées pour pouvoir tester différents type de serveurs (base de données, ldap, jms, mail, ...).

Une des fonctionnalités de JMeter est de pouvoir simuler autant d'utilisateurs que nous voulons afin de pouvoir effectuer des tests de montée en charge mais lorsque nous souhaitons simuler un grand nombre d'utilisateurs, une seule machine pour effectuer l'injection peut être insuffisante, il faut donc configurer l'outils pour les tests soient executés par plusieurs machines en parrallèle.

Pour se faire, JMeter doit être installé sur chaque machine devant jouer les tests.

Démarrez l'ensemble des noeuds esclaves (les machines qui exécuterons les tests) avec le script ${JMETER_HOME}\bin\jmeter-server.bat et notez leurs adresses IP.

Ensuite, avant de démarrer la console graphique de JMeter pour pouvoir lancer nos tests, il faut déclarer les noeuds esclaves dans les fichiers de configuration de JMeter. Pour cela, il faut éditer le fichier de configuration ${JMETER_HOME}\bin\jmeter.properties et renseigner la variable remote_hosts avec les IP des machines esclaves :

[bash]
#---------------------------------------------------------------------------
# Remote hosts and RMI configuration
#---------------------------------------------------------------------------

# Remote Hosts - comma delimited
remote_hosts=127.0.0.1, 192.168.0.57
#remote_hosts:localhost:1099,localhost:2010

# RMI port to be used by the server (must start rmiregistry with same port)
#server_port=1099
[/bash]

Dans cet exemple, j'ai ajouté une machine en plus de la machine maître, mais nous pouvons tout à fait utiliser 15 machines esclaves et supprimer l'IP de la machine maître (127.0.0.1) afin que celle-ci ne se contente de jouer les rôles d'ordonnanceur et de collecteur de résultat (ce qui est vivement conseillé quand il y a beaucoup de machines esclave).

Une fois ce fichier de configuration mis à jour, nous pouvons démarrer la machine maître et utiliser la console :

Sur la capture d'écran, on voit qu'on a maintenant 3 possibilités :

lancer les tests avec la machine maître (menu: Démarrer)
lancer les tests avec une seule des machines configurées (menu: Démarrage distant > choisir la machine)
lancer les tests avec l'ensemble des machines configurées (menu: Démarrage distant de tous)

Voilà, c'est donc très simple :-)

Nuage de mots avec Wordle

2009-01-09T00:03:00.001+01:00

j'ai trouvé le site sympa et j'ai voulu voir ce que cela donnait avec mon Blog

Pour essayer c'est sur : http://www.wordle.net

Miroir Eclipse français, petit bilan

2008-12-20T00:51:00.002+01:00

Juste un petit post rapide pour faire un petit bilan chiffré de la bande passante que m'utilise le miroir Eclipse que j'ai mis en place il y a bientôt maintenant 6 mois (le 05/07/2008 très exactement).

Les chiffres au 19/12/2008 sont :

	Visites	Pages	Hits	Bande passante
juillet	6632	10 0228	100 396	749.18 Go
aout	6090	89 493	89 580	675.76Go
septembre	7126	115 794	116 030	821.03 Go
octobre	8270	97 779	97 871	1126.88 Go
novembre	7912	193 493	193 671	981.73 Go

Pas trop mal non ;-) ?

Miroir Eclipse Français

2008-07-06T16:39:00.001+02:00

Ça fait quelques temps déjà que je voulais devenir miroir Eclipse et c'est maintenant chose faite depuis le 05/07/2008 ! Je ne suis pas miroir de l'intégralité d'Eclipse mais des parties suivantes :

Eclipse Platform - Full => 28 Go

Release Builds
Stable Builds
Updates Only

Release Trains (Europa, others) => 2 Go
Callisto Simultaneous Release => 2 Go

le tout disponible en HTTP sur http://mirror.tarpoon.org/eclipse

Quelques statistiques pour les 2 premiers jours (la journée du 06/07 n'est pas encore terminée) :

Jour	Visites	Pages	Hits	Bande passante
05 Juil 2008	42	69	91	5.34 Go
06 Juil 2008	75	251	252	8.20 Go

On va voir si ma dedibox tient la charge !

Ils sont complètement dingues ... !

2008-06-26T08:01:00.000+02:00

Ganymede ... à vos téléchargements

2008-06-24T22:33:00.000+02:00

L'accouchement du nouveau bébé de la fondation Eclipse est terminé ... il se prénome Ganymede.

A vos téléchargements !

Voici en plus, quelques liens pour aller plus loin ou pour patienter durant le téléchargement :

Dedibox v2 ou ... le retour des Freeze

2008-06-03T22:24:00.000+02:00

Tout content de pouvoir bénéficier pour le même prix d'un machine 2x plus puissante (sur le papier en tout cas) et avec 2x plus de RAM, j'ai souscrit à une Dedibox v2 Standard le 7 mai 2008.

Réception et déballage de la bête le 19 mai 2008 (rapide quand même !). Installation de ma distibution linux favorite, une Ubuntu 8.04 LTS 64bits, et en quelques minutes et c'était parti.

Méfiant, avant de démarrer la migration de ma bonne "vieille" Dedibox v1 vers cette nouvelle machine, j'installe quelques applications qui vont solliciter la machine pendant quelques jours afin d'être plus confiant de la stabilité de la bécane.

Au bout d'une semaine sans soucis ... Go ... je démarre ma migration et progressivement, je déplace tous mes services sur le nouvel environnement qui encaisse tout ça sans broncher :-) cool.
Hier soir, alors que ma migration est quasiment terminée, j'active le backup de mon système, je le test ... impec ... tout s'upload et la première sauvegarde est faite !

Quelle bonne idée j'ai eu de faire ça hier soir car ce matin, alors que ma sauvegarde journalière était en train de se dérouler et de tout transférer sur le serveur de backup ... CRASH à 6h45 ... plus de Dedibox !!!!! Reboot Soft de la bécane via la console d'admin ... rien ... reboot Hard ... toujours rien ... bon et bien il faut tout de même partir au boulot :-( on verra tout ça ce soir mais ça me rappel de mauvais souvenirs avec ma Dedibox v1.

... c'est long une journée ...

Ca y'est, tout le monde est couché, c'est reparti.

Reboot en Rescue Mode, montage des partition et lecture des logs et là je tombe sur ces lignes dans /var/log/kern.log qui m'intrigues :

Jun 3 06:54:36 XXXXXXXX kernel: NETDEV WATCHDOG: eth0: transmit timed out
Jun 3 06:54:36 XXXXXXXX kernel: eth0: Transmit timeout, status 00000005 00000000
Jun 3 06:54:44 XXXXXXXX kernel: NETDEV WATCHDOG: eth0: transmit timed out
Jun 3 06:54:44 XXXXXXXX kernel: eth0: Transmit timeout, status 00000005 00000000
...
Jun 3 07:13:08 XXXXXXXX kernel: NETDEV WATCHDOG: eth0: transmit timed out
Jun 3 07:13:08 XXXXXXXX kernel: eth0: Transmit timeout, status 00000005 00000000

et après ___________________________ plus rien

Petite recherche sur Google puis sur http://www.dedibox-news.com et là, je me sens beaucoup moins seul :

www.placeoweb.com

www.dedibox-news.com

Donc à priori, la piste remontée par un certain nombre de personnes est des problèmes de carte réseau lors d' "échanges à fort débit" (tient étrange, pour moi, cela s'est justement passé lors du transfert de mes sauvegardes vers la machine distante), d'autres mettent en cause le kernel Dedibox et disent avoir résolu leurs problèmes en passant sur un kernel standard Ubuntu ... qui croire ?

Pour moi ce soir cela va être changement de kernel dans un premier (et au moins je peux le faire moi même), si cela ne donne rien, je tenterai un changement de machine !

... affaire à suivre ...

Supprimer le caractère ^M avec Vi

2008-06-03T15:18:00.000+02:00

Qui n'a jamais transféré un fichier texte depuis windows vers unix sans faire un transfert ASCII et se retrouve avec le caractère ^M à chaque fin de ligne ?

Et bien avec Vi, une commande suffit à tous les enlever -> :1;$ s/r//g

Redirection stdout et stderr en Shell

2008-05-20T23:07:00.000+02:00

Comment rediriger la sortie d'erreur standard et la sortie standard dans un même fichier dans un Shell Unix ? voici 2 cas toujours très pratiques :

rediriger STDOUT et STDERR dans un fichier

/mon/script/ou/ma/commande > /mon/fichier/de/sortie.log 2>&1

rediriger STDOUT et STDERR dans un fichier compressé avec bzip2

/mon/script/ou/ma/commande 2>&1 | bzip2 -9 > /mon/fichier/de/sortie.log.bz2 2>&1

Il y a plein d'autres possibilités mais il faudrait plus qu'un post dans un blog pour les détailler.

A chaque fois que j'en ai besoin, j'ai oublié et je suis obligé d'appeler Google au secours donc cette fois, je pousse ça dans mon Blog !

SpringSource en français

2008-05-07T21:51:00.000+02:00

Le site de SpringSource possède sa version (très partielle pour le moment ?) en français. En espérant que cette version du site francisée va permettre de lancer et d'animer une communauté francophone des utilisateur de Spring.

http://www.springsource.fr

Eclipse 3.4 M7

2008-05-03T11:17:00.000+02:00

La futur version Eclipse 3.4 avance à grands pas. La version 3.4 M7 est désormais disponible.
Quelques évolution majeurs :

le compilateur java eclipse sait maintenant exploiter les systèmes multi cpu/core (ECJ : Eclipse Compiler for Java)
support des archives au format RAR

Tout le détail de cette version ici.

SpringSource fait son serveur d'Application

2008-05-01T12:02:00.000+02:00

Ça y'est, ils l'ont fait, SpringSource vient de créé son propre système de serveur d'application basé sur OSGi (l'implémentation Equinox d'Eclipse), un micro-noyau maison (SpringSource dm-kernel), du Tomcat, ....

Plus d'informations sur SpringSource.

Atlassian IDE Plugin

2008-04-24T22:51:00.000+02:00

Atlassian met à disposition gratuitement un plugin IDEA pour Jira, Crucible et Bamboo.
Ils envisagent de fournir ces plugins pour d'autres environnements de développement comme Eclipse et Visual Studio.

Plus d'infos ici.

Dedibox lance une nouvelle génération de serveurs

2008-04-09T11:52:00.000+02:00

Dedibox lance une nouvelle génération de serveurs dédiés, environ 3 fois plus puissants que la gamme actuelle, avec un disque dur 3 fois plus gros et avec 3 fois plus de mémoire vive.

Ces serveurs "Dedibox XL" sont proposés à 49.99€ / mois (contre 29.99 € / mois pour la gamme standard).

Retrouvez les détails ci-dessous.

Dedibox propose une nouvelle génération de serveurs

Fidèle à la stratégie du Groupe Iliad consistant à faire bénéficier ses abonnés des dernières innovations technologiques au meilleur prix, Dedibox lance une nouvelle génération de serveurs conçus en collaboration avec Intel®.

Deux fois plus performant que la génération précédente, l'offre d'hébergement dédié lancée en mai 2006 s'appuie désormais sur :

un processeur Intel® Celeron®,
un disque dur de 160 Go SATA2,
1Go de RAM DDR2
une offre de connectivité à très haut débit de 100 Mbps.

Cette offre est proposée au prix inchangé de 29,99 € HT/mois, sans engagement de durée.

De plus, fort de son expérience et afin de répondre au mieux à l'évolution croissante des besoins en matière d'hébergement Internet, notamment avec l'essor important des applications «Web 2.0», Dedibox lance une nouvelle offre haut de gamme, « Dedibox XL », permettant d'offrir à ses abonnés un serveur avec un très haut niveau de fiabilité et de performance. Cette offre est composée :

d'un processeur Intel® Core™2 Duo T7200,
de 3Go de RAM DDR2,
d'un disque dur de 500Go SATA2,
d'une offre de connectivité à très haut débit de 100 Mbps.

« Dedibox XL » est accessible pour 49,99 € HT/ mois, sans engagement de durée.

source : freenews.fr

Prism Bundle pour Deezer et Delicious

2008-03-01T13:52:00.000+01:00

J'ai fait 2 bundle Prism permettant d'accéder aux sites :

Deezer (musique en ligne) : ici.
Del.icio.us (gestion de bookmarks) : ici

Prism Bundle pour Remember The Milk

2008-02-11T23:03:00.000+01:00

J'ai fait un nouveau bundle Prism permettant d'accéder un site Remember The Milk (gestionnaire de Todo Liste) : ici.

Inauguration du Paris Java User Group - JUG

2008-01-29T22:13:00.000+01:00

Le Paris JUG est un groupe d'utilisateurs Java ayant pour but de réunir les acteurs du langage (professionnels, communautés open source, institutions, étudiants, enseignants...) afin d'échanger des idées et de discuter des avancées technologiques de la plateforme Java.

Ces rencontres ont lieu tous les deuxièmes mardis du mois. Les réunions sont gratuites, ouvertes à tous et consistent en une présentation technique, une démonstration d'un produit, ou une table ronde. Après la réunion les personnes se retrouvent généralement autour d'un verre et d'un mini-buffet.

Venez nombreux à l'inauguration qui aura lieu le mardi 12 février pour les encourager.

Abonnez-vous à la mailing list pour être tenu au courant des évènements.

Quel outils pour la couverture de tests ? round 2

2008-01-29T01:20:00.000+01:00

Continuons notre études des outils de mesure de couverture de tests.

Je devais entre autre chose comparer nos 3 outils sur plus de code. Après avoir cherché quel code source analyser (hibernate / Spring / Tomcat ... pas sous Maven 2, Geronimo ... trop énorme pour le moment sur ma machine, ...), je me suis arrêté sur sur le code de Apache Struts 1.3.9.

Ce projet contient (selon Clover 1 & 2) :

114 621 LOC (Clover 1) / 119 525 LOC (Clover 2)
50 080NCLOC (Clover 1) / 52 999 NCLOC (Clover 2)
323 tests (selon le rapport maven surfire) qui passent à 100 %

Première constatation, Clover 1 et Clover 2 ne sont pas d'accord sur le nombre de LOC et NCLOC !

A la lecture des rapports Maven, grosse déception, Cobertura et EMMA ne font pas d'aggrégation des résultats de couverture de tests pour les projets multi-modules (Struts 1.3.9 en contient 9) ! il a donc fallu que j'aggrège ça moi même ...

Voici les résultats :

Cobertura : 12,8 % (Branche) - 15,4 % (Line)
EMMA : 27,9 % (Class) - 21,1 % (Method) - 23,0 % (Block) - 22,9 % (Line)
Clover 1 : 16,3 % (TOTAL)
Clover 2 : 15,4 % (TOTAL)

Le résultat de l'analyse est cette fois plus mitigé. Tout d'abord, Clover 1 et Clover 2 ne sont plus complètement alignés. Cobertura semble cohérent avec Clover (surtout Clover 2). Quand à EMMA, ses résultats (aggrégés par mes soins) sont complètements différents. Il y a une explication à cette différence : EMMA ne sort aucun rapport sur les modules qui ne contiennent pas de tests unitaires et donc on n'a pas pu prendre en compte une partie du code source pour la couverture Globale.

Classement à l'issu de ce 2ème round :

Clover 2 + Cobertura (1er car les 2 outils sortent le même taux)
Clover 1 (d'une courte tête)
EMMA (loin derrière)

Quel outils pour la couverture de tests ?

2008-01-27T16:45:00.000+01:00

Connaître son taux de couverture de tests est important mais quel outils choisir ? sont-ils tous égaux ? mesurent-ils tous la même chose, de la même manière ? c'est ce que j'ai essayé de voir en testant 3 outils bien connus des développeurs java :

Pour faire simple dans un premier temps, je n'ai pas essayé de mesurer mon propre code mais j'ai utilisé le projet jakarta commons-configuration 1.5.

Ce projet contient (selon Clover 1 & 2) :

33 023 LOC
15 628 NCLOC
1229 tests (selon le rapport maven surfire) qu ipassent à 100 %

Voici les résultats :

Cobertura : 81 % (Branche) - 88 % (Line)
EMMA : 96 % (Class) - 93 % (Method) - 86 % (Block) - 88 % (Line)
Clover 1 : 87,6 % (TOTAL)
Clover 2 : 87,6 % (TOTAL)

Première constatation, les 3 outils ne fournissent pas les mêmes indicateurs. EMMA fournit 4 niveaux différents de taux de couverture, Cobertura 2 et Clover uniquement 1. Pour moi, le taux de couverture le plus important est celui qui porte sur le taux de couverture des lignes de code.

Il semblerait donc que ces 3 outils soient cohérents et indique tous le même taux de couverture : 88 % (en arrondissant pour Clover).

Cette première étude est donc concluante mais ne permet pas de choisir pour le moment quel outils utiliser en me basant uniquement sur les résultats sur ce projet relativement simple. Il faut donc effectuer la même mesure sur :

une plus grosse quantité de code (Tomcat ? JBoss ?Hibernate ? ...)
du code qui a des tests qui échouent (afin de voir si ces tests sont pris en compte dans le taux de couverture)
... ?

Il faut aussi prendre en compte la richesse des rapports fournis par ces 3 outils, les fonctionnalités complémentaires comme la possibilité de générer un historique, la disponibilité d'un plugin maven, d'un plugin pour Eclipse (mon IDE favoris), ...

Optimisation et customisation Firefox

2008-01-19T13:38:00.000+01:00

Tout le monde a ses recettes de cuisine et ses préférences pour customiser et optimiser son Firefox mais voici les miennes :

liste à suivre ...

Prism Bundle pour FeedBurner

2008-01-19T13:29:00.000+01:00

Nouveau Bundle Prism de disponible pour FeedBurner : ici

Bundles pour Prism

2008-01-18T23:36:00.000+01:00

j'utilise désormais Prism mais il manque des Bundles pour ouvrir certaines de mes applications (il y a bien moyen de paramétrer un raccourcis via le menu option en bas à droite dans la fenêtre de Prism mais dans ce cas par exemple, je ne peux pas avoir la zolie icône du site qui va avec :-( ).

Comme je suis sympa, je vais les mettre à disposition depuis mon wiki : http://wiki.tarpoon.org/display/TIPS/Prism

Pour le moment j'en ai fait 2 et je compte bien en faire d'autres :