Jeanpul

Mirroir d'un site via ftp

2013-11-07T02:18:00.001-08:00

En utilisant lftp (pour certains hébergeurs ne pas oublier de désactiver la vérification de certificat : set ssl:verify-certificate no)

lftp ftp.toto.org
user XXX
passwd YYY
cd <rep site hébergé>
lcd <rep site local>
mirror --reverse --verbose --exclude-glob .svn/ --exclude-glob *~

Extraire quelques fichiers d'une archive tar gz

2011-09-08T05:58:00.000-07:00

La commande suivante permet d'extraite un ensemble de fichiers d'une archive à partir d'une expression régulière puis effectue un changement de nom du fichier en sortie pour éviter de se retrouver avec l'arborescence des répertoires.

tar --show-transformed --transform="s,/,_,g;s/BackupSettings_BQBHServer_//" -zxf archive_file.tgz --wildcards '*server*sensor*config*ignore*ppm'

Changer la taille d'une table sous Latex

2011-09-08T05:50:00.000-07:00

Lorsque le nombre de colonnes devient trop important, la table se retrouve alors trop large et déborde de la page. Pour éviter ceci, la solution consiste à utiliser la commande resizebox du package graphics.

\resizebox{\textwidth}{!}{\begin{tabular}{|rrrrrrrrrrr|}
  \hline
 & (-20,-10] & (-10,-5] & (-5,-3] & (-3,-2] & (-2,0] & (0,2] & (2,3] & (3,5] & (5,10] & (10,20] \\ 
  \hline
[0,2] &   0 &   0 &   0 &   0 &  46 &   3 &   1 &   0 &   0 &   0 \\ 
\end{tabular}}

Créer des requêtes SQL Update en utilisant la commande sed

2011-08-24T08:13:00.000-07:00

On utilise la commande sed pour créer un update SQL sur chaque ligne d'un fichier contenant 2 colonnes. La 1ere colonne contient un identifiant alphanum et la deuxième un identifiant commençant par Name_. Les 2 colonnes sont séparées uniquement par 1 seul espace.

sed 's/\(^.*\)\ \(Name_.*\)/update Table set Name="\2" where Id="\1";/' Cols.txt

Assembler un ensemble d'images dans une grille

2011-06-30T02:44:00.000-07:00

En utilisant la commande montage, assembler 8 images sous la forme img_ID_[0-7].jpg dans une grille de 3 colonnes par 4 lignes. ID est l'identifiant unique de l'ensemble. Les images seront disposées comme suit:

vide	vide	img_ID_4.jpg
vide	img_ID_5.jpg	img_ID_2.jpg
img_ID_3.jpg	img_ID_6.jpg	img_ID_0.jpg
vide	img_ID_1.jpg	img_ID_7.jpg

montage -tile 3x4 -geometry '1x1<+1+1' null: null: img_ID_4.jpg null: img_ID_{5,2}.jpg img_ID_{3,6,0}.jpg null: img_ID_{1,7}.jpg grid_ID.jpg

Modifier une date en SQLITE3

2011-06-03T01:54:00.000-07:00

Enlève 1 minute sur une colonne de type TIMESTAMP.

update table set date=strfimte("%Y-%m-%d %H:%M:%S", date, "-1 minutes");

Forcer la synchronisation du temps avec ntpdate

2011-05-24T06:30:00.000-07:00

Tout d'abord être sur que le service ntp ne tourne plus :

service ntp stop

Puis forcer la synchronisation avec la commande ntpdate :

ntpdate -b <server ntp>

Relancer le service ntp

service ntp start

Documentations en libre service

2011-04-08T07:59:00.000-07:00

Sur le site flossmanuals.net on trouve des documentations en ligne également au format PDF pour certaines.

Générer un fichier de traduction po

2011-03-25T06:25:00.000-07:00

Je commence par "parser" les fichiers sources pour obtenir une version "template" du fichier de traduction. Pour cela, j'utilise la commande xgettext

find . -name "*.php" | xgettext --from-code=utf-8 --language=PHP 
          -o TransData.pot -f -

Ensuite, je copie TransData.pot en TransData_es.po par exemple et effectue la traduction. Enfin, je termine par la génération du fichier mo

msgfmt -o TransData.mo TransData_es.po

Trucs et astuces...

2011-03-15T01:49:00.000-07:00

Utilisation de rsync à travers ssh

rsync -avz -e ssh --exclude "*~" --exclude ".svn" login@hostname:/dirsource dirdest

Forcer ntp à se synchroniser

service ntp stop ; ntpd -q -g -x ; service ntp start

La boucle for type C en Bash

for((i=0; i < 16; i++)); do
echo $i 
done

Remplacement type sed "simple" en Bash

dst=${string/exp/rep}

Live coding

2011-01-11T07:22:00.000-08:00

Sur ce site on trouve pas mal d'informations sur le "live coding"

A lire...

2011-01-04T00:48:00.000-08:00

Voici un livre très intéressant sur la programmation parallèle. J'ai découvert le lien sur un post du 3 janvier 2011 sur lwn.net.

Développer des applications Adobe Flash sous GNU/Linux

2010-11-09T07:25:00.000-08:00

On peut développer des applications Flash sous GNU/Linux en utilisant les outils d'Adobe.
Voici les points essentiels qui me permettrons de mettre en place une application Flash.

Téléchargez et installer le Flex SDL. A cette date, j'utilise la version 3 complète (environ 110Mo)
Mettre en place l'environnement Web local (apache2 et le fichier crossdomain.xml)

Voici un exemple d'un fichier crossdomain.xml pour le développement, ce fichier est à copier à la racine du Web local.

<?xml version="1.0"?>
<cross-domain-policy>
<allow-access-from domain="*" />
</cross-domain-policy>

Après avoir désarchivés les fichiers du SDK, j'installe le compilateur en utilisant un script bash et le player flash par un lien symbolique.

#!bin/sh
<chemin vers flex_sdk_3>/bin/mxmlc $*

Cela permet au compilateur de retrouver les répertoires lib, ... qui sont spécifiés de manière relatives.

Pour compiler un fichier mxml ou bien as et générer un swf il suffit de faire :

mxmlc <nom du fichier mxml ou as>

Concernant, le développement, les différentes documentations fournies par Adobe en ligne sont suffisantes.

Cependant, juste pour rappel, le langage ActionScript 3 est orienté objet et possède la notion d'interfaces (comme chez Java).
Au final, on peu s'étonner de la ressemblance entre FlexSDK/ActionScript et JDK/Java.

SSH use for distant office

2010-10-12T07:39:00.000-07:00

Make things automatic

When I am at home, I usually need remote access to my servers at work, to check some documents or to fill some data on our CRM. We are using openssh access to do remote maintenance of our products so I decide to provide that for remote access from home.

The idea is to make most of the configuration automatic so I have wrote a configuration file for that (~/.ssh/config).

Host job
Hostname job.jeanpul.com
User jeanpul
Port 999
LocalForward *:8080 192.168.0.20:80
ControlMaster yes

With this configuration file, using the following command

ssh job

open a SSH connection to job.jeanpul.com on port 999 and then gives access to the Web server of the distant machine 192.168.0.20 on the local port 8080.

Browse your Intranet without URL redirection problems

So, then I reach the office Intranet network using the http://localhost:8080/ but all the absolute URL cannot be reached. So URL's like :

<a href="/PHPMyAdmin/index.html">PHPMyAdmin</a>

works because it's leads to http://localhost:8080/PHPMyAdmin/index.html but

<a href="http://server1.office.net/PHPMyAdmin/index.html">PHPMyAdmin</a>

failed because server1.office.net have no meaning locally.

The solution I used was to install and configure a Web proxy. I used privoxy with the following configuration part

forward   job.jeanpul.com    localhost:8080
 forward   server1.office.net localhost:8080

Then I configure my browsers to use this proxy and URLs such as

http://server1.office.net/PHPMyAdmin/index.html

are correctly managed.

Removing password input

I have configured my SSH server to support remote connexion using private/public key so I never enter the user password anymore.

To do so, I have generated a private/public key :

ssh-keygen -t rsa

Then, I have copied the public part to the SSH user on the remote access :

ssh-copy-id -i ~/.ssh/id_rsa.pub job.jeanpul.com

Sharing my Wifi connection

2010-10-12T00:37:00.000-07:00

Sometimes, I need an Internet access on my "old" computer at home using my private Wifi network. I don't have any Wifi device on my computer and I need to move my computer close to the ADSL Router . So, I use some iptables commands on my laptop, to provide an Internet access to my "old" computer.

> iptables --table nat --append POSTROUTING --out-interface wlan -j MASQUERADE
> iptables --append FORWARD --in-interface eth0 -j ACCEPT
> echo 1 > /proc/sys/net/ipv4/ip_forward

This require that my "old" computer have access (same network domain), to my laptop and set its gateway to its eth0 ip adress.

> ifconfig eth0 inet 192.168.1.34
> route add default gw 192.168.1.35

finally, DNS is also configured.

Archiver ses mails avec IMAP

2010-10-05T06:51:00.000-07:00

Cela fait 7 ans que je suis dans la même société et j'ai toujours conservé mes mails. Cela m'arrive d'avoir besoin de revenir quelques années en arrière pour récupérer une info sur un projet ou des contacts. Au départ, j'utilisait un compte POP3 et mes mails étaient donc archivés sur mon compte utilisateur. Nous avons ensuite changé de fournisseur et par la même occasion nous sommes passés sur IMAP.

Je peux, aujourd'hui, consulter mes mails depuis n'importe quel accès Internet, cependant j'ai récemment découvert que la taille de la boîte mail avait une limite de 2Go, dérisoire par rapport à mon ancien espace de stockage... Autre problème, mes anciens mails stockés sur mon disque local ne sont pas sur le serveur IMAP donc pas visible depuis l'extèrieur.

La synchro entre deux comptes IMAP...

L'idée est de créer plusieurs boîtes mails d'archives, par exemple jeanpul2010, jeanpul2009, ... et de transférer les mails de la boîte "principale" vers la/les boîtes archives. Pour faire le transfert, je vais commencer par utiliser un soft, développé par Gilles LAMIRAL. Cet outil se nomme imapsync. La ligne de commande est on ne peut plus simple,

imapsync -host monserveurimap.net --user1 jeanpul --password1 jp --user2 jeanpul2010 --password2 jp --noauthmd5

Cela permet de transférer (synchroniser) l'ensemble des mails (avec les folders) d'un compte vers un autre. Chez mon fournisseur (et cela ce comprend), chaque compte à une limite quotidienne de réception en nombre de mails, par conséquent lorsque il y a trop de mails à transférer, la commande échoue. On peut interrompre la commande et la relancer le lendemain sans problème, les mails déjà existant ne sont pas copiés.

...puis entre un maildir et un compte IMAP

Utiliser imapsync permet donc un archivage régulier sans trop de soucis. Cependant, dans mon cas, il me reste à rendre accessible mes mails qui sont stockés sur ma machine.

Utiliser un serveur IMAP local
J'utilise la solution Courier qui comprends un serveur IMAP tournant sur le répertoire contenant les mails au format maildir. Mes mails étaient stockés par kmail au format maildir... de kmail. Le format est "quasiment identique", avec un répertoire par folder contenant 3 sous répertoires cur, new et tmp. La solution Courier contient un binaire, maildirmake, qui permet de créer l'arborescence comme il le faut et d'y ajouter des folders. Cette commande m'a permit de comparer le format maildir de "kmail" au format maildir de Courier afin d'automatiser le passage de l'un à l'autre.

Manipuler des comptes IMAP par scripts

Pour aller plus loin et faire des opérations plus précises sur les comptes IMAP, j'ai découvert l'utilitaire imapfilter qui permet d'exécuter un script écrit en Lua et une API pour accéder et manipuler les comptes IMAP.

Voici un exemple de script permettant de copier (à la façon de imapsync mais sans la synchro) les mails et les folders d'un compte vers un autre pour une année donnée.

function copy_year(year, src, dst)
   results = src:sent_before('01-Jan-' .. (year+1)) * src:sent_since('01-Jan' .. year)
   results:copy_messages(dst)
end

function get_folder(folders, folder)
   for k, v in ipairs(folders) do
      if v:upper() == folder:upper() then
        return v
      end
   end
   return false
end

function copy_folders_rec(year, folder, src, dst)
   for _, f in ipairs(src:list_all(folder)) do
      dstfolder = get_folder(dst:list_all(folder), f)
      if not dstfolder then
        dst:create_mailbox(f)
        dst:subscribe_mailbox(f)
        dstfolder = f
      end
      copy_year(year, src[f], dst[dstfolder])
      copy_folders_rec(year, f, src, dst)
   end
end

srcaccount = IMAP {
   server = 'localhost',
   username = 'jeanpul',
   password = 'jp'
}

dstaccount = IMAP {
   server = 'imap.server.net',
   username = 'jp2007@jeanpul.com',
   password = 'jp'
}

copy_folders_rec("2006", null, srcaccount, dstaccount)

J'utilise plus volontiers cette méthode car elle me permet également de faire tout un tas d'opérations de filtrage, de création/suppression et la gestion des dates est très pratique.

La suite...

Maintenant que mes mails sont archivés, accessibles depuis n'importe quel poste connecté à Internet, il me reste quand même un problème... les filtres. En effet, il serait bienvenue d'avoir ces filtres au niveau du serveur IMAP, sinon, il faut systématiquement avoir les mêmes règles de filtrages (sur certains clients Web, les filtres n'existent même pas) sur chaque client mail (Thunderbird, kmail, evolution, ...). En utilisant les scripts et imapfilter, cela pourrait être réalisable, cependant cela nécessiterai l'exécution des scripts depuis ma machine.