Je développe mon idée en quelques mots (j’essaie de rester simple) : pour chaque domaine que vous voulez servir avec un serveur web il vous faut (dans la plupart des cas) DEUX éléments : un ndd (nom de domaine dns) pointant vers cette adresse IP et un serveur web répondant à ce ndd préalablement établi. Et c’est sur ce 1er élément que l’on va jouer : imaginez un serveur web avec quelques noms de domaines (sans vraiment d’importance), un domaine catch-all (voir articles précédents pr en savoir +), et puis surtout notre domaine ‘caché’. Pour les besoins de l’explication on va le nommer :

secret.help.org

Imaginez maintenant que ce ndd soit défini sur le serveur http mais pas sur les dns, pas moyen d’y accéder vous allez me dire? Bah oui si je tape l’adresse ip du serveur directement je tombe sur le catch-all, un des autres domaines de ce serveur, sur le nom de domaine désigné.Et si je tape le nom de domaine je vais atterrir quelque part dans les méandres du web, mais pas sur mon serveur, puisque j’ai pas déclaré le nom de domaine.

C’est justement là dedans que réside toute la finesse de l’histoire : il faut réussir à faire la liaison entre ce serveur là et le nom de domaine donné pour que ça marche. Si vous avez une adresse IP fixe, une entrée dans votre fichier hosts vers l’ip en question. C’est l’IP de mon serveur et il va de soi qu’il n’y a pas d’interface admin “cachée” dessus.

92.243.12.0     secret.help.org

Si c’est une connexion à IP dynamique, soit vous updatez chaque fois dans le fichier hosts la nouvelle ip chaque fois qu’elle change soit vous faites en sorte qu’il y ait un dyndns ou quelque chose du genre avec un AUTRE DOMAINE que secret.help.org (par exemple dyndns.help.org) et dans un serveur dns INTERNE a votre système (sur la bécane cliente elle-même ou votre réseau local) vous enregistrez un CNAME entre secret.help.org et dyndns.help.org. Mais de nouveau ne publiez pas ce ndd sur le net.

Cet article est p’têtre un peu bordélique donc n’hésitez pas à poser des questions si vous comprenez pas ;)

Pour cela rien de plus simple: les instructions concernant les directives d’auth peuvent se trouver dans 2 endroits :

• /etc/apache2/
• votre /var/www à vous

On va devoir fouiller ces deux endroits, et pour le premier.

/etc/apache2/

Rien de tel qu’un petit :

grep -r AuthUserFile /etc/apache2/*

• grep : je ne présente plus
• -r : mode récursif
• AuthUserFile : la partie qui doit toujours précéder un path de fichier de mdp dans la config d’apache
• le path vers le répertoire de config d’apache

/var/www

Vous pourriez utiliser le même grep, mais celui s’avère très lent. Donc je préfère la solution ci dessous.

 find /var/www -iname .htaccess -ls -exec grep AuthUserFile {} \;

• find : no comment
• -iname .htaccess : chercher uniquement les fichiers .htaccess
• -ls : les lister
• -exec grep {} AuthUserFile

J’ai voulu mettre des screenshots mais il y a trop d’infos confidentielles à flouter, so j’ai laissé tomber.  Les commandes devraient vous suffire

Faut d’abord commencer par logguer tout ce qui passe sur la machine pour pouvoir traiter les données après. Commande on ne peut plus simple :

Tcpdump

screen tcpdump -w tcp.dmp

• screen : surtout pour éviter que le dump s’arrete au logout de la session ssh (oui screen intercepte le signal SIGHUP qui force l’arrêt des programmes)
• tcpdump : sniffer de traffic
• -w tcp.dump : au lieu de tout m’afficher à l’écran tu me l’écris dans ce fichier.

Après avoir déconnecté (ctrl+A+D pr quitter screen) et laisser la commande tourner pendant quelques heures vous vous reconnectez sur le serveur, vous interrompez avec un tit ctrl + C tcpdump (screen -r pour retourner dans le screen abandonné).

Vous rapatriez le fichier en local scp, sftp ou autre (il n’est pas trop gros en 7h30 de capture il fait 40Mo pour moi). Et vous l’ouvrez avec wireshark.

Wireshark

Vous pouvez maintenant avoir PLEIN d’infos sur ce qui s’est passé sur votre serveur pendant votre absence. Pour chaque affichage vous pouvez trier par la colonne de votre choix.

Les protocoles qui ont été utilisés (bcp de tunnelling ssh pour mon cas)

Quelles sont les conversations qu'il a tenu en IPv4

Et celles en TCP (udp étant svt bêtement du DNS)

Le plus interessant : avec qui et sur quel port il a parlé

Voilààààà en espérant que ça vous a aidé et que je vais me faire linker par @woueb :-P

LogFile=”"

Et d’y mettre le path du nouveau fichier de log.

Je parlerai dans un autre poste de la partie affichage grâce à nginx, ici on parse déjà les bons fichiers de log, c’est déjà pas mal.

Heu, et si j’avais oublié?

C’est là que ça se corse. Nginx fait automatiquement du renommage puis de la compression de ses anciens logs. Et donc quand awstats parse le log, il ne parse que les requêtes du jour. Il va donc falloir tout décompresser, agréger, demander à awstats de parser, puis nettoyer nos déchets.

Décompression

Allez dans le /var/log/nginx/ repérez le nom de domaine/log qui vous intéresse faites en sorte de lister que les ACCESS log gzippés.

ls lgnap.helpcomputer.org-access.log*.gz #pour moi par exemple :)

faites un gunzip sur ces fichiers

gunzip lgnap.helpcomputer.org-access.log*.gz

Rangement

ensuite il nous faut les ranger dans le bon ordre

ls lgnap.helpcomputer.org-access.log* | sort -Vr

• sort : permet de trier
• -V : trie par version (et comme chaque fichier est suffixé par un numéro de “version” c’est niquel)
• -r : inverse (pour avoir la plus vieille version au début)

Agrégation

Il faudra encore afficher le contenu de chaque fichier du ls et tout globaliser dans un seul fichier. J’ai fait un mini script pour ça, le voici :

#/bin/sh
 
LIST=`ls lgnap.helpcomputer.org-access.log* | sort -Vr`
for i in $LIST
do
        cat $i >> lgnap.agregated.log;
done

Parser ce fichier

Cfr la première étape vous allez indiquer le path du fichier dans lequel on a tout agrégé. Forcer le parsing du fichier avec la commande suivante :

/usr/lib/cgi-bin/awstats.pl -config=lgnap.helpcomputer.org

• awstats.pl le script
• -config= “nom-de-domaine” (extrait de /etc/awstats/awstats-nom-de-domaine.conf)

Un petit message vous dira ce qui a été parsé avec succès, vous n’avez plus qu’a faire comme si tout ceci n’avait jamais eu lieu et mettre le fichier de log de nginx original “/var/log/nginx/lgnap.helpcomputer.org-access.log” dans le fichier de config.

Nettoyage

Il faudra ensuite (pour bien faire) regzipper les fichiers que vous avez gunzippé

gzip …

Et supprimer le fichier où on avait tout agrégé aussi lgnap.agregated.log

Enjoy ;)

Sources

• http://www.zmanda.com/quick-mysql-backup.html
• http://openconcept.ca/mysql_permissions_for_backup
• http://dev.mysql.com/doc/refman/5.0/fr/mysqldump.html
• http://sql-info.de/mysql/notes/compressing-mysqldump-output.html

Et bien pour les serveurs web c’est la même chose. Si vous ne spécifiez pas un host traité par le serveur dans l’url (par exemple une IP directe ou un nom de domaine pas prévu pour être utilisé sur le serveur web) on ne sait pas trop où il vous emmène. Voilà l’intérêt de ce serveur/domaine ci, le savoir et contrôler ce sur quoi ils peuvent tomber.

Bref, voici le code :

server {
	listen localhost:8888 default; # le default indique que c'est le 'domaine/server' catchall
	server_name _; # This is just an invalid value which will never trigger on a real hostname.
	server_name_in_redirect off;
 
	index index.php index.htm index.html; #fichiers servant d'index qu'il va essayer de charger
 
	#J'ai pris le parti d'activer l'autoindex sur ce domaine
	location  /  {
		autoindex  on;
		autoindex_exact_size off;
	}
 
	#nginx status pour munin (mais uniquement accèssible depuis localhost pr des raisons de sécurité)
        location /nginx_status { #copied from http://blog.kovyrin.net/2006/04/29/monitoring-nginx-with-rrdtool/
                stub_status on;
                allow 127.0.0.1;
                deny all;
        }
 
	#on empeche la lecture d'htaccess qui traineraient
	location ~* \.htaccess$ {
		deny all;	
	}
 
	#On passe les php a fastCGI
	location ~ \.php$ {
		include        fastcgi_params;
		fastcgi_pass   localhost:9000;
		#fastcgi_index  index.php;
		fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;
	}
 
	root  /var/www/nginx-default; #Document root (le dossier du serveur en fait...)
 
	#logs
	access_log  /var/log/nginx/catch.all-access.log;
	error_log  /var/log/nginx/catch.all-error.log;
}

#!/bin/sh
 
while true
do
#establish a ssh tunnel between localhost port 5555 and distant 2424
#tunnel enabled
  echo -n "connection restart : " >> tunnel.log
  date --rfc-3339=seconds >> tunnel.log
  ssh -L 5555:localhost:2424 user@host
#connection dropped, logging, wait (socket issue if not) and restart
  echo -n "connection dropped : " >> tunnel.log
  date --rfc-3339=seconds >> tunnel.log
#after a short sleep and try again ;-)
  sleep 10
done

Nul besoin de dire qu’il faut des clés ssh pour pouvoir se connecter sans mdp sur un serveur distant et que il est approprié de n’offrir aucun droit sur le serveur ou presque à l’utilisateur qui se connecte en utilisant cette clé. Juste du port forwarding, ni plus ni moins.

Afficher ou pas les caractères cachés peut se faire avec la commande (toggle function):

:set invlist

Ceci permet de les afficher

:set list

Et ceci fait la commande inverse

:set list!

Vous choisissez celle que vous retenez le plus facilement.

Document avec les caractères tels quels

Les deux caractères que j’aime voir sont les fins de ligne et les tabulations j’offre donc un traitement particulier à ces caractères avec la commande suivante :

:set lcs=eol:$,tab:>-

Document avec les caractères ‘améliorés’

Tout ça venant de la bonne grosse doc officielle.

Il vous suffit de glisser le code ci entre la ligne DAEMON= et DAEMON_ARGS (la place n’a pas beaucoup d’importance tant que c’est dans les variables du début en réalité)

# Specify the requests limit for a php instance (prevent memory leaks)
PHP_FCGI_MAX_REQUESTS=500
export PHP_FCGI_MAX_REQUESTS;

J’ai mis à jour la configuration dans mon script init.d évoqué précédemment donc si vous voulez tout le script n’hésitez pas.

Il explique comment choisir les valeurs les plus critiques dans apache (MaxClients, Keepalive, Timeout, MaxKeepAliveRequests, MinSpareServers, MaxSpareServers, StartServers, MaxRequestsPerChild) en suivant une procédure plutôt bien expliquée.

Je propose une version step-by-step (pour débuter) suivie d’une sorte de raisonnement mathématique (pour juste avoir les calculs).

Step by step version

• Lancer top
• Prendre dans la colonne RES la plus grande valeur utilisée par apache2
• Quitter top (appuyer sur q)
• Couper apache : service apache2 stop
• Vérifier qu’apache est bien arrêté : ps -C apache2 devrait ne rien renvoyer
• Noter la mémoire utilisée (commande free -m lire sous la colonne used la ligne mem)
• Trouver la mémoire que votre machine ou VPS vous propose/garanti.
• Soustraire la mémoire utilisée de cette valeur garantie cela vous donnera une valeur que l’on notera FREE MEMORY POOL
• Multiplier cette dernière valeur par 0.8 de façon à avoir une valeur que l’on nommera  AVAILABLE APACHE POOL (nous laissons 20% pour les périodes de burst)
• Diviser cette dernière valeur par la valeur RES récoltée au point 2. Ceci vous donne la valeur MaxClients de votre apache2.conf

Ne pas oublier que chaque valeur spécifiée dans le fichier de config doit être entière et non décimale. Une valeur inférieure vous fera peut être un serveur un tout petit peu plus lent mais avec nettement moins de risque qu’il parte dans les choux à long terme. Pensez y…

• Ouvrer votre apache2.conf et changer la valeur MaxClients.
• Mettre KeepAlive à Off (le serveur traitera plus de requêtes/seconde avec cette valeur à on mais ce dernier prendra plus de mémoire -si vous n’avez pas laissé 20% de marge  dans l’AVAILABLE APACHE POOL alors ne mettez pas la valeur à On–)
• Si vous avez mis KeepAlive à on settez la valeur la plus basse possible pour KeepAliveTimeout. Si vous rencontrez des problèmes de latence avec votre serveur augmentez la valeur vers 2-5 secondes
• Un bon TimeOut devrait être de 10-30 si vos clients sont en xDSL/Cable, 30-120 devrait être ok pour les liaisons “d’antan”
• MaxKeepAliveRequests devrait être égal au nombre max d’objets que vous avez dans une page, si vous n’en n’avez pas la moindre idée une valeur entre 70-200 devrait suffir.
• MinSpareServers est égal à 10-25% de MaxClients
• MaxSpareServers est égal à 25-50% de MaxClients
• StartServers doit être égal soit à la valeur de MinSpareServers ou MaxSpareServers : quand apache est (re)démarré, c’est le nombre de serveurs qui sont automatiquement lancés en même temps. Si vous avez un site à petit trafic, il vaut mieux le faire correspondre à la valeur Min, sinon à la valeur Max.
• MaxRequestsPerChild à mettre entre 500 (si vous voyez des augmentations rapides de consommation mémoire dans les enfants) et 10000 (Si vous n’avez pas la moindre fuite mémoire dans vos apps). Une valeur de 0 signifierait que les process enfants ne sont jamais killés ce qui pourrait résulter en une grande consommation mémoire inutile.
• Sauvegarder le fichier et relancer apache : service apache2 restart

Pseudo-code version

<?php
/*J'ai décidé de l'écrire en pseudocode/php car ça me semblait être le plus adapté pour la coloration syntaxique, ce n'est PAS du php executable!!! */
 
const BURST_RESERVE = 0.8;
 
$consoMaxProcess = max(RES memory/apache process);
arreter apache;
$memoireUtilisee = free -m > ligne mem, colonne used;
$memoireGarantie = free -m > ligne mem, colonne total (or specs server);
$FREE_MEMORY_POOL = memoireGarantie - memoireUtilisee;
$AVAILABLE_APACHE_POOL = $FREE_MEMORY_POOL * BURST_RESERVE;
MaxClients = $AVAILABLE_APACHE_POOL / consoMaxProcess;
 
if (lowest memory || BURST_RESERVE > 0.8){
	KeepAlive Off;
}else{
	KeepAlive On;
	KeepAliveTimeout 1;
	if (high latency with server){
		KeepAliveTimeout 2-5;
	}
}
if (client xDsl/Cable)
	Timeout = 10-30;
else //dialup link
	Timeout = 30-120;
 
MinSpareServers = 10-25% MaxClients;
MaxSpareServers = 25-50% MaxClients;
if (High-traffic site)
	StartServers = MaxSpareServers;
else
	StartServers = MinSpareServers;
 
MaxRequestsPerChild = 0; //child processes never being killed, higher overall memory use -> dangerous
 
if (rapid apache child process memory use growth)
	MaxRequestsPerChild = 500;
if (no leaks in your applications)
	MaxRequestsPerChild = 10000;
//Quelque part entre ses deux valeurs selon la "qualité" de votre code
?>

Source (en anglais) : https://www.virtacoresupport.com/index.php?_m=knowledgebase&_a=viewarticle&kbarticleid=102

location ~*\.htaccess$ {
deny all;
}

Et ça veut dire que pour toutes les url (non sensible à la casse ~*) finissant ($) par .htaccess (le \ devant servant à échapper le . de la regexp), on en refuse tout simplement l’accès (deny all).
Le client va se manger une jolie erreur 403 quand il essaiera de consulter le htaccess ;-)

Évidemment les .htpasswd et autres où vous auriez pu stocker vos mdp ou autres sont à protéger aussi.
Petit indice : les deux noms de fichiers contiennent ‘.ht‘ pourquoi ne pas faire une regexp là dessus? Enjoy it!

Sources :

• Doc officielle de la directive location
• Doc officielle de deny/allow