Statosphere, les statistiques du web

La légitimité des Présidents de la République face au résultat des scrutins

2012-05-09T08:30:00+02:00

Sur le plan des données chiffrées, chaque second tour d'élection présidentielle dessine sa propre physionomie. Plusieurs paramètres peuvent être pris en compte : le nombre d'inscrits, de votants, d'exprimés et, bien entendu, les suffrages des candidats en lice. Il est dès lors facile d'en déduire le taux d'abstention ainsi que le nombre de votes blancs ou nuls. Toutes ces données concourent à faire du vainqueur un président plutôt "bien" ou "mal" élu.

En d'autres termes, c'est la question de la légitimité conférée par la répartition des voix qui se posent à l'échelle de la France toute entière. Lorsque le site Atlantico titre sur le taux très élevé de votes blancs et nuls lors du second tour des présidentielles 2012, il évoque sans le dire la fragile légitimité des présidents élus par moins de la moitié des votants. Cependant, dans cet article (apparemment sans auteur), il est indiqué que "c'est la première fois dans l'histoire de la 5ème république que le nombre de bulletins blancs et nuls est aussi élevé". Or, cette affirmation est fausse !

À l'issue du scrutin du second tour, aucun record n'a été battu en 2012

Comme après chaque scrutin présidentiel, l'heure est au bilan et aux comparaisons. Pour commencer, bien que le nombre d'inscrits soit en progression constante depuis 1965, il apparaît que ce n'est pas le cas du nombre de votants aux scrutins présidentiels du second tour dont l'évolution indique des baisses en 1969, 1995 et 2012 : elles s'expliquent par une progression plus forte du nombre d'abstentionnistes que du nombre d'inscrits. Ainsi, en 2012, malgré une augmentation du nombre d'inscrits (simple reflet de la croissance démographique), on n'enregistre pas pour autant un nombre de votants, d'abstentionnistes ou d'exprimés record.

En proportion, même constatation : sur les 9 scrutins de second tour des élections présidentielles de la 5ème République, le taux d'abstention de 2012 se classe à la 6ème place (devant 1969, 1995 et 2002), et le taux de votes blancs ou nuls, qualifié de "record" par Atlantico, à la 7ème place (devant 1969, 1995, et assez proche de 2002). On retiendra que ces scores figurent tout de même parmi les plus élevés (le taux d'abstention de 2012 est notamment 3.62 points au dessus du précédent, en 2007).

Au regard de cette première série d'observations, on peut dire que François Hollande n'a, en tout cas, pas été plus "mal élu" que Georges Pompidou (1969) ou Jacques Chirac (1995). Bien que l'analyse soit basée essentiellement sur des chiffres de scrutins comparables entre eux, il convient de rappeler que les élections ont toutes des spécificités liées au contexte social ou aux partis politiques en lice : par exemple, en 1969 et 2002, le second tour opposait deux partis de droite (dont un parti de centre droit en 1969 et un parti d'extrême droite en 2002), tandis qu'en 2007, le faible taux d'abstention était justement la conséquence de 2002.

De l'importance du taux de votes blanc et du taux d'abstention

La part des suffrages des deux candidats s'opposant au second tour est calculée sur la base de l'ensemble des suffrages exprimés : ça, c'est le système retenu en France pour établir les scores du second tour et déterminer le nouveau Président de la République. Mais supposons maintenant que la part des suffrages soit calculée non pas sur les "exprimés" mais sur les "votants" (en incluant les votes blancs ou nuls) ou les "inscrits" (en incluant les abstentionnistes).

Calculés sur la base des exprimés, les suffrages de l'ensemble des élus à l'issue du second tour correspondent aux chiffres officiels, ceux traditionnellement communiqués. Bien que les 82.11% de Jacques Chirac (2002) et les 58.21% (1969) de Georges Pompidou constituent des cas particuliers (compte tenu des candidats qualifiés au second tour représentant à chaque fois deux partis de droite), toutes les autres élections présidentielles voient son vainqueur récolter entre 50.81% (1974) et 55.20% (1965) des suffrages.

En revanche, calculés sur la base des votants, les résultats montrent tout l'impact des votes blancs ou nuls. Ainsi, seules deux élections consacrent des Présidents de la République n'obtenant pas la majorité absolue dans ce contexte : Jacques Chirac en 1995 (49.50%) et François Hollande en 2012 (48.63%). Évidemment, ce constat constitue un argument central pour les défenseurs du vote blanc qui souhaitent, d'une part, que la distinction soit faite entre le vote blanc et le vote nul, et d'autre part, que le vote blanc puisse être comptabilisé dans le total des "exprimés".

Enfin, calculée sur la base des inscrits, seule l'élection de Jacques Chirac en 2002 consacre un président avec plus de 50% des suffrages (62.00%). En revanche, trois élections consacrent un président avec moins de 40% des suffrages : François Hollande en 2012 (39.08%), Jacques Chirac en 1995 (39.43%) et Georges Pompidou en 1965 (37.51%).

François Hollande, un président parmi les "moins bien élus"

Bien qu'il s'agisse d'un cas particulier, la réélection de Jacques Chirac en 2002 consacre, et de loin, le Président de la République le "mieux élu" de la 5ème République (82.21% des suffrages exprimés, 77.78% des votants, 62.00% des inscrits). Inversement, du fait du très fort taux d'abstention (31.15%) enregistré en 1969, Georges Pompidou est le Président de la République le "moins bien élu" par rapport au nombre d'inscrits (37.51%). Enfin, François Hollande est le Président de la République le "moins bien élu" par rapport au nombre de votants (48.63%).

Toutes ces considérations sont naturellement virtuelles et bassement mathématiques, puisque seuls les résultats calculés sur la base des suffrages exprimés comptent. Car pour appréhender l'ampleur de la légitimité de l'élection de François Hollande, il faudra vraisemblablement observer l'issue des élections législatives et les rapports de force installés au sein de l'hémicycle à compter de juin 2012.

Je mets à votre disposition tous les tableaux et graphiques de cet article dans ce fichier Excel (clic droit puis enregistrer sous).

L'intelligence collective au service de Mappiness pour mesurer le bonheur

2012-05-07T08:45:00+02:00

Le sujet peut d'abord prêter à sourire. Il n'en est pas moins très sérieux et concerne même des enjeux politiques de développement économique : comment peut-on mesurer le Bonheur National Brut ? Bien que posée en ces termes simples, la question reste néanmoins complexe. Imaginé comme un indice complémentaire au Produit Intérieur Brut et à l'Indice de Développement Humain, la croissance du BNB passerait entre autre chose par la promotion de la culture, la croissance économique ou la sauvegarde de l'environnement.

Or, cette bonne idée se heurte à un fait tout simple : le bonheur n'est pas quantifiable. Ainsi, bien qu'on soit en mesure d'inventorier des facteurs de bonheur, il reste extrêmement compliqué d'en tirer un indice synthétique objectif et équilibré, c'est à dire capable de refléter le ressenti réel de la société. Les développeurs de Facebook avaient entrepris une première expérience sur la base de la tonalité positive ou négative des statuts postés sur le réseau social.

Mappiness souhaite mesurer l'hédonisme en Grande Bretagne

Conscients de ces limitations, des universitaires du département "Géographie et Environnement" de la London School of Economics & Politics Science ont créé Mappiness, une expérience en ligne dont l'objectif (comme le laisse entendre l'intitulé du projet) est de cartographier le bonheur en Grande Bretagne. Les deux concepteurs sont en effet convaincus que le bonheur est lié au contexte environnemental et plus particulièrement à des facteurs de pollution de l'air, de bruit et d'espaces verts. Le moyen adopté pour concrétiser ce projet est une application iPhone. Malheureusement, vous l'aurez compris : ce projet n'est réservé qu'au territoire du Royaume Uni.

Après avoir fourni quelques informations statistiques de base, vous êtes sollicités une à cinq fois par jour (selon vos paramètres préalablement configurés). Cela prend quelques secondes à peine : il faut indiquer si vous êtes accompagnés, dans quel type de lieu vous vous trouvez et bien entendu, si vous êtes heureux. L'application se charge de relever votre situation géographique, l'intensité du bruit ambiant et d'envoyer une photo si vous acceptez d'en prendre une. Naturellement, tout ceci est certifié anonyme, confidentiel et sécurisé.

Mappiness profite des bienfaits de l'intelligence collective

Les utilisateurs de l'application peuvent naturellement suivre l'évolution de leur propre coefficient de bonheur au fil des réponses apportées aux multiples sollicitations. Les résultats sont également consultables à l'échelle du projet tout entier. Assez précis, l'indicateur est recalculé toutes les heures, en fonction de la localisation géographique et du niveau de bonheur (sur une échelle de 1 à 5). Tout ceci repose sur le principe d'intelligence collective, puisque les résultats observés résultent en définitive de la consolidation de plus de 3 millions de mesures réalisées par près de 50000 participants au projet.

La rubrique "Maps" propose une carte répartissant géographiquement les différents degrés de bonheur. Première constatation, il apparaît clairement que le bonheur est souvent plus intense dans le pays que dans la capitale. Pourtant, si les "hedonimeters" (présentés dans la rubrique "Meters") confirment bien cette tendance, ils révèlent néanmoins en soirée un bonheur souvent plus élevé à Londres que dans le reste du pays. Bien qu'il soit probable que le niveau de bonheur instantané soit directement lié à des évènements intimes (décès, naissances, mariages etc...) ou à des émotions partagées (défaites, victoires d'une équipe de football), les conclusions de l'expérience permettent de tirer d'autres enseignements.

Mappiness permet d'identifier des sources de bonheur objectives

Souvent triviaux, les enseignements de l'expérience Mappiness permettent néanmoins de confirmer des tendances habituellement difficiles à quantifier. En février 2011, lorsque George MacKerron présente le projet à l'occasion de TEDxBrighton, il déroule la liste des facteurs influençant potentiellement l'indice de bonheur : il évoque en particulier le type d'habitat, les conditions climatiques, l'environnement social et l'activité. Comme on peut s'en douter, les week-ends enregistrent un meilleur "score de bonheur" que le reste de la semaine.

Par ailleurs, à l'aide d'un histogramme, il démonte le mythe du "Blue Monday" : depuis une campagne publicitaire menée en 2005, les britanniques entretiennent en effet cette légende que le jour le plus déprimant de l'année serait le lundi de la dernière semaine complète de janvier. Enfin, on a la confirmation que parmi les occupations en extérieur, ce sont les activités sportives qui contribuent le plus au bonheur, et que dans le contexte environnemental, ce sont les montagnes, les côtes maritimes et les forêts les plus corrélés à la notion de bonheur.

L'intégralité de votre présence sur Twitter analysée par Visibrain

2012-05-01T08:45:00+02:00

Visibrain se présente comme un service qui se donne pour objectif de faciliter l'analyse des tendances sur Twitter, en temps réel. Particulièrement perfectionniste, les concepteurs français de cet outil n'ont rien laissé au hasard et distancent aussitôt toute concurrence tant les bonnes idées des uns ont été incorporés et les mauvais aspects des autres soigneusement évités. Voyons ce que Visibrain apporte à la liste pourtant déjà longue de services statistiques se consacrant à l'analyse des tweets.

Une concurrence confrontée aux limitations techniques de l'API Twitter

Il a déjà été question de Crowdbooster, de Twoolr ou de Trendistic dans ces pages : si les deux premiers proposent essentiellement une analyse de l'activité intrinsèque de votre compte (évolution du nombre de followers, nombre de retweets, nombre d'impressions), le troisième s'emploie à mesurer l'apparition d'une liste de mot-clés (mais se révèle malheureusement peu efficace sur les tendances francophones). On pourrait également évoquer Tweetreach et son système de rapport faisant la synthèse d'un échantillon de tweets consacrés à un mot-clé.

D'emblée, et contrairement à Tweetreach justement, Visibrain s'affranchit d'une première contrainte essentielle, celle liée aux limitations techniques imposées par l'API gratuite de Twitter via laquelle seuls les 1500 premiers tweets sont remontés (ou les tweets de la dernière semaine) : Visibrain a en effet pris le parti de baser ses tableaux de bord sur l'exploitation de l'exhaustivité des tweets publiés ce qui, comme nous le verrons, a un coût puisque pour ce faire, Visibrain doit acheter la version payante de l'API Twitter.

Extrait de l'analyse sur un mois de la présence de Jean-Luc Mélenchon (onglet Overview)

Toute la puissance de l'outil : l'analyse de l'exhaustivité des tweets

Visibrain permet de dresser un panorama global de l'apparition d'une marque ou d'une personnalité sur Twitter. Le service est avant tout une solution B2B, particulièrement efficace lorsqu'il s'agit d'observer les interactions en période électorale (en suivant une personnalité politique) ou d'évaluer l'étendue d'un buzz (en suivant un nom de marque ou de produit). Le service se révèle un précieux outil autant pour gérer une crise (mauvaise publicité, problème d'e-réputation, emballement médiatique etc...) que pour identifier un engouement (bonne presse, succès d'une offre commerciale, popularité d'une mesure politique...).

Extrait de l'analyse sur 24 heures de la présence de Nicolas Sarkozy (onglet Overview)

Les tableaux de bord sont particulièrement complets et s'articulent entre l'analyse démographique (sexe, pays, langue...), sémantique (hashtag, expression, compte Twitter souvent mentionné...), sociologique (statut familial, centre d'intérêt, profession) et technique (nom de domaine publié, type de logiciel client utilisé, contenu des tweets : texte, vidéo, photo, audio) des tweets. Un niveau de granularité très fin proposé sur l'ensemble de ces rubriques rend largement possible de "creuser" chaque aspect de l'analyse, notamment grâce à un filtre (réalisable à partir de n'importe quelle métrique). Onglet par onglet, vous profitez d'un focus sur les notions qui vous intéressent plus particulièrement.

Extrait de l'analyse sur une semaine de la présence de l'HADOPI (onglet Analysis)

Les modalités du service et les futures améliorations de l'outil

En résumé, Visibrain brille par la diversité et la richesse des métriques mis à notre disposition. Il est également très intéressant et rare de profiter d'une analyse reposant sur l'exhaustivité des tweets. À noter également, la possibilité d'exporter les données en toute simplicité (fichier CSV avec séparateur). Forcément, tous ces atouts ont un coût : entre 100 et 1500 euros par mois selon le nombre de requêtes à surveiller. Comme évoqué plus tôt, Visibrain est une solution exclusivement destinée aux entreprises : il n'est donc pas prévu de version épurée dédiée au grand public.

Extrait de l'analyse sur 24 heures de la présence de François Hollande (onglet Data)

En revanche, l'équipe de Visibrain planche déjà sur plusieurs axes d'amélioration. Elle envisage un blog dont l'objectif sera de démontrer l'efficacité de Visibrain en présentant quelques études de cas reposant sur des tendances observées grâce à l'outil. Une nouvelle notion est également envisagée : la possibilité de mesurer la tonalité des tweets ou leur orientation psychologique. Mais comme l'équipe souhaite faire simple (mais sans pour autant faire simpliste !), cet aspect est pour le moment en cours de réflexion. D'un point de vue purement technique, on peut également espérer une optimisation des délais d'exploitation de la base de données (même si on se doute bien qu'il faut du temps pour traiter jusqu'à plusieurs dizaines de millions de tweets mensuels).

En définitive, via ses tableaux de bord, Visibrain donne accès à toute l'intelligence collective agrégée par un réseau social comme Twitter. C'est un outil qui favorise et accélère la prise de décision tant les indicateurs en temps réel sont pertinents et rapides d'accès. Bien entendu, si ce type d'analyse ou de synthèse vous intéresse, n'hésitez pas à me contacter et nous pourrons en parler.

ElectionScope : que penser du modèle prédictif qui voit Sarkozy l'emporter ?

2012-04-16T08:45:00+02:00

Incompris, comparés à de l'astrologie, traités avec dédain par une presse souvent hilare, force est d'admettre que les modèles prédictifs pâtissent généralement d'une mauvaise presse en France. Aussi, lorsque deux économistes annoncent la victoire de Nicolas Sarkozy au second tour de la présidentielle avec 50.3% de voix, il n'en faut pas plus pour que toute la gauchosphère intellectuelle s'en amuse lourdement ou s'en offusque ostensiblement.

L'objectif de cet article n'est pas tant de déterminer si le modèle prédictif est valide, que de débroussailler un peu le sujet et vérifier la crédibilité de la démarche réalisée par les deux économistes : identifier les méthodes, les mécanismes, l'intérêt du procédé...

Bienvenu dans l'Inquisition contemporaine !

Il y a au moins trois réactions possibles à la conclusion-choc de ce modèle :

l'accueil par le dénigrement, le cynisme et/ou l'ironie car il est hors de question d'approfondir le sujet ni d'identifier ne serait-ce qu'un bout d'élément probant dans la démarche de ces deux universitaires.
il y a éventuellement la curiosité "polie" : on s'en tiendra à ce que veut bien nous expliquer Le Parisien, L'Expansion, Le Figaro ou L'Express sans creuser plus loin, et clore cette lecture d'une légère moue sceptique.
enfin il y a la curiosité saine, celle qui consiste à croiser les informations et à juger sur pièce en fonction de l'ensemble des éléments portés à notre connaissance et en tirer les conclusions qui s'imposent.

Autant vous dire que sur le site d'actualité des chercheurs en mathématiques du CNRS, c'est la première méthode qui prédomine. Je ne rentrerais pas dans la doxa de ces professeurs de mathématiques qui préfère balayer l'annonce d'un revers de main en citant (très maladroitement) un sketch de Coluche, et en invalidant le bien fondé du modèle sur l'unique fait que l'information est relayée par le Figaro et signée de la main de deux chercheurs dont le cursus universitaire est, à priori, imprécis. L'article et ses commentaires sont postés par des mathématiciens de tout poil n'hésitant pas à comparer les travaux des deux économistes ni plus ni moins à de "l'amusette", de l'astrologie, de la fantaisie, de l'ânerie, ou même n'ayons pas peur des mots, à de la "magie" ! (sic)

Les principes de base d'un modèle prédictif

Rappelons d'abord un des principes de base d'un modèle prédictif. Plus il dispose d'informations, moins il se trompe. Aussi, s'il venait à se tromper sur l'issue du deuxième tour de la présidentielle française, le modèle ne devrait pas nécessairement être évincé. Par contre, et c'est là que la démarche est intéressante, les nouvelles données (ayant amené à l'échec du modèle ancienne version) devrait simplement permettre de l'améliorer, car jusqu'à preuve du contraire, un modèle prédictif est juste. Toute la difficulté et l'objectif de la démarche est d'élaborer un modèle capable de ne jamais se tromper, ou en tout cas le plus tard possible.

Un autre aspect qui devrait pourtant jouer en sa faveur auprès du grand public est que, contrairement aux sondages, un modèle prédictif n'a pas vocation à mesurer une situation du présent. Il essaye d'anticiper la mesure d'un résultat final, à partir de données connues dont il s'alimente au moment de l'élaboration du modèle. C'est d'ailleurs ainsi qu'une nouvelle estimation à 50.2% était avancée sur la base des dernières données trimestrielles du chômage (disponibles depuis quelques jours). Le terme consacré est celui de "simulation". La démarche qui vise à élaborer un modèle prédictif est particulièrement pertinente puisqu'il s'agit d'identifier des variables explicatives d'un résultat final : elles constituent une sorte de dénominateur commun, déterminant pour la faisabilité du calcul.

Les rouages du modèle prédictif d'Electionscope

L'overfitting (qu'on pourrait traduire par les "effets non modélisés"), dénoncé par nos éminents mathématiciens, est un biais qui intervient lorsqu'un modèle statistique est exagérément complexe (trop de paramètres pour trop peu d'observations) ou lorsqu'il donne trop d'importance au "bruit" ou à l'erreur aléatoire. Le risque est d'exagérer l'influence de tendances mineures détectées dans les données. Dans l'exemple qui nous intéresse, je me risquerais à dire que ce n'est vraiment pas le cas...

Le modèle repose sur le principe de la théorie économique du vote : les électeurs évaluent la situation et votent en conséquence. Si celle-ci est globalement bonne, alors le vote sera favorable au sortant (vote "récompense"). Inversement, si la situation n'est globalement plutôt pas bonne, alors l'électeur votera en faveur de l'opposition du sortant (vote "sanction") : il s'agirait donc d'une sorte de "référendum sur la gestion du parti sortant". La situation est un premier levier de décision : le vote tient moins compte des promesses électorales que du bilan du président sortant.

Mais les facteurs politiques ne suffisent pas : de fait, le vote n'est pas un acte résolument pragmatique ou réaliste, ni forcément idéaliste. Notre intention de vote pour un candidat n'est pas automatiquement en adéquation parfaite avec les idées (donc les programmes) qu'on souhaite défendre. C'est d'ailleurs ce que nous révèle le Comparacteur 2012 en mesurant un taux d'affinité des électeurs envers les programmes des candidats. Apparemment, l'électorat serait plutôt favorable aux programmes de François Hollande, François Bayrou, Eva Joly et Nicolas Dupont-Aignan. Dans la pratique, on le sait, le quatuor de tête annoncé par les sondages d'intention de vote est tout autre.

Aussi, Electionscope indexe son modèle prédictif en grande partie sur l'évolution du taux de chômage, un indicateur particulièrement déterminant et "écrasant" dans l'évaluation de l'état de santé du pays. Il prend également en compte le taux de croissance, l'ampleur du déficit public, la cote de popularité et la perception de la situation des Etats-Unis.

Les précédentes prédictions "réussies" du modèle et les hypothèses

En l'état, le modèle intègre 38 années d'historique de résultats politiques et économiques. Bruno Jérôme et Véronique Speziari affirment que le modèle a fonctionné en France avec le résultat final des législatives de 1997 et 2002 ou avec 80% des villes de taille moyenne lors des municipales 2001. Il a également prédit avec succès le résultat des trois dernières élections présidentielles françaises et américaines (avec deux mois d'avance), ainsi que les législatives de 2005 en Allemagne. Certains aspects fragilisent néanmoins la stabilité du modèle par leur caractère exceptionnel, comme les cohabitations (1995 et 2002) ou le fait que le président sortant brigue un second mandat (2002 et 2012).

Les instituts de sondage tablaient encore récemment sur un taux d'indécis situé entre 30 et 36% (selon OpinionWay, IPSOS, IFOP, début avril 2012). Cela tend à ne pas invalider immédiatement la prédiction du modèle plaçant Nicolas Sarkozy au second tour avec 50.2% de suffrage. En tout cas, il convient de se demander ce qu'il adviendra de l'électorat d'indécis dans les prochains jours. Pour autant, on ne peut guère tirer d'autre conclusion de cette prédiction que celle qui consiste à envisager un entre deux tours particulièrement déterminant. Car, selon le modèle et contrairement à ce qu'affirment pour le moment les sondages d'intention de vote, les deux qualifiés seraient au coude à coude, et les marges d'erreur (évaluées à plus ou moins deux points) pourraient faire basculer la prédiction dans un sens comme dans l'autre.

Et si, paradoxalement, le rapport de défiance que les français sont de plus en plus nombreux à entretenir à l'égard des sondages engendrait une surestimation de l'électorat de gauche ? D'une part, la pression médiatique tend à effacer les "petits" candidats, dont le traitement est loin d'être équitable : les médias traditionnelles n'hésitent d'ailleurs pas à jouer le rôle d'une caisse de résonance favorable aux cinq favoris sur le plan de l'occupation du terrain médiatique. Mais est-on bien sûr que cette pression n'induit pas non plus une sous estimation de l'électorat de Nicolas Sarkozy ? Affublé du statut de candidat sortant au bilan largement critiqué, il n'est pas à exclure que Nicolas Sarkozy profite d'une espèce de "vote caché" le 6 mai prochain (le "Sarkozysme honteux" de certains électeurs).

D'ailleurs, à l'instar du lobby anti-sondage français perpétré par cette caste de sociologues et politologues gauchistes, je ne peux m'empêcher de croire que le principal défaut de ce modèle pour ses détracteurs est qu'il annonce la victoire d'un candidat qui n'est pas le leur. Mon côté provocateur pourrait presque me donner envie que le modèle voit juste...

Immanquables ! Les projets de datavisualisation de l'artiste Eric Fischer

2012-04-12T08:45:00+02:00

Dans un précédent article, j'évoquais à quel point, lorsque les statisticiens et les designers se rencontrent, cela converge vers de l'art. Force est d'admettre qu'avec ses réalisations, Eric Fischer donne véritablement ses lettres de noblesse à une conception artistique de la datavisualisation. Le geek of maps comme il se surnomme sur son compte Twitter aime jouer avec les données géolocalisées des réseaux sociaux.

Dans une certaine mesure, ses réalisations rappellent les visualisations dynamiques de faberNovel qui appuyait son modèle sur l'activité de la téléphonie mobile (déplacement, appel, envoi de SMS) ou celles du canadien Jer Thorp explorant les interactions entre les utilisateurs de Twitter. Avec un talent indéniable et une âme d'artiste photographe, Eric Fischer s'emploie à traduire visuellement des comportements humains de masse, décrits habituellement par des mots, des chiffres ou des cartographies grossières. Ces travaux sont d'une précision redoutable puisque dans le cadre de ses projets, il lui arrive régulièrement de proposer des cartes dotées d'une résolution dépassant la taille d'un carré de 6000 pixels de côté.

Parmi ses outils de prédilection et de recueil des données, on compte bien sûr Flickr et toute la richesse de l'open data américain. Je souhaite en particulier attirer votre attention sur ces cartographies représentant la densité du nombre de photographies en fonction de leur géolocalisation. Les points bleus correspondent aux photos prises par les "locaux" (pour Paris, on distingue par exemple la Bibliothèque nationale de France, le bassin de la Villette ou le parc Montsouris) tandis que les points rouges correspondent aux photos prises par les touristes (pour Paris, on repère en particulier Versailles, le quartier de la Défense, les Champs Elysées, Montmartre ou la Tour Eiffel).

Toujours grâce à la géolocalisation, une autre série de cartes s'emploie à distinguer les points de forte densité en photos postées sur Flickr (en rouge), en les comparant avec les points de forte densité en tweets publiés sur Twitter (en bleu) ou encore les points mixtes (en blanc). Pour la plupart de ses travaux, on dénombre plusieurs dizaines de villes, même si la plupart sont essentiellement européennes ou nord américaines.

Avec ses cartes, Eric Fischer traite de nombreuses thématiques. Certaines sont délicates à analyser (comme la diversité ethnique aux Etats-Unis), d'autres peuvent révéler un dysfonctionnement (par exemple, avec cette carte des taxis voyageant avec ou sans passager) ou aider à la décision (une série de cartographies révèle les axes les plus utilisées dans plusieurs grandes villes). Appliqués à une plus grande échelle, les travaux d'Eric Fischer pourraient rapidement se révéler tout simplement indispensable tant ils apportent du sens aux données de grandes envergures. Enfin, on appréhende également tout l'intérêt d'une véritable politique open data, laquelle tarde dramatiquement à se mettre en place en France.

Que nous apprennent les pages spéciales des médias sur les présidentielles ?

2012-04-04T08:30:00+02:00

Il est à la fois amusant et passionnant d'observer la recrudescence des pages spéciales consacrées aux élections présidentielles. Amusant d'abord, car elles trahissent une forme d'opportunisme de la part de son diffuseur : la page spéciale n'est bien souvent qu'un produit d'appel, pas toujours qualitatif, concaténant quelques informations accolées à une représentation graphique. Passionnant ensuite, car en triant un peu, on découvre quelques pépites d'ingéniosité découlant d'une véritable démarche d'innovation et constituant une valeur ajoutée indéniable pour l'analyse. J'avais déjà dressé l'inventaire d'une quinzaine d'entre elles, je vous propose pour cette fois de décrypter le bien fondé de ces infographies débarquant en force dans le PIF (Paysage Internet Français) à l'occasion des présidentielles 2012.

Une sémantique moderne pour désigner des outils innovants

Pour appâter le lecteur, il faut d'abord promettre de l'inédit. C'est le rôle de la sémantique traduisant du mieux possible les enjeux de la page. Il convient donc d'utiliser un vocabulaire moderne s'accordant avec les enjeux de ces lieux. Par exemple, la mode des "labs" vante une démarche expérimentale, mêlée à un souci d'innovation : le laboratoire est un lieu où on tente des expériences, on y fait des découvertes empiriques. C'est la terminologie utilisée par des géants du Web américain (Google, Mozilla) puis aujourd'hui empruntée par Europe 1, OpinionWay ou TNS SOFRES. Méfiance tout de même, la mauvaise presse des labs d'Hadopi tend à désacraliser le mot.

On notera également les "observatoires" qui traduisent une volonté de ne rien manquer, une vision d'ensemble, une promesse d'exhaustivité mais aussi d'impartialité : par exemple, Data Duplica observe, mesure, mais ne commente pas. Le "scan" réfère à la notion de décryptage : l'application du Figaro scanne, trie des données en grande quantité et synthétise pour restituer l'information d'une façon plus intelligible et synthétique. Il y a encore le suffixe "scope" qui se réfère au microscope ou au télescope : on cherche à zoomer l'actualité, à porter l'attention sur un aspect confiné de l'information.

Même les noms d'agence Web, bien mis en avant, contribuent à ce sentiment de terrain innovant (avec Visibrain, on observe et on réfléchit, avec TrendyBuzz, on suit les tendances, avec Vigiglobe, on mène une veille globale).

Une veille des réseaux sociaux comme garant de l'innovation

Une fois appâté, il faut retenir le lecteur, et pour cela, il s'agit de miser à la fois sur l'esthétique et le synthétique, tout en convaincant que la promesse initiale est tenue.

L'esthétique est certes une affaire de goût, mais reste fortement corrélés à l'aspect pratique de la page. Tout l'enjeu est de parvenir à traduire du "bruit" en tendances intelligibles. Par exemple le Véritomètre d'OWNI et le Comparacteur s'efforcent de convertir des programmes politiques en idées simples, concrètes et compréhensibles. Il en va de même pour les infographies ou les comparateurs de sondage. Toute leur force repose sur leur interactivité et leur système d'informations à tiroir : si je clique ici, que vais-je apprendre de plus ?

Par ailleurs, les élections présidentielles de 2012 sont les premières élections présidentielles françaises sous l'ère des réseaux sociaux : dans nos contrées, Facebook n'était adopté en masse qu'à partir de 2008 et Twitter ne comptait que quelques dizaines de milliers d'utilisateurs en 2007. Avec les réseaux sociaux, il a également fallu célébrer l'avènement du "temps réel", engendrant dans son sillage les chaînes d'informations continues : ce n'est donc pas un hasard si LCI adopte le Twittoscope de TNS SOFRES, ou si ce dernier propose le "Pulse" sur son lab, un outil reflétant l'activité de Twitter et battant le pouls au rythme de la campagne. Dans ce même ordre d'idée, notons l'Elyseetweet de l'agence eBuzzing.

Toutes ces considérations démontrent deux choses. D'une part, les instituts de sondage étaient jusqu'à récemment peu enclins à exploiter d'autres données que celles issues de leurs propres enquêtes et il y a donc un retard à rattraper, d'autant que les instituts se heurtent à une opinion publique saturée de sondages en tout genre. D'autre part, on perçoit bien toute la complexité entourant l'élaboration de ces infographies (interactivité, ergonomie, simplicité, crédibilité, pertinence...) et le brainstorming interminable qu'il induit.

Concrètement, quelle est la valeur ajoutée de ces outils ?

Il est maintenant temps de se préoccuper de ce que le lecteur aura retenu et s'il tirera un bénéfice de sa visite puisqu'il s'attend, depuis son arrivée, à apprendre quelque chose qu'il est censé ne trouver nulle part ailleurs. Car si certaines pages spéciales (comme le lab d'Europe 1) se contentent d'agréger des fils d'actualité, d'autres pages apportent une véritable valeur ajoutée. Les concepteurs les plus scrupuleux sont habités par cette volonté de développer l'outil ultime, celui qui fera oublier la valse des sondages, et pourquoi pas, qui se rapprochera le plus possible du modèle prédictif (créneau que les sondages n'ont d'ailleurs fort logiquement jamais revendiqué).

Cette démarche passe parfois par la création d'un nouvel indicateur de visibilité. L'élection présidentielle étant pour la première fois sous les feux des réseaux sociaux, on a donc effectivement besoin d'indicateur synthétique. Quelle est la part de la visibilité des uns sur Youtube, Dailymotion ? Quelle est la force des autres sur Twitter, Facebook ? quelles sont les meilleures caisses de résonance médiatiques ? Pour répondre à ces questions, le Politivox de Libération mesure un nombre d'Unités de Visibilité Internet, tandis que le baromètre d'Image & Stratégie propose des parts de visibilité ou un indice de notoriété. Ce taux d'occupation du terrain médiatique se révèle pertinent et démontre que la notoriété n'est pas toujours le reflet de la popularité (certes "on connaît les idées", mais pour autant, "on ne les adopte pas" nécessairement).

Le Véritomètre et le Comparacteur sont justement des outils qui remettent cette dernière idée en perspective : connaissons-nous réellement les idées des uns et des autres ? Ne serait-il pas plus profitable à la démocratie que les hommes disparaissent derrière les idées, ou en d'autres termes, qu'on vote pour un programme plutôt que pour une tête ? En réalité, tandis que le premier proclame l'avènement du "fact-checking" à la française, le second mesure l'adhésion à des propositions politiques puis dresse un bilan en fonction du contenu des programmes : de grosses surprises à la clé !

Ces outils ne sont pas tous aussi éphémères qu'ils pourraient le paraitre puisque la mesure de l'occupation médiatique peut s'effectuer en dehors des grandes échéances électorales : c'est notamment le cas du Politivox (Libération), du Scan (Le Figaro) ou du Twittoscope (TNS SOFRES) dans lesquels figurent les candidats s'étant désistés (au profit d'un autre candidat, à l'issue d'une primaire, à défaut d'avoir rassemblé les 500 signatures), des membres du gouvernement ou des partis politiques.

En revanche, on peut se demander s'il ne faut pas craindre une crispation de l'opinion lorsqu'une large partie des applications de comparaison des sondages d'intentions de vote auto-proclament déjà un second tour opposant François Hollande à Nicolas Sarkozy. C'est en tout cas révélateur d'une certaine ambiance au cœur de la campagne électorale où, plus que jamais, les petits candidats peinent à occuper le fameux terrain médiatique tant convoité.

D'excellents produits d'appel pour la presse, les instituts et les agences

L'un dans l'autre, je pense qu'on peut globalement se satisfaire de l'image des présidentielles que renvoie le PIF via ses pages spéciales. Pour autant, il ne faut pas se voiler la face : l'objectif n'est probablement pas tant d'informer que de vendre de la page vue. Le principe est élémentaire : les instituts et les agences vendent leurs produits à la presse en ligne, puis celle-ci les propose aux lecteurs, lesquels, générant de la page vue et affolant le compteur à "visiteur unique", intéressent les annonceurs. La boucle est bouclée. Il s'agit évidemment d'une manne commerciale indéniable d'autant que la technologie de l'analytique Web se vend particulièrement bien.

Prenons Visibrain, par exemple, qui s'est forgé une expertise dans l'analyse de millions de conversations sur Twitter. En octobre 2011, l'agence m'invitait à tester leur application consistant en une série de compteurs mesurant l'impact des candidats à la primaire socialiste sur le réseau de microblogging, et devait me recontacter pour la version "présidentielle" de l'application. Toute la problématique était visiblement de savoir s'ils préféraient vendre leur outil ou le rendre accessible au public. De toute évidence, la tentation d'en faire exclusivement une offre commerciale spéciale a été plus forte que tout.

Un autre bel exemple est celui de Socialbakers spécialisé dans la mesure analytics sur les réseaux sociaux. Initialement baptisé Facebakers, la start-up tchèque accuse une excellente maitrise de Facebook et s'emploie à publier des infographies consacrées aux présidentielles françaises et américaines, avec une granularité particulièrement stupéfiante. Il ne fait en tout cas nul doute que la visibilité générée par ces infographies booste les ventes de licence pour des services particulièrement adaptés aux community managers. D'ailleurs, la version française ne manque pas de buzzer tant l'efficacité de Jean-Luc Mélenchon sur Facebook apparaît au grand jour avec des indicateurs, eux aussi, innovants (mesure de la portée virale, croissance du nombre de "fans" etc...).

Toute la viralité de Twitter représentée sur « Where does my tweet go ? »

2012-04-03T08:45:00+02:00

Si vous êtes un fidèle lecteur de Statosphere, vous savez probablement que j'ai un faible pour les représentations visuelles originales, d'autant plus si elles permettent d'observer facilement un phénomène complexe. Vous l'aurez compris : le site « Where Does My Tweet Go ? » entre dans cette catégorie et s'attèle à représenter géométriquement le caractère viral du réseau Twitter.

Ainsi comme son nom l'indique, « Where Does My Tweet Go ? » permet de suivre la prolifération d'un tweet lorsqu'il est repris par les multiples followers d'un compte. Ce concept de cartographie, encore en phase de démonstration, est l'oeuvre de MFG Labs, une agence parisienne fondée par des mathématiciens de renom et spécialisée dans l'analyse de données et la stratégie digitale.

Pour le moment, le projet en est à un stade expérimental et consiste en une démonstration basée sur trois tweets dont celui de Nicolas Sarkozy annonçant sa candidature à l'élection présidentielle 2012. Le tout est présenté dans une interface de type tableau de bord proposant une option de zoom, un mode d'affichage en 2D ou 3D, un axe chronologique et plusieurs compteurs (nombre de RT, nombre de personnes atteintes, coefficient de la vitesse de propagation etc...).

Avec son fond noir étoilé et ses cercles concentriques rappelant un système solaire, l'ambiance se veut plutôt futuriste. Le tweet initial trône au centre des multiples cercles : tandis que chaque ligne bleue horizontale représente un lien de following à follower (ce dernier est matérialisé par un point blanc), les lignes vertes verticales traduisent le nombre de personnes ayant reçu le tweet. Ainsi plus le cercle est grand, plus le nombre de retweets émanant d'un follower est important. Et voici un moyen original et efficace d'appréhender la croissance exponentielle d'une idée virale, ou plus terre à terre, sa popularité.

La valeur ajoutée de « Where Does My Tweet Go ? » est sa faculté de distinguer les retweets de premier degré (cercle initial), puis ceux de second degré (cercle supérieur) et ainsi de suite... En d'autres termes, cela traduit l'impact d'un tweet et le rôle des internautes dans la propagation d'une information.

Au final, on espère que MFG Labs songe à une version ouverte au public de cette expérience : il est intéressant d'appréhender visuellement ce que la seule lecture de sa timeline Twitter ne permet pas de faire de manière aussi exhaustive et efficace. Seul bémol : les animations sont du plus bel effet, mais la navigation dans l'espace est un peu laborieuse lors de la prise en main (les directions sont inversées !).

15+ applications Web pour suivre les tendances des présidentielles 2012

2012-04-02T08:30:00+02:00

Face à cette actualité battant constamment le pouls de la campagne présidentielle, une poignée de sites tentent de combiner des données statistiques brutes entre elles avec un certain talent alliant les contraintes du temps réel à l'esthétisme et à l'effort de synthèse. Ces infographies sont de véritables applications Web et ne galvaudent (presque) jamais leur titre de datavisualisation. Ainsi, les développeurs des uns ou des autres démontrent chacun à leur façon toute la puissance de ces véritables œuvres interactives.

À cette course de celui qui proposera la représentation graphique la plus simple et esthétique, la plus complète et synthétique, la plus fidèle et crédible, des startups rivalisent d'ingéniosité avec des agences Web, des magazines d'actualité, des blogueurs, des chaînes de télévision, et seulement depuis peu, même des instituts de sondage.

Ces derniers, relativement peu enclins à exploiter des données qui ne seraient pas celles de leurs propres sondages, tentent de rattraper un certain retard à coup de Labs, notion d'ailleurs très anglo-saxonne et empruntée depuis quelques années aux géants du Web américain. Voici donc une liste non-exhaustive des applications les plus marquantes proposées à quelques semaines de l'élection présidentielle. Inévitablement, la plupart de ces outils disparaitront probablement aussi vite qu'ils sont arrivés, dès l'annonce des résultats finaux le 6 mai prochain.

>> Le comparatif de France Télévisions

Le site Internet du service public télévisuel français propose un comparatif de l'évolution des sondages BVA, CSA, IFOP et IPSOS entre les dix candidats à la présidentielle. Côté option, il est intéressant de pouvoir superposer les quatre séries de sondage des instituts pour chacun des candidats. Au final, l'interface est bonne, la présentation agréable, simple et efficace. Il est également possible d'accéder à l'actualité détaillée d'un candidat en cliquant sur sa fiche.

>> L'autre observatoire de Data Publica

Data Publica est une société que j'affectionne particulièrement et qui est spécialisée dans le déploiement de l'open data en France. Sa page spéciale, réalisée par Matiere Primaire, est une des plus originales de cette liste : cet "autre observatoire" est un outil de mesure de l'impact des candidats sur Twitter. Il est rendu possible d'identifier l'activité de chaque candidat en fonction de son nombre de followers, de la sémantique associée et du nombre de tweets l'évoquant. L'ensemble est pertinent d'autant que, comme nous allons le voir dans la suite de cette liste, le réseau social de microblogging se prête assez bien au jeu des tendances politiques au sein de la campagne présidentielle.

>> La page spéciale de l'IFOP

L'Institut Français d'Opinion Publique publie une page spéciale assez synthétique qui propose des liens vers les derniers articles consacrés à la présidentielle et retrace l'évolution de ses propres sondages d'intentions de vote depuis mars 2011. On retrouve donc tous les candidats, même ceux qui se sont désistés ou n'ont pas reçu les 500 signatures. L'option "évènements clés" apporte de la valeur ajoutée à ce type de représentation. L'historique du premier tour 2007 est également rendu accessible. Par contre, il n'est pas forcément bienvenu d'anticiper le second tour de la présidentielle 2012 en confrontant - à priori - Nicolas Sarkozy et François Hollande.

>> Le comparatif du Figaro

Le Figaro choisit ici l'option de l'infographie tout en restant attaché à la mesure des intentions de vote transmise par les instituts. L'approche est donc sensiblement la même que celle de France Télévisions : ici, les courbes de sondage de cinq instituts sont superposées. Le résultat est d'ailleurs très intéressant puisqu'il permet d'appréhender toute la fragilité des analyses reposant sur les intentions de vote, relativisant l'importance des "courbes qui se croisent". Enfin, l'infographie suggère d'afficher les instants clés de la campagne, et comme la page spéciale de l'IFOP, il est possible de comparer les intentions de vote du second tour pour les deux candidats principaux seulement.

>> Le Politivox de Libération

Avec le Politivox, réalisé en partenariat avec TrendyBuzz, Libération propose une des pages spéciales les plus intéressantes de cette liste. Au programme, une sélection de la sémantique ainsi qu'un extrait de la revue de presse Web associée aux personnalités politiques : il s'agit essentiellement de candidats à la présidentielle mais pas forcément puisqu'il est surtout question de coller à l'actualité nationale et internationale (notamment avec le principe des "matchs"). L'objectif revendiqué est de compter les "Unités de Visibilité Internet" en fonction de la source (partis politiques, journalistes, internautes ou autres) puis de comparer l'évolution de cet indicateur dans le temps.

>> Le Scan du Figaro

Le journal affiche également son "scan" conçu par Exalead, sorte de baromètre de la présidentielle comparable dans sa philosophie à ce que Libération propose puisqu'il n'est pas question de sondage mais de popularité sur les réseaux sociaux, accompagnée d'une pincée de mesure psychologique ("négatif" ou "positif"). Particulièrement complet dans son approche, on s'attache ici à l'évolution du nombre de fans sur les pages Facebook ou de followers sur les comptes Twitter, aux divers supports média en ligne traitant d'une personnalité politique (articles, vidéos, blog, réseaux sociaux) sans qu'il s'agisse nécessairement d'un candidat à la présidentielle.

>> Le baromètre d'Image & Stratégie

Clairement précurseur dans son approche (puisque sa page spéciale est en ligne depuis septembre 2011), cette agence de conseil affiche une méthodologie différente et intéressante reposant certes sur les réseaux sociaux mais également sur les sites de vidéo (Youtube, Dailymotion) et le moteur de recherche de Google. Très complet et particulièrement interactif, il est cette fois question de mesurer l'e-reputation des personnalités politiques (présidentielles, droite, gauche, primaire socialiste etc...). Comme cela avait déjà été évoqué sur Statosphere, il est question de mesurer un taux d'occupation du terrain médiatique, démontrant la nuance entre notoriété et popularité. L'application est développée par Adfab.

>> Le comparatif du Nouvel Observateur

Le Nouvel Observateur a opté pour un comparateur de sondages regroupant les intentions de vote mesurées depuis la fin de la primaire socialiste en octobre 2011. Je ne peux m'empêcher de dénoncer cette insupportable publicité plein écran via laquelle on est accueilli : on a rarement fait aussi violent et intrusif. Bref... On retrouve tous les candidats (même les désistés) et on peut porter au crédit de cette infographie le fait que contrairement aux autres pages spéciales du même style, elle rassemble pas moins de huit instituts de sondage (quand les autres n'en proposent que quatre ou cinq) dont les résultats sont superposables pour chaque candidat. Très clair et efficace, dès l'épisode de l'agression publicitaire achevée.

>> Bubble-t par Aviz et l'Institut de recherche et d'innovation

Il convient d'abord de préciser que cette visualisation est une des applications finalistes d'un concours de dataviz organisé par Google dont le thème était les élections : les lauréats de ce concours débordent tous d'inventivité et il est indispensable de jeter un oeil à cette panoplie regroupant de nombreuses applications toutes mises à notre disposition pour l'occasion. Bubble-t est l'une d'entre elles et met en scène des lancers de balles tombant dans l'escarcelle d'un candidat à la présidentielle lorsqu'il est mentionné dans un tweet. Des graphiques et des compteurs décrivent les tendances sur sept jours ou 24 heures. On connait également les mots-clés les plus associés à chaque candidat.

>> Le Lab 2012 par TNS SOFRES

TNS SOFRES réalise un savant mélange des genres : il est d'abord question du "pulse" réalisé par Vigiglobe, cette mesure en temps réel du nombre de tweets consacrés à l'un ou l'autre des candidats et, à l'instar du Scan du Figaro, une notion psychologique (positif, négatif, neutre). On nous propose par ailleurs un nuage de mots ainsi que des flux Twitter. Il est ensuite question des sondages d'intentions de vote en fonction de la vague, du tour (avec toujours ce second tour pré-établi Hollande vs Sarkozy) et de la présidentielle (1974 à 2007, TNS SOFRES nous fait profiter de son grand historique). Puis viennent les cotes d'avenir en fonction de la variable socio-démographique qui vous intéresse et enfin une mesure de l'impact médiatique comparant presse, radio et télévision. Pas toujours très clair, cette page est en tout cas de loin la plus éclectique de cette liste.

>> Le Twittoscope de TF1

Indépendamment de sa page spéciale, TNS SOFRES réalise, notamment pour TF1, un twittoscope des 20 personnalités politiques les plus citées sur Twitter, mois après mois. Le "palmarès" indique les entrées et les sorties du classement à la façon du fameux Top 50 tandis qu'un troisième onglet propose un comparatif de l'humeur des tweets en fonction de chaque personnalité et de l'humeur du tweet. Une sélection des plus belles citations est d'ailleurs accolée au classement. En revanche, contrairement à ce que dit le communiqué de presse du Printemps des Etudes et compte tenu de l'ampleur de cette liste, vous conviendrez que le Twittoscope n'est pas vraiment une innovation.

>> L'Opinionlab par OpinionWay

Malgré le soin esthétique apporté à cette page, OpinionWay reste très traditionnel et propose une simple mise en avant des résultats de leurs sondages d'intention de vote. On nous fait profiter d'infographies relatives aux "conversations" des français, on affiche quelques widgets Twitter de ci de là, la dernière vidéo analysant la campagne présidentielle et le résumé du dernier billet de blog. Bien que le second tour soit une fois de plus pré-proclamé, il est intéressant d'observer les intentions en fonction des caractéristiques socio-démographiques. Alors certes, les informations sont utiles et intéressantes, mais on reste un peu sur notre faim (et j'ai parfois repéré quelques longues périodes d'attente entre deux mises à jour, parfois plus d'une semaine).

>> La Courbe des sondages du Parisien, Ouest France et l'Union

Bien qu'on ne les attendait pas vraiment, Ouest France et le journal de l'Union créent la surprise en proposant une infographie intéressante (réalisée par IDE) positionnant chronologiquement les résultats de sondage de tous les instituts. Mais en réalité, contrairement aux autres infographies utilisant le même type d'information, il a été mélangé, sur une même courbe, les intentions de vote mesurées par différents instituts. On se retrouve ainsi avec des informations contradictoires (mesures différentes pour un même jour) qui nécessitent de prime abord un petit exercice visuel pour s'y retrouver. Détail amusant : Ouest France affiche la version 2.0 tandis que l'Union se contente de la version 1.2 de l'infographie : cela se traduit d'ailleurs par une mise à jour des candidats dans la dernière version. En creusant un peu, on trouve également cette infographie sur le site du Parisien.

>> Le comparatif de Sondages en France

Le site Sondages en France ne fait pas tant dans l'esthétique que dans la volonté louable de vouloir disséquer et inventorier l'ensemble des questions constituant les sondages d'intention de vote. Ainsi le site propose un historique des résultats du premier tour sous forme de tableau ainsi que du deuxième tour Sarkozy-Hollande auto-proclamé par les instituts. Mais en plus, on porte à notre connaissance l'historique des réponses données à certaines questions comme la certitude du choix ou le taux d'abstention si "l'élection avait lieu dimanche prochain". Bien que toutes ces données soient affichées avec sobriété et simplicité, il reste possible de les observer sous forme de diagramme circulaire, histogramme ou courbes. À ne pas manquer si vous appréciez les tableaux et les présentations pragmatiques !

>> Le comparatif du Monde

C'est de l’infographie du Nouvel Observateur que se rapproche le plus celle du Monde : on nous propose de comparer toutes les intentions de vote issues de sept instituts de sondage pour les deux tours de la présidentielle. Pas grand chose à ajouter, si ce n'est que la page précise quelques informations annexes transmises par les instituts (méthodologie et échantillon). Rien de bien transcendant en définitive pour cette fin de liste, mais ce qui est fait est bien fait !

Le recensement de la population française à l'épreuve de la loi de Benford

2012-03-29T08:45:00+02:00

Observée par un astronome au 19ème siècle, puis par Frank Benford en 1938, la loi de Benford énonce que dans une liste de données statistiques, le premier chiffre non nul le plus fréquent est le 1 (30.1%), puis le 2 (17.6%), lui même plus fréquent que le 3 (12.5%) jusqu'au chiffre 9 (4.6%). Or, cette loi est particulièrement intéressante dès lors qu'il s'agit de détecter la fraude notamment fiscale, comptable ou électorale au sein d'un jeu important de données.

En effet, la fraude a tendance à générer des anomalies qu'il est possible de révéler en confrontant les données douteuses aux données dictées par la loi de probabilité de Benford. Mais cette loi est psychologiquement difficile à appréhender tant elle apparaît comme un paradoxe : il y a en effet une tendance humaine à considérer que l'aléatoire implique forcément l'uniformité (ce qui revient à penser qu'on dénombrerait autant de premiers chiffres 1 que de 2, 3 etc... jusqu'à 9).

En réalité, voici les fréquences relatives d'apparition des premiers chiffres d'une série de nombres selon la loi de Benford :

En tout cas, cette loi empirique a été démontrée mathématiquement et vérifiée expérimentalement sur d'immenses ensembles de données numériques. D'ailleurs, si la démonstration mathématique vous intéresse, je vous conseille la lecture de cette note intitulée : "Pourquoi la loi de Benford n'est pas mystérieuse".

Quelques conditions et domaines d'application

Pour assurer la significativité d'un jeu de données et rendre pertinente la comparaison avec cette loi logarithmique, il est nécessaire de disposer d'un grand nombre de données numériques, au moins plusieurs centaines. Pour que la loi soit applicable, il est également nécessaire que les nombres "s'étalent" sur plusieurs ordres de grandeurs (0.01 à 0.09, 0.1 à 0.9, 1 à 9, 10 à 99, 100 à 999 etc...). Il peut s'agir de données "naturelles" (superficie de lacs, longueur de fleuves, hauteur de sommets...) ou socio-économiques (statistiques sportives, démographiques, financières...).

Mais méfiance, car dans la vie courante, il n'est pas rare d'extraire des nombres ne vérifiant pas la loi : c'est notamment le cas des prix dans le commerce s'expliquant par le fait qu'on joue sur la perception des "seuils psychologiques" en affichant un prix de 1.99€ au lieu de 2€ par exemple. Par ailleurs, nous pouvons réaliser une expérience avec Google Books Ngram Viewer :

Bien que la série mesurée ne repose que sur un seul ordre de grandeur (mais prenant en compte une quantité colossale de données grâce au corpus d'ouvrages exploité par l'outil), on observe le respect de l'ordre d'apparition du premier chiffre (qui est en réalité un nombre dans ce cas) ainsi que des fréquences relativement proches de celles de référence.

Quid des données démographiques issues du recensement français ?

Le recensement de la population est particulièrement intéressant puisqu'il concilie à la fois une répartition sociodémographique (donc à priori indépendante et compatible avec l'application de la loi de Benford) et un risque d'anomalie engendré soit par l'erreur humaine (biais involontaire), soit par la fraude (biais volontaire). Car il existe en effet d'importants enjeux liés directement au nombre d'habitants de chaque commune, notamment des enjeux financiers (le versement de la DGF, le barème de certaines taxes, les indemnités versées aux maires et adjoints au maire) ou commerciaux (implémentation d'un certain nombre d'officines de pharmacie et débits de tabac). Au total, ce sont plusieurs centaines d'articles législatifs dont l'application est directement fonction de la population légale (par exemple, la commune de Saint Loup sur Semouse espérait compter plus de 3500 habitants et celle de Beuvry plus de 10000 habitants à l'issue du recensement 2009).

L'INSEE met à notre disposition un fichier Excel contenant l'exhaustivité des données de population, notamment pour chaque commune. Nous disposons ainsi des populations légales (en vigueur au 1er janvier 2012) pour les 36722 communes françaises. Comme nous l'explique l'INSEE, c'est la population dite "totale" qui est la plus souvent utilisée pour l'application de dispositions législatives ou réglementaires.

Voici donc les fréquences d'apparition des premiers chiffres relevés sur la population totale des communes (il a fallu ignorer 6 communes comptant zéro habitant) :

De prime abord, les écarts entre la loi de Benford et la répartition des données de l'INSEE sont très faibles puisqu'ils oscillent entre -4.2% (pour les chiffres 8 et 9) et +3.4% (pour le chiffre 2). Mais il est possible d'aller plus loin en confrontant les données de recensement et la loi de Benford sur les fréquences d'apparition des deux premiers chiffres. Voici les écarts obtenus en pourcentages (cette fois, il a fallu ignorer les 28 communes comptant moins de 10 habitants) :

On commence à entrevoir des écarts en pourcentage plus importants, notamment sur "99" (-23%), "81" (-13%) ou "92" (+12%), mais en réalité, à l'échelle de la distribution toute entière, cela reste encore très largement marginal (l'écart sur "99" ne représente en fait que 37 communes). On pourrait éventuellement s'attendre à une nette sur-représentation sur "10" et "35" (correspondant aux paliers législatifs de 3500 et 10000 habitants), mais ce n'est pas le cas. En complément, bien qu'elle ait été mathématiquement démontrée, il convient de rappeler que la loi de Benford repose sur des observations empiriques : son application ne colle donc jamais parfaitement à la réalité.

Une autre considération : et le chiffre des unités ?

Psychologiquement, il serait bien sûr plus compliqué de frauder en imitant la loi de Benford, plutôt qu'en adaptant les chiffres des unités à la loi uniforme (chaque chiffre des unités possède en effet la même probabilité d'apparaître). Et d'ailleurs, compte tenu des intérêts décrits plus haut, on pourrait imaginer une fraude visant à gonfler un nombre à sa dizaine supérieure sans que cela ne soit trop voyant, et préférer pour cela un chiffre différent de zéro (car, à tort ou à raison, les comptes "ronds" sont souvent pressentis comme suspect).

Les chiffres "0" (-1.3%) et "7" (-1.4%) sont apparemment les plus sous-représentés, tandis que les chiffres "5" et "8" (+0.9%) sont les plus sur-représentés. Compte tenu des écarts observés (en effectif, cela ne dépasse jamais plus d'une cinquantaine de communes), les résultats ne révèlent aucune anomalie significative.

Enfin, pour tout ceux qui souhaiteraient creuser ou vérifier les données de cet article, je mets à votre disposition le fichier Excel (clic droit puis enregistrer sous) contenant les formules, tableaux et graphiques ayant servi pour cet article.

Visualisez en cinq dimensions le fruit de vos efforts de référencement naturel

2012-03-27T08:45:00+02:00

Même si tous les spécialistes du SEO connaissent parfaitement la notion de longue traîne (au coeur du mécanisme de référencement naturel), il convient tout de même de rappeler qu'il existe de nombreuses variables permettant de la représenter. Par exemple, dans le domaine du commerce, il s'agit d'étudier l'ensemble des produits peu vendus mais dont la somme peut largement dépasser la part de marché des produits les mieux vendus.

Dans le domaine qui nous intéresse, celui du référencement naturel, il s'agit de l'ensemble des requêtes par lesquelles un site Web est trouvé dans les résultats d'un moteur de recherche : pour faire court, on constate que les requêtes "simples" (souvent constituées d'un faible nombre de termes ou correspondant à des expressions très recherchées) sont peu nombreuses mais engendrent chacune un trafic important, tandis que les requêtes "complexes" (généralement constituées d'un nombre élevé de termes, mais pas forcément) sont très nombreuses, engendrent chacune un trafic très faible, mais toutes ensembles un trafic finalement beaucoup plus important que l'ensemble des requêtes "simples".

On rapproche souvent ces données de référencement avec le principe de la loi de Pareto dans laquelle il est établi qu'environ 80% des effets ont pour origine 20% des causes. Si on s'en tient aux estimations moyennes de SEOmoz, la courte traîne représenterait autour de 18.5% du trafic global tandis que la moyenne traîne et la longue traîne totaliseraient 81.5% de celui-ci.

En définitive, l'objectif de cet article est de proposer des moyens de visualisations permettant de dépasser la simple représentation graphique à deux dimensions (nombre de visites x nombre de requêtes). Dans un souci didactique, je fournis certaines données et décris ma démarche pas à pas afin d'aider les moins aguerris à suivre les procédures.

Associer les outils Google entre eux et exporter les données

Tout d'abord, si ce n'est pas encore fait et afin de simplifier l'exploitation des données, il convient d'associer le profil de votre site sur Google Webmaster Tools (GWT) et Google Analytics (GA) : cela permettra de disposer de toutes les informations nécessaires en un seul endroit (GA) et de profiter d'une période de stockage des informations plus longue que sur Google Webmaster Tools : environ trois mois dans GA contre cinq semaines dans GWT. Pour cela, rendez-vous dans la rubrique "Admin" de Google Analytics puis "Paramètres du site" et suivez les instructions.

À compter de maintenant, en vous rendant dans "Rapports standards" puis "Sources de trafic" puis "Optimisation de référencement" et enfin "Requêtes", vous êtes en mesure de consulter les données sur une durée maximum de trois mois. Libre à vous enfin d'exporter les données afin de les réutiliser dans le tableur de votre choix.

Pour ma part, j'ai choisi d'exporter mes données au format CSV et de les importer sous Excel. Naturellement, un léger nettoyage des datas s'impose : Google Analytics introduit par exemple des virgules dans les nombres avec millier, il est également nécessaire de remplacer les points par des virgules pour tous les nombres avec décimales etc...

Nous nous heurtons à une première limitation : Google n'indique pas le nombre exact de clics pour toutes les requêtes pour lesquelles il est inférieur à 10, et le CTR n'est pas exploitable non plus (il est égal à 0%). Bien que la position moyenne soit disponible, il est tout de même nécessaire de filtrer ces données puisqu'elles ne seront pas exploitables dans notre représentation graphique à trois dimensions. Cela dit, une requête bien positionnée mais n'apportant qu'un très faible trafic (et dont on ne connaît pas le CTR) ne constitue pas vraiment une priorité.

Toutes les données de trafic de l'article proviennent du site Température Idéale

Les graphiques à bulles permettent d'afficher trois dimensions

Au final, nous disposons d'un tableau avec les trois données essentielles : la position moyenne, le CTR (taux de clic) et le nombre de clics. En indiquant le taux de clic en ordonnée, la position moyenne en abscisse et le nombre de clics en variable de diamètre pour les bulles, nous obtenons une longue traîne d'un autre genre.

Les données du graphique sont disponibles via ce lien vers le fichier Excel

L'analyse d'une seule période est relativement triviale puisqu'elle ne permet de tirer des conclusions que d'un état figé de votre stratégie de référencement. Elle a au moins le mérite de mettre en évidence la corrélation évidente existant entre "position moyenne" et CTR. Elle autorise également une hiérarchie visuelle immédiate entre les requêtes selon le nombre de visites reçues : plus le nombre de clics est élevé, plus le diamètre de la bulle est important.

Au final, il est déjà possible de dresser un premier diagnostic en identifiant les éventuelles anomalies évidentes : par exemple, une requête profitant d'un excellent classement mais d'un taux de clic très faible, ou une requête correspondant à un mot clé essentiel, mais mal positionnée.

Comment intégrer deux dimensions supplémentaires ?

Comme nous l'avons vu, l'analyse SEO d'une situation figée atteint rapidement ses limites et il devient très vite indispensable d'intégrer une notion de temps pour affiner une stratégie. Malheureusement, Excel ne propose pas de représentation graphique animée, mais rien ne nous empêche de multiplier les graphiques afin d'observer une évolution mois par mois. Voici donc le résultat sur trois périodes supplémentaires d'un mois, couvrant au total du 26 octobre 2011 au 26 février 2012.

Il apparaît clairement un "éclatement" du nombre de requêtes à l'issue de la quatrième période ainsi qu'une tendance générale à ce que les requêtes émergentes d'octobre 2011 "migrent" vers le coin supérieur gauche du graphique (= amélioration du classement et hausse du CTR), tout en grossissant (= augmentation du nombre de clics).

Mais, vous conviendrez que ça n'est pas vraiment pratique. Or, il existe encore une alternative : les "graphiques de mouvement" à bulles proposés par Google Documents. Si vous connaissez Hans Rosling, peut-être vous souvenez-vous de Gapminder et sa technologie Trendalyzer rachetée par Google. C'est justement ce type de graphique qu'il est possible de réaliser via Google Documents. Au passage, notons que la technologie est également incluse dans Google Analytics. Mais le résultat est totalement exécrable (et particulièrement gourmand en ressource) : mettez la "position moyenne" en abscisse et observez les bugs de positionnement des points...

Heureusement, Google Documents ne présente pas ce défaut. Par ailleurs, il autorise l'ajout d'une ligne de temps et d'une variable de code couleur pour les bulles. Nous avons donc une représentation graphique à cinq dimensions : CTR x position moyenne x nombre de clics x nombre d'impressions x temps.

Cerise sur le gâteau : il est possible d'afficher les étiquettes de chaque bulle (impossible à ma connaissance avec les graphiques à bulles d'Excel), de porter le focus sur des bulles spécifiques en sélectionnant des requêtes dans la liste de droite, de modifier l'échelle des axes (linéaire ou logarithmique), ou encore de moduler la vitesse de l'animation. Il devient pratique de comparer l'évolution de deux requêtes avec ou sans accent (par exemple : "température idéale" vs "temperature ideale") ou l'évolution de trois synonymes (par exemple : "frigo", "frigidaire", "réfrigérateur" etc...).

Les données du graphique sont disponibles via ce lien vers le document Google

D'autres améliorations sont envisageables comme par exemple le fait de ne conserver les requêtes qu'à condition que nous ayons chaque donnée pour chaque période : point positif, on gagne en cohérence d'observation, mais en contrepartie, cela devient particulièrement restrictif.

Bien sûr, plus vous aurez un nombre élevé de requêtes et un trafic important, plus les observations devraient être intéressantes. Pour autant, ce type de visualisation me paraît particulièrement pertinent et puissant lorsqu'il s'agit "d'amorcer la pompe" du SEO : il aide à cibler les efforts sur les premières lacunes, ou à activer certains leviers faciles (par exemple, l'optimisation d'une requête identifiée comme peu concurrentielle).

Et bien sûr, si cette démonstration vous a intéressé, n'hésitez pas à en parler dans les commentaires de l'article et à partager sur les réseaux !