L'informatique selon horacio

La suite de mes aventures au collège du Littoral

2019-10-17T04:08:00.000+00:00

Précédemment dans mes aventures au collège du Littoral

En Juin 2018, j'étais retourné au collège du Littoral avec Guillaume EHRET faire un atelier d'initiation à l'informatique. Pour avoir plus de détails sur ce premier atelier se référer à mon blog et celui de Guillaume.

Je garde le souvenir des sourires des élèves à la fin de l'atelier et M. Darou (le Directeur du collège) qui nous a invités à déjeuner. C'est d'autant plus marquant qu'on était en période de Ramadan et M. Darou jeûnait. Il nous a amené au restaurant et a patienté le temps qu'on finisse.

Alors qu'est-ce qui s'est passé depuis ?

M. DAROU a été admis à la retraite en Décembre 2018. Eh oui ! Il a eu 60 ans. Le temps passe tellement vite. Il a été remplacé par M. N'TAWO.

Guillaume après son passage à Lomé, a retravaillé son talk sur Android et a été speaker à Devoxx Maroc et Devoxx France.

J'ai essayé en vain d'organiser un autre atelier à distance. Il y'a eu très peu d'ateliers depuis notre dernier passage et la salle informatique a été très peu utilisée.

Vous vous demandez surement pourquoi je mets autant d'énergie dans ce projet au point d'y retourner un an après.

Voici 2 citations en anglais qui résument un peu ma pensée.

« For every door that's been opened to me, I've tried to open my door to others » Michelle Obama

« Talent is everywhere, opportunity is not » Quelqu'un :).

Mon père a senti la vague du numérique, et il a essayé de nous y mettre très tôt. Par contre il m'a introduit l'informatique via les suites bureautiques. Et la mayonnaise n'a pas pris. Je me suis vraiment intéressé à l'informatique beaucoup plus tard, pendant mes études universitaires. Vu la grande place que prend le numérique dans le monde, ce serait un peu dommage de ne pas en prendre conscience. J'ai ainsi demandé à des amis qui partagent le même constat de m'accompagner au Collège du Littoral pour parler de ce sujet. Il s'agit de :

Roland BOKONA : Responsable Commercial dans une compagnie de transport maritime
Dr Fousséni ALASSANI : Chirurgien Digestif, Enseignant à la faculté de médecine de l'Université de Lomé

De gauche à droite Horacio, Roland, Fousséni

Déroulement de l'atelier

Pour l'atelier j'ai choisi de passer un documentaire de france 2 : les nouveaux maîtres du monde

Ce documentaire retrace l'histoire de l'informatique et ses grandes étapes :

La naissance de l'ordinateur personnel
L'Internet et Google
Les réseaux sociaux(Facebook)
L'influence de l'informatique dans la politique aux Etats-Unis

Ensuite on a fait un panel à trois pour parler un peu de nos parcours et de l'influence du numérique dans nos boulots respectifs. C'est aussi l'occasion pour Fousséni et moi qui avions fait nos études secondaires au collège du Littoral de répondre à des questions d'orientation et de permettre aux élèves de se projeter sur les différentes possibilités de carrière. On a eu environ une quarantaine d'élèves de 3ème.

La suite

Pour le moment il n'y a pas d'atelier régulier prévu dans les prochains mois. Mais si vous pensez pouvoir apporter un coup de main n'hésitez à vous manifester et faire signe :).

Until next time!!!

END

Podcast ITogoCast : épisode 1 Reprise des études avec Emmanuel Sombugma

2019-08-07T02:43:00.000+00:00

Plan

Introduction

Présentation Horacio

Présentation Emmanuel

Pourquoi tu as décidé de reprendre les études

Le parcours pour le visa et pourquoi la France ?

Le choix de la formation et de l'école

Le bilan de fin de la formation

Les côtés positifs
Les côtés négatifs

Le but de ce billet est de présenter pourquoi nous avons décidé de reprendre les études après avoir quitté les bancs plusieurs années plus tard et pourquoi avoir fait le choix de venir en France étudier. Nous présenterons les différentes étapes pour l’obtention du visa Etudiant. Nous parlerons essentiellement de la France parce c’est que le cas que nous connaissons le mieux. Le billet vient en soutien à un podcast disponible. Le billet et le podcast ont été publiés avec la participation d’Emmanuel Sombugma.

Présentation :

Horacio : Je suis Horacio LASSEY. Je me considère maintenant comme un Data Engineer. Je suis togolais (Afrique de l’Ouest). J’ai travaillé au Togo et au Benin principalement dans la téléphonie mobile. Je suis venu en France en 2014 pour poursuivre mes études. J’ai fait un Master 2 en Informatique Décisionnelle à l’université Paris Dauphine.

Emmanuel : Je suis Emmanuel SOMBUGMA. Je suis développeur Java et C# à mes débuts. J’ai travaillé au sein du cabinet KPMG à Lomé puis la société de téléphonie mobile MOOV à Lomé au Togo. Je suis venu en France en 2017 pour faire un Master spécialisé à IMT Atlantique

Question : Emmanuel, pourquoi avoir décidé de reprendre les études après plusieurs années dans le monde professionnel ?

Emmanuel : Tout d’abord, c’est inhérent au monde de l’informatique qui est en perpétuel changement. Au bout d’un certain nombre d’années dans le monde professionnel en Afrique j’ai senti le besoin de me remettre au goût du jour. Aussi j’avais une licence en informatique et c’est un niveau qui n’est pas trop reconnu dans le monde professionnel. C’est dans cette optique que je me suis inscrit à une formation à distance offerte par le Campus Numérique Francophone de Lomé. C’est un Master 2 e-Miage SIMI (la formation n’est plus disponible) qui s’est fait en 4 semestres avec l’Université Jules Verne d’Amiens. Les cours se font à distance avec des points chats en ligne mais les examens se font en présentiels dans les campus numériques. C’est un parcours que je recommanderai, au Togo généralement les études en informatique s’arrête au niveau licence (les bonnes formations en master n’existe pas sans lancer de pic à nos écoles qui font des efforts). J’avais envie de vivre une autre expérience et j’avoue que me suis inspiré du parcours d’Horacio.

Horacio : Moi j’ai fait un Bac+2 et je suis rentré directement dans le monde de l’entreprise. Et j’ai fait le même constat qu’Emmanuel : il existe un plafond de verre dans le monde de l’entreprise qui empêche de progresser dans la hiérarchie si tu n’as pas un niveau BAC+5. Et j’ai cherché une façon de contourner ce problème en faisant des cours du soir pour ma licence à l’UCAO. Ensuite j’ai fait un Master 1 sur le Campus Numérique exactement comme Emmanuel. En ce moment je vivais déjà au Benin et je travaillais chez MTN et j’avais vu comment le fait de vivre dans un contexte international m’a fait progressé. J’ai décidé de faire un cours en présentiel autour de la data et du traitement de données et je me suis inscrit dans un Master BI à l’Université Paris Dauphine.

Question : Emmanuel, peux-tu nous dire quel est le parcours de combattant pour avoir son visa et venir étudier en France? Beaucoup ont le même projet mais ne se rendent pas compte de tout ce qu’il faut faire dans les délais pour pouvoir obtenir son visa.

Emmanuel : J’ai fait un master spécialisé technologie du web et cybersécurité au IMT Atlantique (anciennement Télécom Bretagne). Le programme de la formation m’a intéressé parce qu’il parlait de problématiques actuelles autour des systèmes distribués, architectures dans le Cloud, le Développement Web, les Réseaux et la Cybersécurité.

Donc l’idée s’est de trouver une formation qui vous plaît et d’avoir le besoin d’évoluer et d’acquérir de nouvelles connaissances. Dans un premier temps j’ai eu à contacter l’établissement en envoyant mon CV. C’est sur étude de dossier et j’ai eu un retour positif rapidement. Ensuite il me fallait un logement, l’établissement offrait en son sein des logements et par défaut attribue à tous les étudiants un logement.

Pour la caution financière, j’ai utilisé la plateforme Studely. Les procédures administratives du consulat exige de prouver que vous avez les ressources financières suffisantes pour financer une année d’étude en France. Le montant à justifier est indexé sur le montant de bourse que l’état verse aux étudiants français. (Pour vous donner une ordre d’idée c’est autour de 615€ en 2018)

Lien pour une estimation d’une année scolaire

Un dilemme s’est posé pour moi au moment de partir, on se pose la question de savoir si on est en train de faire le bon choix, à quoi on sera confronté. L’important c’est de suivre la voix de son cœur. Il peut aller acquérir de nouvelles connaissances et revenir pour le mettre au profit de son pays.

Horacio : Mon processus est un peu différent de celui d’Emmanuel. Comme je le disais tantôt j’étais déjà au Bénin au moment où j’ai décidé de reprendre les études. J’avais la possibilité de faire la procédure soit au Bénin ou au Togo. Je ne vais pas m’attarder sur les raisons qui m’ont poussé à rentrer à Lomé pour le faire mais une chose essentielle à garder à l’esprit c’est un non par défaut pour votre dossier et c’est à vous d’apporter les preuves pour qu’on le vous valide . Et suivant les pays les consulats ne traitent pas les dossiers de la même façon. Il faut mettre toutes chances de votre côté pour réussir votre projet. A l’époque il n’y avait pas de campus France (la plateforme unifiée pour faire des études en France) à Lomé, donc j’ai dû contacter directement l’école. Pour toutes ces démarches, il faut s’y prendre tôt déjà en faisant une liste de 2 ou 3 écoles qui sont susceptibles de vous intéresser. Si vous êtes dans un processus campus France, il faut les sélectionner sur le site de campus France ou bien contacter les écoles/universités directement. Moi, j'étais dans un processus hors campus France, et j’ai dû envoyer les courriers de candidature en Mars ou Avril. Renseignez-vous pour avoir les dates d’ouverture des candidatures. J’ai eu une réponse positive de l’école en Juin. Pour la procédure de visa, la caution financière a été faite avec les documents de ma banque locale et pour l'hébergement j’ai demandé à un membre de ma famille vivant en France.

Il faut faire attention au délai du consulat pour les dépôts de dossier de visa, la période de la rentrée est une période où beaucoup d’étudiants tentent d’avoir leur visa ce qui rallonge les délais (environ 1 mois). Faites attention, sinon vous n'auriez pas eu le temps de déposer votre visa que la date de la rentrée serait déjà dépassée. Dans ce cas, le consulat demande une note de l’école vous autorisant à vous inscrire au delà de la date normale de la rentrée. Mettez toutes les chances de votre coté, si vous avez des preuves supplémentaires mettez les dans votre dossier et il faut une cohérence dans votre parcours. J’ai eu de mon côté a payé le prix d’un master public (autour de 300€). Il y a une reforme du gouvernement français qui fixe de nouveaux frais de scolarité pour les étudiants non européens à partir de la rentrée 2019-2020.

Question : Comment as-tu procédé pour choisir ta formation?

Emmanuel : C’est une recommandation d’un ami, qui m’a parlé des masters spécialisés. C’est une formation Post Master qu’on retrouve dans plusieurs universités. A la base j’avais postulé pour une formation de l’Université d’Eindhoven en Hollande où ils vous formaient pendant 2 ans en génie logiciel en partenariat avec des entreprises. C’est une formation en anglais et ma candidature n’a pas été retenue. Je me suis rabattu sur la France en me disant qu’il y avait aussi de bonnes formations en France. C’est là qu’un ami m’a parlé de Telecom Bretagne (lui-même ayant fait un master spécialisé). Le master spécialisé est équivalent à un BAC+6 et fait aussi office de Master de reconversion pour les professionnels qui veulent changer d’orientation et faire de l’informatique. Mon choix s’est fait en fonction du programme qui était proposé où il parlait de système distribué, de programmation système, d’application dans le Cloud, essentiellement des sujets d’actualité. C’est sur cette base que s’est fait mon choix. J’ai aussi vu des témoignages où des gens parlaient du fait que le master leur a permis de rebondir professionnellement. Je voulais aussi faire de même et revivre une autre expérience.

Horacio : Pour moi je recherchais des Master autour de la BI ou de la Data. Je pense avoir déjà essayé de poser ma candidature pour Paris Dauphine. Je ne me souviens plus bien. Mais Paris Dauphine en région parisienne est une université spécialisée en sciences de gestion notamment dans la finance, il y a aussi un laboratoire d’aide à la décision (un peu plus vaste que que la BI). C’est un Master qu’ils appellent les "3 pôles" parce que vous pouvez vous spécialiser en Finance, BI, Système d’Information et Technologies Nouvelles. Il faut postuler pour 2 ou 3 écoles pour augmenter les chances d’être accepté. Par contre une chose qui m’avait beaucoup surpris à l’époque c’est que je n’avais pas trouvé de retour d’expérience d’une personne qui quittait son emploi en Afrique et recommençait ses études. Ce qui nous motive Emmanuel et moi à faire ce blog post c’est aussi de faire ce retour et de permettre à d’autres personnes de s’en inspirer. Ce ne sera pas exactement la même expérience mais le candidat aura quelques repères auxquels s’accrocher.

Question : Les plus et les moins du choix ?

Emmanuel : Pour les avantages, tu es dans un environnement professionnel différent de ce que tu connais et en l'espace de 12 mois j’ai beaucoup progressé sur beaucoup de technologies et le marché est dynamique. Pour une nouvelle compétence développée tu le rentabilises très vite.

Et pour les aspects négatifs (comme dans toute chose), tu seras dans un environnement culturellement différent. Donc il y aura des choses que tu ne vas pas percuter du premier coup. Et aussi il ne faut pas forcément venir en Europe avec l’idée d’y faire toute sa vie et il faut penser aussi à retourner en Afrique parce qu’il y a aussi beaucoup de choses à faire et pleins de bonnes opportunités aussi.

Un des points auxquelles il faut faire extrêmement attention c’est tout ce qui est administratif. Lisez les forums, demandez aux gens, ne restez pas dans votre coin.

Il faut être organisé sur toute la partie administrative, gardez les copies de vos courriers, être proactive sur les démarches. Quand tu vas vers l’administration c’est à toi de prouver que tu es en règle sinon par défaut on te considères comme n’étant pas en règle. Enfin pour ceux qui ont envie de tenter l’aventure, n’hésitez pas; ça permet de sortir de sa zone de confort et de découvrir de nouvelles choses.

Question : Emmanuel une dernière question, comment tu t’es senti dans ta classe, les choses qui t’ont surpris ?

Emmanuel : Il y’a un aspect où tu vas te dire j’ai tel âge, je vais me retrouver encore sur les bancs parmi des jeunes ou des vieux, là je peux vous garantir que c’est un complexe typiquement francophone que de penser qu’à partir d'un âge donné on ne peut pas retourner à l’école ou reprendre ses études. Moi dans ma classe je n’étais ni le plus âgé ni le plus jeune, je pense qu’il avait 2 ou 3 personnes qui avaient la quarantaine voir la cinquantaine et il y avait aussi des jeunes qui sortaient juste d’un Master Ivoirien pour la plupart et donc il n'y a pas de complexe à avoir.

Question : Le mot de la fin ? et merci d’avoir fait une longue distance pour qu’on soit au même endroit pour cet interview

Emmanuel : Merci de m’avoir invité sur ce blog post et le podcast. J’avoue que je me suis inspiré de ton parcours pour reprendre mes études. Je pense qu’entre togolais qu’on doit apprendre à se tirer vers le haut parce qu’il y a beaucoup de nationalités qui savent le faire. J’ai été un peu surpris de voir que beaucoup d'ivoiriens connaissent ce circuit.

Voilà.

Le lien du podcast

Rétrospective 2018

2018-12-30T18:57:00.000+00:00

Crédit photo ...

Je profite de ces derniers jours de 2018 pour partager mes réalisations marquantes. Je ne suis pas adepte des bilans de fin d’année, ni des nouvelles résolutions pour la nouvelle année mais je fais juste l’effort de les mettre par écrit (For the record comme le disent les anglophones). Cette citation en anglais résume bien la tendance qu’on a à se mettre la pression sur une courte période au lieu de mieux planifier dans la durée et j’adhère complètement à l’idée véhiculée.

"Once you have mastered time, you will understand how true it is that most people overestimate what they can accomplish in a year — and underestimate what they can achieve in a decade!"— Tony Robbins

Je vais parler de mes activités dans les communautés, mes réalisations professionnelles et enfin terminer par ma passion le tennis :).

Communautés

J’essaie chaque année de participer au moins à une conférence. C’est souvent l’occasion de sortir du quotidien, de discuter avec d’autres personnes et de voir les projets sur lesquels ils travaillent.

J’ai participé à Lyon à MiXiT en Avril. C’est une conférence accessible (60 euros le ticket d’entrée). La conférence est victime de son succès:), il faut avoir la chance d’être tiré au sort pour être participant. Parmi les speakers rocker star, il avait les 2 speakers de Google Romain Guy et Chet Haase. Ce sont des speakers que je suis depuis Lomé et je suis content de les croiser et discuter avec eux. Ils ont fait 2 talks :

Modern Android Development (C’est un bilan des 10ans de la plateforme Android et les nouvelles techniques de développement)
Comedy Talk ( C’est un standup comedy sur les tests en informatique. C’est à mourir de rire. Humour de développeur)

J’ai aussi profité pour assister à l’atelier de MIXTeeN. C’est le format pour les juniors voir minimes de la conférence.

J’ai toujours rêvé de pouvoir répliquer les conférences et les ateliers au Togo. Les astres se sont alignés pour moi ce qui me permis de co-organiser un atelier d’initiation à l'informatique au collège du littoral à Kpémé (Togo) et une conférence en Juin à Lomé (Togo). J’étais à Lomé avec mon complice Guillaume Ehret pour les 2 évènements. Bien qu’il reste plein d’axe d’amélioration je suis satisfait du travail abattu en si peu de temps.

Merci en tout cas aux organisateurs dans l'ordre de la photo @deovince @horalass @samgolchi. Je suis content de vous avoir rencontré et longue vie à #ITOGOconf. pic.twitter.com/JpkPNttoXF
— Guillaume EHRET (@guillaumeehret) June 10, 2018

Aujourd'hui grand moment à Lomé au Togo avec le premier #mixteen délocalisé hors des frontières... Les 30 enfants de 4eme ont kiffé apprendre comment marchait un ordinateur et comment l'utiliser avec Scratch. La #itogoconf commence bien pic.twitter.com/l8819WdVo9
— Guillaume EHRET (@guillaumeehret) 7 juin 2018

Professionnel

Sur le plan professionnel, j’ai eu la chance de collaborer avec des personnes géniales sur un projet de refonte BI classique. J’ai beaucoup progressé à leur contact. Je suis super content de se qu’on a pu produire sur ce projet. C’était chef de projet et c’est un rôle toujours pas évident :). Ce qui m’amène sans transition à parler de ce second point

En 2009 lors d’une sortie de notre direction, j’avais demandé à mon directeur de l’époque Mohamed Dembele ce qu’il fallait faire pour avoir une certification de chef de projet PMP. Il a souri et m’a dit qu’il fallait prendre des cours et valider les expériences bref les pré-requis pour la certification. En novembre j’ai réussi à la certification PMP. La particularité de la version 6 du PMBOK c’est l’introduction des méthodes agiles dans la démarche PMI. Au dela de simplement réussir à une certification, ce matériel répond à la question de la standardisation des procédures et documents que j’avais pas trouvé dans les livres d’agilité classique comme Scrum et Kanban.

PMBOK n’est pas un document simple à appréhender, je vous recommanderai ce cours https://www.udemy.com/pmp-pmbok6-35-pdus/ sur udemy si c’est le domaine vous intéresse. Pour revenir à Mohamed Dembele, je me souviens que juste après sa certification il avait envoyé un mail à toute la direction pour partager sa réalisation. Merci d’avoir pavé la voie et d’avoir joué le rôle de modèle.

Sport (Tennis)

Maintenant on peut parler de sport, je veux dire de tennis:). J’ai repris les entrainements et je suis passé de NC à 15/5 en terme de classement après 3 saisons.

Je suis aussi le circuit pro ATP et c’est toujours un pur régal d’aller voir le tennis en live. La vitesse de la balle et son ... sont carrément different de la télévision. Le tennisman ultime que j’avais envie de voir est Roger Federer pour la pureté du geste. Sauf que Federer ne fait plus tous les tournois. J’étais en train d’imaginer des stratagèmes pour le voir jouer avant qu’il ne parte à la retraite (aller au tournoi de Bâle ou à l’US Open).

Et par un heureux hasard, il a joué le tournoi de Bercy cette année et j’ai pu voir son quart de final et sa demi-finale. Déjà voir un match du circuit pro pour le petit tennisman de Kpémé que je suis 😃 c'est déjà énorme mais voir une demi-finale Federer-Djokovic c’est la concrétisation d'un rêve d'enfant.

View this post on Instagram

Ambiance de fou pour le #Federer #Djokovic hier. Vraiment chanceux d’être dans le stade pour ce moment fort du tennis

A post shared by horacio lassey (@horalass) on Nov 4, 2018 at 5:58am PST

Voici quelques coups de federer durant le tournoi.

View this post on Instagram

Paris has now got a few more works of art, thanks to @rogerfederer 👨🏻‍🎨 . #tennis #tennistv #paris #rolexparismasters #federer #rogerfederer #sports #instasport #hotshot #atp #atpworldtour

A post shared by Tennis TV (@tennistv) on Nov 5, 2018 at 6:33am PST

Pour finir, je vais m'orienter un peu plus vers les projets orientés Data Engineering. Une conférence qui traite beaucoup des sujets Data est Strata Data. O'Reilly propose un programme de diversité qui offre une bourse aux groupes sous-representés (couleur, genre, orientation sexuelle etc...) pour participer à ce type de conférence. Je vais essayer de postuler pour le Strata Data de San Francisco en Mars 2019. Ce sera aussi l'occasion de remettre mon anglais à jour :).
A très bientôt et je vous souhaite une très bonne année 2019.

Savoir oser : les coulisses de l'atelier d'initiation au collège du Littoral

2018-06-25T05:46:00.001+00:00

En Mai 2017 j'étais rentré au Togo, et au détour d'une conservation avec mon frère, il me dit que des anciens élèves ont offert des ordinateurs au collège du Littoral. J'ai eu un déclic en me disant "c'est super des ordinateurs!!! mais il faut penser à l'étape d'après ". J'ai décidé d'aller discuter avec le Directeur, M. DAROU, qui a été mon ancien professeur de SVT au collège.

Je passe un après-midi, le collège est complètement vide, mais il y a sa voiture. Je retrouve le bureau du Directeur (ça fait plus d'une dizaine d'année que je n'avais pas mis pied dans l'établissement) et je tape à sa porte.

J'entre.

M. DAROU s'exclame "Agbodrafoto, quel bon vent t'amène!!!" (Agbodrafoto veut dire les gens d'Agbodrafo en Mina une des langues locales du Togo. Ma famille est originaire d'Agbodrafo. Et c'est le surnom qu'il me donne depuis le collège)

Je lui explique que je viens d'apprendre qu'il a des anciens élèves qui ont offert des ordinateurs au collège et que je pense qu'on pourrait passer à l'étape d'après : faire un atelier d'initiation adapté à leur niveau. On s'échange nos numéros et on se dit qu'on va rester en contact pour suivre l'évolution du projet.

Remise d'equipement informatique par les anciens élèves

Notre point de départ c'est bien des ordinateurs dans des cartons et je trouve mon idée bien perchée mais M. DAROU a très bien reçu l'initiative. Il devait lui installer la salle informatique et moi préparer l'atelier.

En Octobre 2017 Monsieur DAROU est passé en France pour récupérer un prix pour le collège. L'école a participé à un concours international de poème "aux Cœurs des Mots" et excusez du peu (on est un petit pays mais on sait faire du bruit 🙂 ) , ils sont arrivés premier du concours. Les détails du concours sont sur ce lien

Les réprésentants du collège du littoral à Monaco pour la réception du prix

On a dîné ensemble avec M. DAROU et d'autres anciens élèves du collège en région parisienne et j'ai réitéré à Monsieur DAROU mon envie de faire l'atelier d'initiation au collège du Littoral.

La réponse de Monsieur DAROU est tout simple : il est très ouvert à toutes les initiatives qui pourront faire progresser le collège.

Rencontre en région parisienne entre anciens élèves et professeurs

Alors comment "mon assistant Guillaume" est rentré dans le GAME 🙂.

Guillaume on s'est rencontré en 2014 lors de mon passage en France pour la conférence Devoxx et MiXiT. On a resté en contact depuis. En discutant avec lui je lui confiais qu'un des projets qui me tenait à cœur c'est d'arriver à organiser une conférence sur Lomé. Mais une des grandes difficultés serait de trouver des sponsors autour de l'événement.

Il m'a juste dit : "Si tu organises un événement à Lomé, je suis prêt à faire le déplacement, à payer mon billet et mon hébergement sur place".

Loin d'être mon assistant sur ce projet, il a été un mentor. Il est plus a proposé le support de la formation, et il est plus aguerri que que moi sur les ateliers dédiés aux enfants. Il a aussi associé d'autres connaissances pour faire le voyage. Pour des soucis de planning, il a été le seul à faire le déplacement finalement.

Tu es été plus qu’un speaker, un vrai partenaire dans cette aventure. Je n’ai pas les mots assez morts en français pour te dire merci. Je le fais en langue locale : akpe kaka 🙏 @samgolchi @deovince
— horacio lassey (@horalass) June 10, 2018

Je suis rentré au Togo, le Dimanche précédent l'atelier. Guillaume m'a rejoint le lundi. Mardi on est parti au collège pour installer le nécessaire pour l'atelier.

On est repassé Jeudi pour former 31 élèves de 4ème. (Pourquoi 31? parce qu'on aime pas les chiffres ronds et qu'on aime être sur nos 31 🙂 ). Plus sérieusement au vue des équipements on ne pouvait prendre qu'une trentaine d'élèves donc seul les meilleurs ont eu la chance de suivre l'atelier de 9h à 11h30.

L'atelier s'est fait en 2 phases :

dans un premier temps, on a expliqué les différents composants d'un ordinateur en utilisant un raspberry pi
la seconde phase, c'est un atelier de programmation basé sur Scratch

Voici les slides de la première phase

Comment marche un ordinateur
Atelier pour expliquer comment marche un ordinateur à des enfants

Aujourd'hui grand moment à Lomé au Togo avec le premier #mixteen délocalisé hors des frontières... Les 30 enfants de 4eme ont kiffé apprendre comment marchait un ordinateur et comment l'utiliser avec Scratch. La #itogoconf commence bien pic.twitter.com/l8819WdVo9
— Guillaume EHRET (@guillaumeehret) June 7, 2018

Pour le bilan, je suis super content d'avoir proposé cet atelier. Ce qui m'intéresse c'est pas juste de faire un atelier ponctuel mais d'arriver à faire inscrire cette formation dans les activités extra-scolaires. On s'est promis ensemble avec Monsieur DAROU de proposer une suite à cet atelier. Je profite aussi de ce billet pour lui adresser mes remerciements. Je sais comment c'est compliqué de faire bouger les lignes sur des projets informatiques et super fier de ce qu'il a pu accomplir en une année. Vous pouvez partir en retraite fier d'avoir semé beaucoup de bonnes graines.
Respect Monsieur le Directeur.
Pour finir, je remercie tout ce qui nous ont soutenu sur ce projet un peu fou au départ. Sans votre aide on ne serait jamais parvenu. Comptant sur votre aide pour une prochaine édition.

Réalisons le rêve !!!

2018-04-23T20:55:00.002+00:00

Un de mes rêves ces dernières années, c’est d’arriver à faire une conférence IT à Lomé. Un peu de patience 🙂, je vous explique comment j'en suis arrivé la.

Je suis rendu compte à ma sortie d’école qu'un développeur avait du mal à trouver sa place en entreprise ( entre un métier où les techniques changeaient rapidement, arriver à communiquer avec les difficultés conceptuelles etc. La marge de manœuvre était infime.)

Mes camarades de promotion et des autres promotions remontaient eux aussi les mêmes difficultés au cours de nos discussions.

Je suis arrivé à la conclusion suivante : certes il y avait un boulot au niveau des DSI par rapport au rôle de développeur mais aussi de notre côté, il fallait qu'on organise une communauté basée sur les échanges d'expérience. Pour que la communauté soit forte et considérée, il nous fallait être capable d'organiser des activités en toute autonomie.

Très vite j'ai voulu voir comment les communautés de développeurs s'organisaient ailleurs. J'ai commencé par suivre des conférences sur internet. Je vous parle des années 2005 et on se connectait avec ... roulement de tambours ... un modem 56k. Je travaillais à Lomé à l’époque et on faisait partie des nantis coté internet. J'étais tombé sur des vidéos d'une association qui a donné naissance plus tard au Paris JUG. Je ne retrouve plus le nom et les liens tellement c'est vieux cette histoire :).

Faire le constat était simple, arriver à organiser des activités était une autre paire de manches.

Pourquoi je me mets à vous raconter tout ça. Oui pourquoi ???

Au fait j’ai des conditions plus favorables qui me permettent d’organiser une bonne conférence dont voici les détails :

Date :

8 Juin 2018 à Lomé, je compte organiser une journée de conférence

Lieu:

Lieu prospecté : Paroisse universitaire, Agora Senghor à coté de Saint Joseph

Thèmes et sujets qui seront abordés

Développement web
Développement mobile
Sujet Maker ( Raspberry pi et arduino)
Devops ( Docker, Kubernetes, Istio )

Audience cible

200 personnes.

De quoi a t-on besoin ?

Si l'idée vous intéresse et que vous pensez pouvoir apporter votre modeste contribution, allez- y contacter moi par mail : horalass@gmail.com. On a besoin de plus de bras de mener à bien ce projet :). Par exemple j'ai pas encore de nom pour la conférence. Vous pourriez me faire un retour sur le nom et la proposition de logo suggérés par un ami.

Si vous travaillez dans une boite capable de nous sponsoriser, on est aussi preneur.

Enfin si vous êtes speaker, vous êtes aussi le bienvenu sur les thèmes précités ou bien nous suggérer un nouveau. Seul bémol pour le moment on n' a pas de sponsoring :).

Au fait c'est juste la première partie du projet :). Le second volet concerne un atelier d'initiation à l'outil informatique. Je reviens d'une conférence ( en occurence MiXiT ) où il avait le même genre d'atelier, j'ai pris des photos et sketchnotes pour illustrer.

En gros au cours de l'atelier, on initie les tous jeunes à de la programmation avec des techniques adaptées. L'idée derrière n'est pas de faire d'eux le prochain Marc Zuckerberg, mais juste qu'ils comprennent toute la transformation numérique qui s'opèrent autour d'eux et qu'ils soient aussi acteurs de ce changement et pas uniquement consommateurs.

Donc je vais répliquer ce type d'atelier au Collège du Littoral à Kpémé le 07 Juin . Je suis en contact avec le Directeur qui a les équipements adéquats afin de mener ce type d'atelier.

Pour définitivement vous convaincre de rejoindre l'aventure avec nous voici quelques références :

Une video de présentation du Togo ( faite par Gert Kombate)

Une video où je présente le monde de l' IT en Afrique de l'Ouest

Summer vacation reading list

2017-07-14T13:12:00.000+00:00

As the summer season holidays are looming, if you are looking for some books to fill your days when you are settled on beach here are two picks :)

Born a crime by Trevor NOAH

Back to 2010, I was in South Africa for training. And in my hotel, every TV channel was talking about Trevor Noah: the new rising standup comedian. I was like « what the hell is going on here, and everybody was talking about this guy ». In my head I was joking, they should have known about Gogoligo and Gbadamassi (two well known Togolese comedians) they would forget about Trevor 😃.

I wrote his name down to check on him later. Back home, I forgot about him and gone to daily routine days in day out. Now going through this book, I understood what the deal was about. Let be clear this book is a pure masterpiece. Born from a white father and black mother during apartheid, Trevor got us through his childhood in South Africa. Mixed couple were not allowed back in time there, and he and his mother should find ways to crack the system. The book got us through all the feelings: laugh, surprise, revolt

Just to give you a glint, the apartheid system was profiling everybody. You can be white, colored or black. Depending on your classification, your right was different. But South Africa is a very mixed country(European, Asian, African). So it’s not an easy task to determine your profile. So they have invented the pen system. They put a pen in your hair, if it went down you are white. Person of color can get promote white. He also recalled the history why South Africa is called the rainbow nation.

One of the stories that make laugh a lot, is the way his mother punished him. She will try to hit him, Trevor will start running around the neighborhood, her mother behind chasing him and throwing things at him. Her mom would also book all the Sunday for the church, and they will make the tour of the church all around Johannesburg. Trevor today is a famous comedian in the US, hosting a show «Daily show». When you see where he is coming from you can only pay tribute to his work. One of the best book I've read so far.

When breath becomes air by Paul KALANITHI

I come across this book suggestion when reading a tweet from Bill Gates. Bill was too generous in praise about it. I have also read The last lecture by Randy Pausch which was dealing with the same topic: dying of cancer (reviewed here). So I put this book on my reading list and I’m not disappointed at all.

Paul grew up in a family surrounded by doctors: his father, brother and even his wife are doctors. But his first interest was literature. He received a degree in English literature from Stanford University. He worked on death topic in literature and was considering a Ph.D. in English literature before he got his calling. To know more about death he needed to be closer to it, he needed to be a physician. He enrolled in a medical school. He finally chooses to be a neurosurgeon, one of the most demanding field.

Paul gave us some insight from his journey to become a neurosurgeon. From his debut as a resident to his final year, you can really feel the pressure on his shoulder on his day to day task.

One millimeter mistake can be a complete disaster. But he is almost done. He was in his final year of residency and on his way to get a research job in the academia. All the lights were green for his. He started to notice some back pain et started losing weight. As neurosurgeon his first thought was: I’m getting cancer. When he checks more it's a death sentence: lung cancer in metastases. Then his life gets filled with questions:

Should he fight back to be a surgeon?
Is it worth to get a child?
What do I use my remaining time for?

Paul shares how he has handled those questions.

The title "When breath becomes air" suggest the idea that you can move from one state to another smoothly, without even noticing it. Like him, he moves from physician to patient. A very good heartbreaking book that forces you to ask yourself the same existence question.

-------------------------------------------------------------------

Beh oui, je lis des livres en anglais :). J’ai décidé de donner mes avis sur les livres en anglais parce que:

Ca me permet de réviser mon anglais (qui n’est pas très bon à l’origine)
J’aime pas les traductions, j’ai l’impression de perdre de la substance dans ce processus.

Alors comment je m’en sors 😃pour lire des livres en anglais. Good question ? Comme je l’avais expliqué dans un autre billet, je lis essentiellement sur ma tablette ou mon téléphone. J’ai un iPhone ( oui je suis passé du côté obscure de la force :) ) et j’utilise iBook qui a un dictionnaire intégré qui me permet même de vérifier rapidement la signification d’un mot ou de voir sa traduction. De plus ces livres sont écrits dans un anglais relativement accessible. Ce qui m’a permis de profiter pleinement de ces derniers. Reste qu’à vous souhaiter une bonne lecture. Laissez moi un commentaire si les livres vous ont plu suite à ma recommendation.

Data Engineer's toolkit à MiXiT 2017

2017-05-01T17:30:00.000+00:00

Les 20-21 Avril 2017 s’est tenu à Lyon la septième édition de la conférence MiXiT. J’ai eu la chance d’être sélectionné comme speaker pour parler des outils du data ingénieur. Dans les lignes qui suivent je vais vous faire une retranscription de ma présentation.
Voici la vidéo pour ceux qui préfèrent plus d'actions :)

Data Engineer's Toolkit ― Horacio Lassey-Assiakoley ― MiXiT 2017 from MiXiT on Vimeo.

Avant de rentrer dans le vif du sujet je me suis permis de m’introduire, de présenter comment j’ai connu la conférence et pourquoi c’est toujours un immense plaisir d’être à cette conférence aussi bien en tant que speaker ou simple participant.

Ne vous inquiétez pas. Personne de l’organisation ne m’a demandé de faire ce slide. Je me demande même s’ils vont pas me poursuivre pour avoir aussi bien abimé leur identité graphique dans laquelle ils ont mis tant d’effort. Ce que j’aime dans MiXiT c’est leur capacité à se renouveler, à trouver de nouvelles idées. Ça se dénote par exemple par une keynote avec un orchestre pour montrer la dynamique de groupe et le rôle d’un leader dans un groupe.

J’ai rencontré Agnès et Cyril du comité d’organisation de MiXiT en 2011 à Lomé par un heureux hasard. Ils faisaient leur tour du monde et avaient fait un escale à Lomé pour donner une formation java. On a sympathisé et ils nous même fait un talk toute une matinée.

Pour ceux qui sont un peu fâchés contre la géographie, le Togo c’est sur la côte ouest de l’Afrique. Je vous l’accorde c’est pas le premier pays qu’on voit quand on regarde une carte d’Afrique. C’est environ 7 millions d’habitants et comme les espèces en voie de disparition on a un statut spécial :). Non je blague :)

En 2012 j’ai suivi MiXiT en live stream depuis Lomé. Je pense que c’est la seule année où ils ont fait du live stream.

En 2014 j’avais envie de participer à une grande conférence et l’équipe de MiXiT m’a proposé de faire un talk alien pour parler du monde de l’IT et des communautés en Afrique. On ne le ressent pas sur cette photo mais je tremblais de tout mon corps. Si un peu, avec le micro de travers. Mais ça a été une expérience édifiante pour moi.

Quelques mois après ma présentation à MiXiT, j’ai décidé de retourner à l’université où j’ai fait un master 2 en informatique décisionnelle.

A l’issu de cette formation j’ai rejoins un ESN Synaltic Group qui est spécialiste des ETL et d’Hadoop en région parisienne.

Pour revenir à notre sujet du jour et présenter le contexte, on a des structures de données qui sont conçues pour bien faire une seule chose à la fois. Soit il sait bien faire de la recherche full-text ou de l’analytics ou bien du transactionnel. C’est difficile d’avoir une seule structure qui soit performante dans tous ces domaines. Aussi on peut avoir les fusions d’entreprises ou bien communiquer des informations avec des partenaires qui n’utilisent pas la même application.

Dans une entreprise on se retrouvera toujours avec la même information sous différentes formes voir différent format.

Intégration de données a toujours permis de réduire le gap et de permettre à la donnée de circuler correctement dans une entreprise. Je vais raconter comment l’intégration de données a toujours été au sein des entreprises. Et tant qu’à raconter une histoire autant bien la faire c’est-à-dire à Walt Disney.

Les entreprises dans les années 90 ont voulu avoir un système qui facilite la prise de décision. Une nouvelle architecture s’est imposé qui consiste à déporter le système décisionnelle dans un datawarehouse et chaque nuit le système décisionnel est mis à jour avec les données systèmes opérationnels. Les ETL ( Extract Transform Load) sont utilisés pour faire le pont entre les 2 systèmes.

Comment fonctionne les ETL ?

Les caractéristiques d’un ETL sont :

Une interface utilisateur facile basée sur du Drag’n Drop
Une éxecution en mode batch
Un référentiel pour les schémas et les métadonnées
Des outils des statistiques et de gestion d’erreur intégrés
Un moteur générateur de code, ou basé sur une base de données ou moteur propriétaire.

Vous allez me demander pourquoi ne pas utiliser son langage de programmation pour réaliser la même chose. En effet tous les langages qui n'ont pas été conçu avec la philosophie des traitements de données au centre. Java et R et Scala n’ont pas tous la même capacité pour faire les traitements de données. Il faut aussi s’assurer de créer les conditions d’un ETL citées ci-dessous. Sinon votre base de code sera à 80% du temps, du code ETL et à peine 20% pour votre logique métier. Cela rend difficile la maintenance de votre code à la longue.

Aussi il faut aussi éviter de faire les intégrations point à point entre les différentes composantes de votre SI sinon on aboutit à une architecture en spaghetti.

Pour éviter de faire de l’intégration point à point et rendre les applications fortement dépendantes les architectures orientées bus ont été créées.

Au lieu de communiquer directement avec une autre application, chaque application communique avec le bus qui se charge de router la bonne information à la bonne application.

Tout l'écosystème marchait bien globalement en entreprise jusqu’à l’explosion de la bulle internet. Les géants de l'internet ont été confrontés à une demande très fortes jamais connue dans le monde informatique. Des dizaines de millions de connexions simultanées avec beaucoup de données semi- structurées voir non structurées ( images, post, tweet etc…). Il leur fallait une autre façon de gérer leurs données. Ils sont parti sur une architecture basée sur les commodity hardware en créant des clusters au lieu de grosses machines.

Google fut le premier à dévoiler les techniques qu’il utilise pour tenir la charge dans une série d’articles publiés à partir de 2003.

En 2003 donc, Google fait une première publication sur GFS( Google FileSystem) un système de fichier distribué et tolérant à la panne et en 2004 une seconde publication sur Mapreduce un paradigme de programmation distribuée. Doug Cutting qui à l'époque travaillait sur un moteur de recherche nommé « Nutch » s'inspire de ses publications pour créer ce qui deviendra bientôt Hadoop. Doug Cutting va ensuite travailler pour Yahoo qui investit sur Hadoop. Le projet est actuellement est dirigé par la fondation apache.

Alors comment fonctionne HDFS ?

Prenons un exemple concret. Supposons qu'on a un fichier mydata.txt de 150 mb. Nous allons voir comment HDFS stocke les données.

HDFS divise le fichier en plusieurs blocs et chaque bloc a un identifiant. Par défaut la taille des blocs est de 64 mb. Ces blocs sont copiés sur les machines du cluster sur lequel tourne un daemon appelé datanode.

Une machine se charge de répertorier les machines sur lesquelles se trouve chaque bloc. Le daemon qui tourne sur cette machine s'appelle namenode.

Par contre si on perd le namenode on ne pourra plus accéder aux blocs sur les datanodes. Pour cela il est conseillé d'avoir une copie namenode sur un serveur distant. Hadoop dans sa version 2 aussi propose une architecture avec un actif et standby namenode.

Comment fonctionne MapReduce ?

Pour faire du mapreduce la donnée en entrée est découpée en plusieurs blocs. Une fonction map() crée des collections clé valeur distribuées sur chacun des blocs et la fonction reduce() fait une agrégation des résultats de la fonction map()

Concrètement prenons un fichier mydata.txt ci-dessus. Supposons que vous voudrions faire la somme des montants que chaque personne à dépenser par jour. La fonction map() va transformer notre donnée en une collection de clé,valeur. On aura plusieurs mappers et chacun va contenir les collections de clé,valeur.

Une opération qu'on appelle le shuffle va permettre de regrouper sous chaque reducer les clés de même valeur et ainsi appliquer une fonction d'agrégation. Dans notre cas ce sera une somme. Les reducer vont finalement produire notre fichier final en sortie.

Tout comme dans HDFS des daemons tournent sur les machines pour permettre au programme mapreduce de fonctionner. Le job tracker se charge de distribuer et de surveiller les tâches map et reducer sur les task tracker.

Hadoop a une dizaine année maintenant et l’offre s’est complétée au fil du temps. Une couche SQL nommée Hive permet de faire abstraction de la couche mapreduce par exemple.

Les formats de fichiers peuvent être importants pour des soucis de performance. Le format orienté colonne s’est imposé dans le domaine de l’Analytics parce qu’il est plus performant pour les requêtes d’agrégation. Il y’a existe plusieurs types de format orienté colonne dans l’écosystème hadoop : parquet, ORC… pour en citer quelques uns.

Des fichiers qui supportent des évolutions de schéma permettent d’avoir différentes applications qui utilisent différentes versions du même fichier. C’était la promesse des fichiers d’échange XML et JSON mais ils sont trop verbeux et le temps de parsing peut être important sur de gros volume de données. De nouveaux format binaire ont vu le jour : AVRO, Protocol Buffer… Je vais pas rentrer en détail dans le fonctionnement de ces différents fichiers mais ce sont des choix importants dans un projet big data.

Les projets les plus dynamiques chez la fondation Apache se trouvent dans l’écosystème big data. A part Hadoop d’autres projets big data ont vu le jour pour permettre de faire du batch et streaming mais aussi du machine learning et analytics. La liste est très longue …

Mais au bout de ces 10 ans hadoop et de big data en général, certains on pris du recul et proposer des solutions qui pour moi vont s’imposer dans les années à venir.

Apache Beam est un projet de Google(toujours les mêmes :)) à la base qui tente d’unifier le traitement batch et streaming dans un modèle très simple pour le développeur. Le projet a été donné à la fondation et est même devenu top level project depuis le début de 2017

Que propose Apache Beam ?

Tu programmes avec un SDK (java,python etc) qui donne une abstraction sur les différents cas qu'on peut rencontrer et ensuite tu spécifies sur quel type de cluster tu voudrais exécuter ton code. Il existe un runner pour chaque cluster qui se charge de traduire le code soit en spark, flink ou autre chose. Le modèle est assez ouvert pour intégrer de nouveaux moteur de data processing mais aussi de nouvelles façon de gérer le code beam. Par exemple l’ETL talend génère du code BEAM grâce à la approche basée sur du drag’n drop dans sa dernière version.

Comment le modèle BEAM permet-il de couvrir tous les use case ?

En répondant aux 4 questions suivantes :

Qu'est ce que vous êtes en train de calculer ( somme, moyenne etc ...)
À quel moment l’événement s'est produit
À quel moment les données sont traitées
Comment sont traitées les données en retard.

Avec 6 cas d’utilisation on couvre l’essentiel des problèmes de traitements de données. Et la traduction en code est encore plus bluffante.

L’autre projet que je trouve aussi intéressant et qui prend de plus en plus de la place c’est Apache Kafka

Kafka est un système de message qui permet de faire la manipulation de données à du temps réel et à faible latence.

Il se base sur le principe de transaction logs qui consiste à ajouter les événements de façon chronologique et ne jamais les supprimer. Plusieurs applications peuvent consommer ces messages chacun à son rythme grâce au système d’offset qui permet de marquer le dernier message consommé par ce dernier.

Kafka a été développé initialement chez LinkedIn puis donné à la fondation apache. Des anciens de chez LinkedIn ont fondé une société nommé Confluent qui fourni autour Kafka qui permet de faire de l’ETL.

Le rôle du data engineer est de trouver la bonne architecture pour son entreprise. Le choix aujourd’hui est large. Il faut trouver le bon niveau pour son SI. Toutes les solutions ne sont pas équivalentes et il faut bien analyser son SI. C’est un job transversal qui recoupent un peu les fonctions de software engineering, data analyste, data scientist…

C’est une fonction qui est souvent confondu avec celui du data scientist mais le rôle data engineer est en amont de celui du data scientist. Il doit normalement préparer les données pour le data scientist. C’est une fonction beaucoup demandée avec l’explosion des données en entreprise mais ces derniers ont encore un peu du mal à cerner le profil.

J’espère que cette présentation vous a intéressé et c’est un happy end pour vous.

Forum X-Afrique 2017

2017-03-14T01:59:00.000+00:00

Le samedi 25 Février s’est tenu un forum organisé par X-Afrique sur l’entrepreneuriat en Afrique. Pour planter un peu le décor, X-Afrique est une association des étudiants africains de l’école Polytechnique. Pour ceux qui ne connaissent pas bien le système universitaire français, Polytechnique dans la hiérarchie des castes des universités en France se trouve en haut de la pyramide :). C’est une école qui a une grande cote et qui forme des ingénieurs polytechniciens sur des cycles de spécialisation de 4 ans ( au lieu de 3 ans dans les écoles d’ingénieur classique).
Plusieurs ateliers et conférences ont été tenus durant ce forum. Vous pouvez trouver sur ce lien l'ensemble du programme de la journée. Je m'attarderai particulièrement dans ce billet sur 2 interventions qui ont attirés mon attention: Celle de Abdourhamane Cissé et de Ted Boulou avec lesquels je partage la même vision sur les perspectives de entrepreneuriat en Afrique.

Abdourahmane Cissé : Le ministre ivoirien du budget

Je ne fais pas la courbette :). Beh si, juste un peu. Uniquement pour les personnes compétentes :).

J’apprécie le personnage parce qu'il ne se prend pas au sérieux et il ne se la pète pas (excusez moi l’expression). Et il a enchainé avec une blague en disant que l’amphithéâtre lui rappelait de bons souvenirs passés à l’école et qu'il aimait lui aussi s’asseoir au fond de l'amphithéatre et qu'il y a passé de sacré après-midi de sieste.

Son discours n'est pas commun dans le sens où il diffère beaucoup des discours politiques auxquels nous sommes habitués. Le thème de sa présentation était : "L’innovation au service du développement rural"

J’ai pris quelques photos de la présentation et les slides sont très parlant (surtout ça m’évite de faire les commentaires 😃)

Enfin il a remercié le Président de l'école, qui a accédé à sa requête d’ouvrir le concours d’entrée à l’école Polytechnique à des étudiants ivoiriens qui ont concouru tout en étant en Côte d'Ivoire. 5 étudiants Ivoiriens ont intégré Polytechnique à Paris par le biais de ce concours organisé en Côte d’Ivoire. Enfin il a exhorté les étudiants à trouver le bon moment pour rentrer en Afrique à la fin de leurs études. Moralité de l’histoire, il faut pas oublier de renvoyer l’ascenseur social. C’est souvent la reproche que je fais à l’élite togolaise de faire très peu de lobbying pour offrir plus de possibilités à la jeunesse. Je m’égare un peu 😃 mais il faut que je la place je suis togolais

Je félicite ts les africains qui intègrent @Polytechnique et je leur dis : il faudra revenir, on a besoin de vous #ForumXAfrique
— Abdou Cisse (@abdu_cisse) February 25, 2017

Ted BOULOU : Polytechnicien X??

Pour présenter son produit, il a invité l’audience à deviner le chiffre d’affaires d’une vendeuse de poisson d’un grand marché de Dakar, Amy MBaye. Environ 1500 € (en 1 000 000 Francs CFA) par semaine. Et pour lui il y a très peu qui s’intéresse à l’affaire d’Amy MBaye. Il a présenté une console faite en bois, avec des touches imprimées en 3D qui sert à gérer un commerce. Il a touché ainsi un problème sensible, le caractère informel de l'essentiel de l'économie en Afrique. Mais on s’efforce de calquer les solutions proposées en Europe en Afrique. Ce qui ne marche pas dans la plupart des cas.

Enfin il a conclut en disant qu’il faudrait plus d’ingénieur qui travaillent à trouver des tabliers, des chaises adaptés à Amy MBaye.

"Il faut que les ingénieurs d'aujd inventent des chaises, des tabliers adaptés à Amy Mbaye, vendeuse de poissons" @TedBoulou #forumxafrique
— X-Afrique (@XAfrique) February 25, 2017

C’était mon coup de coeur de la journée. Au final c’était une journée assez instructive sur l’écosystème et l’innovation des entreprises en Afrique.

Ma fiche de lecture

2017-02-06T01:44:00.002+00:00

Ces dernières années j'ai lu beaucoup de livres d'informatique et très peu de roman ou des bouquins en dehors de la sphère de l'informatique. Depuis Décembre 2015 je me suis remis à relire des romans de toutes sortes et ce billet, c'est pour me faire une petite fiche de lecture et aussi partager si quelqu'un tombe dessus par hasard 😃 .

Dream new Dreams Reimaging my life after a Loss par Jai Paunch

Jai Paunch revisite l'histoire de son mari Randy Pausch. Randy est un Professeur d'informatique de l'université de Canergie Mellon. Il s'est vu diagnostiquer un cancer du pancréas. Après plusieurs traitements, le cancer a pris le dessus et il ne restait plus quelques mois à vivre. Dans la pure tradition académique, on propose au Professeur de faire une dernière présentation, les dernières mots qu'il voudrait que les étudiants gardent de lui. Il a fait une présentation sur le thème « Last lecture : achieving your childhood dreams » à plus 400 étudiants où il a partagé comment il a pu atteindre ses rêves d'enfant et les enseignements qu'on pouvait en tirer à chaque étape. La présentation a fait un grand buzz et il a écrit un livre derrière et fait une présentation dans l'émission d'Oprah. Jai reparle de toute cette histoire, sa rencontre avec Randy après un échec dans un premier marriage. Il partage aussi les moments les plus durs où elle doit sans cesse faire le choix entre ce qui est bon pour son mari(très malade), ses enfants en bas âge et pour elle même. Elle raconte aussi sa période deuil, comment elle a retrouvé la force pour se relever et d'avancer en s'engageant dans une association de lutte contre le cancer mais aussi comment elle a pu retrouver l'amour. C'est un livre très honnête que je conseillerai de lire ensemble avec le livre de Randy pour rendre compte comment dès fois on peut vivre la même chose et ne pas tirer la même expérience. Un petit détail, les livres sont anglais 😃 mais l'histoire mérite de se faire violence.

Voyages absurdie Chroniques par Stéphane de Groodt

C'est une compile des chroniques de Stéphane de Groodt dans l'émission « le supplément » sur canal+ . En fonction de l'invité ou de l'actualité, Stéphane faisait une chronique. Il faut attacher la ceinture pour suivre, beaucoup de jeu de mot ou de double sens etc ... Un livre d'humoriste. C'est assez ludique.

Patients par Grand Corps Malade

Je connaissais le slammeur pas l'écrivain et j'étais un peu curieux de voir ce que ce roman allait donner. Et j'avoue que j'ai pas été déçu. Fabien alias grand corps malade nous fait découvrir le monde de l'handicap de l'intérieur. Il raconte une période de sa vie, de son accident dans une piscine à son passage à l'hôpital et enfin sa période de réeducation. Avec son sens de l'humour bien aiguisé, il nous met dans la peau d'un handicapé et nous fait découvrir un monde insoupçonné quand on est valide: des gestes simples du quotidien ( comment faire les scelles ou sa toilette) pour lesquels il faut faire appel à un aide soignant, au regarde des autres. On ne sort pas indemne à la fin de la lecture de ce roman. On se rend vite compte que tout dans ce monde est pensé pour les valides avec des normes de valides. Donc en plus de son handicap on doit se battre contre un monde qui n'est plus adapté a ses nouvelles conditions. Mais on se rend vite compte qu'au delà de l'handicap ce sont les mêmes joies et peines que tout le monde. Il y'a ceux qui s'adapte à leur nouvelles conditions et s'en sortent et d'autres non. Et c'est fou les conneries qui peuvent faire en fauteuil roulant. Je comprends pourquoi on a des textes de grand corps à des épreuves de BAC.C'est non seulement un bon chanteur mais aussi un très bon écrivain.

Charlotte par David Foenkinos

L'auteur retourne sur les traces de Charlotte Salomon artiste juive allemande pendant la seconde guerre mondiale. Entre tragédie familiale et celle du nazisme, la jeune se construit peu à peu. Privé de lycée à cause des restrictions mises en place par les nazis elle finit par s'inscrire aux beaux art à Berlin. L'Allemagne devient de plus en plus hostile aux juifs et elle se résout à s'enfuir au sud de la France. Elle meurt en déportation enceinte, mais elle passe ses derniers mois à peintre des tableaux qui sont considérés comme des chef d'œuvre.

Kiffe kiffe demain par Faïza Guène

C'est un livre que je traine sur ma liste depuis quelques années. J'avais vu une émission de Laurent Ruquier qui présentait le livre comme un récit d'une jeune de banlieue avec un style singulier qui parle de la vie dans la cité. Faïza raconte la vie de Doria jeune fille de quinzaine d'année, qui vit seul avec sa mère femme de ménage. Son père est retourné vivre au Maroc avec sa nouvelle femme, se qui rend précaire la vie de Doria et sa mère. Elles sont suivies par des assistantes sociales. Doria parle de son quotidien, ses difficultés à l'école, ses amourettes. Le style du livre fait parler Doria par moment en verlan ce qui rend très crédible l'histoire.

Qu'allah benisse la France par Abd Al Malik

C'est une autobiographie sur le parcours Abd Al Malik le rappeur. Fils d'immigrés congolais ayant grandi dans les cités de Strasbourg, il raconte comment il a su conjuguer sa vie de caïd et d'élève performant à l'école. Le fait d'être un bon élève lui permet de sortir des cités, chance que les autres de sa bande n'ont pas eu. Il raconte aussi sa conversion à l'islam venant d'une famille d'origine chrétienne. Il donne aussi une bonne grille de lecture des conversions à l'islam dans les cités qui est plus un acte contestataire plus qu'un acte religieux. Il décrit le mouvement en prenant l'exemple les états-unis où les Cassius Clay sont devenus des Mohamed Ali pour faire un pied de nez au système. Il raconte aussi comment il est venu au rap et comment il fallait à chaque fois concilier le rap avec sa nouvelle réligion. Dans la dernière partie du livre, il montre comment le soufisme lui permis de trouver une paix intérieure. C'est un roman très bien écrit, qui permet de découvrir la mentalité des cités, la culture du rap et aussi le rapport à l'islam qui existe dans les cités.

Le mystère Henri Pick par David Foenkinos

C'est l'histoire d'une jeune éditrice qui publie un roman retrouvé dans une petite librairie dans un coin reculé. C'est le livre d'un ancien pizzaïolo retrouvé dans une librairie "des livres refusés". Le livre a eu tellement de succès que toute la presse veut savoir d'avantage sur l'auteur du livre. Sauf que le pizzaïolo est mort depuis quelques années. C'est l'intrigue du livre.

La presse et les journalistes se déchainent pour comprendre comment il a pu écrire un aussi beau roman. La vie de la femme et la fille du pizzaïolo se trouve bouleverser. La jeune éditrice se trouve elle aussi propulser au devant de la scène dans sa maison d'édition. Le livre oscille ainsi entre la vie de la jeune éditrice, la famille du pizzaïolo et un journaliste qui enquête sur la version officielle avancée par la maison d'édition.

Petit pays par Gaël Faye

C'est un roman où le héro Gaby raconte son enfance au Burundi. De mère rwandaise et d'un père Français il raconte leur vie dans la région des grands lacs avant et pendant les périodes de troubles qu'a connu la région. Si vous avez grandi en Afrique, avant que les jeux vidéo n'envahissent le monde, vous allez vous retrouvez dans le récits de la première partie du livre. Jouer dans une veille voiture à l'impasse de la rue, s'en prendre à un arbre fruitier juste pour passer le temps font partie du quotidien des enfants. L'histoire part d'un récit personnel, la vie de sa famille avec le divorce de ses parents, puis expose l'horizon politique de la région. J'avais du mal à bien cerner les liens qu'il avait entre le génocide au Rwanda et les troubles politiques au Burundi voir aussi en République Démocratique du Congo ( ex-Zaïre). A travers l'histoire de la famille Gaby on fait des flash historiques dans génocide rwandais, les rapports ethniques dans la région sans que ce soit réellement un livre sur le génocide en lui-même. Je suis togolais et on a connu des troubles politiques identiques dans les 1990 et je me rend encore plus compte avec ce livre qu'on était passé tout proche de la même histoire.

Enfin une satisfaction personnelle j'ai lu le livre avant qu'il ne remporte le Goncourt des lycéens, preuve que ma sélection des livres à lire marche bien 😃 .

Voilà ... J'ai pas changé grand chose à ma routine. Je lis uniquement que dans le transport ou quand j'ai un temps creux en dehors de la maison. J'utilise essentiellement une tablette pour ne pas avoir à transporter des livres physiques. Si ma liste vous inspire alors bonne lecture :)

Entreprenariat en Afrique francophone

2016-12-11T20:37:00.000+00:00

Image pris ce le compte twitter de TechofAfrica

Le 18 Novembre s'est tenu à Paris, au Cinéma Christine 21, l'avant-première du film documentaire de techofAfrica : Afropreneur, histoire d'une révolution silencieuse.

Tout est parti d'un constat fait par les membres d'Afropreneur sur l'écosystème des startup du numérique en Afrique francophone. Ce dernier est moins développé qu'en Afrique anglophone. Ils ont lancé une campagne de crowdfunding sur kisskissbankbank. L'idée de ce crowdfunding était de réunir les moyens pour tourner un film documentaire sur l'univers des start-up en Afrique francophone. La campagne a été couronnée de succès, ce qui a permis à l'équipe de tourner dans plusieurs villes africaines et de rencontrer plusieurs entrepreneurs dans les pays suivants : Togo, Benin, Côte d'ivoire, Sénégal, Congo, Cameroun, Mali.

L'équipe de TechofAfrica (Image pris ce le compte twitter de TechofAfrica)

Le documentaire est essentiellement une série de questions où les différents intervenants ont donné leur définition de l'entrepreneuriat, les difficultés auxquelles ils étaient confrontées et leur vision pour 2030 de l'écosystème. Pour eux, l'Afrique fera des bonds technologiques et mettra peu de temps pour rattraper son retard. Elle profitera de l'expérience et des retours pour anticiper ces choix technologiques. C'est un documentaire avec une touche d'humour qui faisait rire par moment toute la salle.

L'équipe était désolée de proposer une avant-première à Paris alors que leur film parle de l'Afrique. Ils travaillent sur une diffusion dans les capitales africaines où ils sont passés mais aussi une diffusion plus large à la télé avec un média partenaire.

Je profite pour dire un grand bravo aux initiateurs. Arrivé à mener de bout en bout une campagne de crowdfunding jusqu'à la concrétisation du projet doit représenter beaucoup de sacrifice pour eux et le chemin a dû être semé de beaucoup d'embûche.

Mais (car un il y'a un mais 😃) le documentaire présentait beaucoup les problèmes à un niveau macro ( problème d'infrastructure, d'éducation, manque de fonds etc) et n'a pas clairement mis l'accent sur les pistes de solution. Certes ce sont des problèmes auxquelles les entrepreneurs sont confrontés tous les jours en Afrique mais j'aurai aimé quelques zoom sur les histoires personnelles des entrepreneurs. Comment s'en sortent-ils au quotidien? Quelles sont les astuces qu'ils utilisent pour survivre avec tous ces contraintes? Plus facile à dire qu'à faire je l'admets.

Une chose que c'est j'ai constaté ces dernières années en Afrique c'est de voir les gouvernements faire la promotion de l'auto-entreprenariat à outrance juste pour pallier leur incapacité à fournir de l'emploi à la jeunesse. Je suis un fervent défenseur de cette vision, où il ne faut pas tout attendre d'un gouvernement ou d'une forme d'autorité que ce soit. Mais, il ne faut pas occulter le fait d'être entrepreneur est dur, quelque soit le domaine, encore plus si c'est les nouveaux domaines comme le numérique. Donc pour moi, parler de ces problèmes à niveau macro ne permet pas à un jeune entrepreneur de mesurer les difficultés auxquelles il doit s'attendre. C'est vrai qu'il faut pas grand chose pour commencer, un ordinateur et une connexion internet, et on peut commencer par faire de grand rêve. Le plus dur n'est pas de commencer mais de tenir sur la durée. Pour cela il faut un écosystème autosuffisant. Et pour le moment on travaille très peu sur l'écosystème en général et j'aimerai partager cette exception que j'ai vu au Maroc.

J'ai eu la chance de participer à la conférence Devoxx Maroc en Novembre 2015 et la keynote de fin a été faite par Omar Balafrej. Il partageait l'expérience au Maroc avec Technopark. En gros c'est un espace collaboratif où les entreprises de taille plus grandes participent au financement des plus petites entreprises. Par exemple le coût du loyer est proportionnel à taille de l'entreprise. Ce qui permet automatiquement de supporter la charge des structures plus petites. Le concept est bien expliqué dans cette vidéo de 3 minutes.

Un système comme le Technopark est une idée permettrait de faciliter le démarrage pour de jeune entrepreneur et aussi et le concept est très original en soit. A titre personnel, j'aurai bien voulu avoir une structure comme Technopark quand on a eu l'idée de monter une boite avec des camarades à Lomé. Je ne sais pas si au final ça nous aurait permis de réussir notre projet (je partagerai bien notre echec dans un autre billet :) ).

Je vous laisse avec l'intégralité de la conférence d'Omar sur le thème "Libérer les énergies". Le message est profond et n'a rien de technique, et vaut bien le détour.

Retour de Devoxx Morocco 2015

2015-12-15T03:46:00.000+00:00

J'ai passé ces derniers mois à traiter des sujets autour de l'écosystème hadoop, suffisamment assez pour me faire une opinion personnelle. Une des choses les plus difficiles avec hadoop c'est de trouver sa voie dans le trop d'information et souvent on ne sait par où commencer. Une des façons de savoir si on a bien compris un sujet est d'essayer de le partager avec les autres. Personnellement je me suis lancé un défi d'arriver à me faire accepter pour un talk technique à une grande conférence. Souvent pour être accepté à ces conférences il faut être suffisamment légitime pour parler du sujet qu'on a soumis et ainsi passer l'étape des sélections.

J'ai pris mon courage à deux mains et braver la peur des call for paper et j'ai soumis un talk à Devoxx Maroc. J'ai choisi de parler de mes premiers pas sur hadoop, pourquoi le nouveau écosystème, et comment hadoop peut être une continuité à ce qu'on fait déjà et surtout par où commencer. Ce que m'intéressait le plus c'était une vision d'hadoop pas comme les géants du web ( Facebook, Google, Twitter, Linkedin etc…) peuvent l'avoir mais celui d'un informaticien lambda et je me sens suffisamment légitime dans ce costume.

Malheureusement la session n'a été filmée mais pour le fun je me suis décidé à faire un transcript du talk :).

So here we go…

Donc pour ceux qui ne me connaissent pas ( normalement vous devriez mdr) mais bon pour ceux qui ont une très mauvaise memoire faciale je m'appelle Horacio LASSEY. Je suis originaire du Togo. Vérifie sur ta carte c'est un petit pays de l'Afrique de l'Ouest.

On a d'hadoop une vision obscure, quelque chose de fabriquer de tout pièce pour nous mettre à la retraite :). Et le fait qu' Hadoop a de la cote auprès de média n'arrange rien à l'histoire. On a tous essayé de lire sur hadoop et on en est souvent sorti encore plus confus qu'avant. L'idée ici est de montrer ce qui a poussé à la naissance d'hadoop et tout l'écosystème autour. Souvent on a un feedback de la mise en place d'Hadoop dans les grandes sociétés et on se dit souvent que c'est un truc pour les très grandes entreprises. L'idée de ce talk est de partager avec vous ce qu'est hadoop avec un vocabulaire familier et de vous faire un retour de quelqu'un qui n'a jamais travaillé dans aucune de ces grandes entreprises comme Facebook, Yahoo, Twitter...

Alors pour parler de mon parcours j'ai quelques années d'expérience dans les télécoms en Afrique (pas exactement comme monteur de poteau :) ) mais j'ai eu les temps de me rendre vite compte qu'on pouvait être très vite dépasser par la quantité des données qu'on a à gérer au quotidien avec les outils classiques. Et ca peut vite devenir un cauchemar de gérer ces données. Un des domaines à avoir ce problème est les télécoms même sur des réseaux de taille modeste.

J'ai décidé l'année dernière de reprendre un master 2 Miage en informatique décisionnelle à l'Université Paris dauphine. Et pour valider l'année il fallait faire 6 mois de stage obligatoire en entreprise. Ca faisait quelques mois déjà que j'essayais de me mettre à Hadoop sans beaucoup trop de succès. Avoir 6 mois dédiés sur un sujet autour d'Hadoop était une bonne occasion d'approfondir mes connaissances sur le sujet. Donc j'ai postulé que pour des stages qui proposaient des thèmes autour Hadoop. Donc ce talk un feedback de ce que j'ai appris au cours de ces derniers mois. Alors pourquoi Hadoop ? Avait-on besoin de ce nouveau écosystème en informatique ? L'idée ici est de vous faire un petit historique de ce qui a poussé à l'écosystème Hadoop que l'on connait aujourd'hui.

Tout est parti dans les années 2000 avec l'essor des sites internet. Ces géants de l'internet ont été confrontés à une demande très fortes jamais connue dans le monde informatique. Des dizaines de millions de connexions simultanées avec beaucoup de données semi- structurées voir non structurées ( images, post, tweet etc…). Il leur fallait une autre façon de gérer leurs données. Vous vous êtes jamais posés la question comment Google par exemple arrive à fournir des temps de réponse quasiment constant quand on fait des recherches. Chaque jour des milliers de nouveaux sites sont ainsi référencés mais on ne sent jamais la lenteur sur le moteur de recherche. Mais dans nos entreprises on sait que dès qu'on atteint un volume critique de donnée nos systèmes deviennent lents. Alors comment Google arrive à avoir des temps de réponse constant sur ses systèmes.

Google a dévoilé ses techniques dans plusieurs articles qu'il a publié à partir de 2003.

En 2003 Google fait une publication sur GFS( Google FileSystem) et en 2004 une publication sur Mapreduce qui est un paradigme de programmation distribuée. Google dévoile ainsi l'architecture technique qui se trouve derrière ses produits. Doug Cutting qui à l'époque travaillait sur un moteur de recherche nommé « Nutch » s'inspire de ses publications pour créer ce qui deviendra bientôt Hadoop. Doug Cutting va ensuite travailler pour Yahoo qui investit sur Hadoop. Le projet est actuellement est dirigé par la fondation apache.

Hadoop utilise plusieurs petits ordinateurs misent ensemble appelé « commodity hardware ». Les données et le calcul sont distribués sur plusieurs ordinateurs. On reviendra un peu plus en détail sur comment le système fonctionne.

HDFS ( Hadoop Distributed FileSystem) est le système de fichier de l'écosystème. Il a été inspiré par GFS( Google FileSystem). Il permet de stocker des informations de tel façon que la perte d'un ordinateur dans cluster n'entraine pas la perte des données. Aussi pour ajouter plus d'espace disque au cluster, il suffit d'ajouter un nouveau disque sans aucune configuration supplémentaire ( ni RAID). Au dessus du système de fichier on a Mapreduce qui est un paradigme de programmation qui permet de distribuer le calcul sur plusieurs ordinateurs du cluster. Ensuite d'autres projets ont vu le jour pour cacher la complexité liée à l'utilisation de Mapreduce. C'est ainsi que Hive (s'inspire de SQL) et PIG (un peu plus du scripting shell) qui sont apparus comme une couche au dessus de mapreudce.

Tout comme les distributions linux, Hadoop a plusieurs distributions. Les plus connus sont hortonworks, cloudera, mapr.

Pour commencer le plus simple c'est de télécharger une machine virtuelle sur un des sites d'une des distributions. Il faut généralement avoir 8 gb de RAM pour que ça tourne correctement. Aussi la machine virtuelle simulent une seule machine sur laquelle on a mis tous les services.

L'autre option c'est d'utiliser une solution d'un cloud provider ( google compute, microsoft azure, amazon web service …)

Prenons un exemple concret. Supposons qu'on a un fichier mydata.txt de 150 mb. Nous allons voir comment HDFS stocke les données.

HDFS divise le fichier en plusieurs blocs et chaque bloc a un identifiant. Par défaut la taille des blocs est de 64 mb.

Ces blocs sont copiés sur les machines du cluster sur lequel tourne un daemon appelé datanode.

Une machine se charge de répertorier les machines sur lesquelles se trouve chaque bloc. Le daemon qui tourne sur cette machine s'appelle namenode.

Pour pouvoir être tolérant à la panne chaque bloc est répliqué sur plusieurs datanodes. Par défaut le nombre de réplicat des blocs est à 3 sur hadoop.

Par contre si on perd le namenode on ne pourra plus accéder aux blocs sur les datanodes. Pour cela il est conseillé d'avoir une copie namenode sur un serveur distant. Hadoop dans sa version 2 aussi propose une architecture avec un actif et standby namenode. Nous allons passer à la couche supérieure qui est Mapreduce.

Pour faire du mapreduce la donnée en entrée est découpée en plusieurs blocs. Une fonction map() crée des collections clé valeur distribuées sur chacun des blocs et la fonction reduce() fait une agrégation des résultats de la fonction map().

Concrètement prenons un fichier mydata.txt ci-dessus. Supposons que vous voudrions faire la somme des montants que chaque personne à dépenser par jour. La fonction map() va transformer notre donnée en une collection de clé,valeur. On aura plusieurs mappers et chacun va contenir les collections de clé,valeur.

Une opération qu'on appelle le shuffle va permettre de regrouper sous chaque reducers les clés de même valeur et ainsi appliquer une fonction d'agrégation. Dans notre cas ce sera une somme. Les reducers vont finalement produire notre fichier final en sortie.

Tout comme dans HDFS des daemons tournent sur les machines pour permettre au programme mapreduce de fonctionner. Le job tracker se charge de distribuer et de surveiller les tâches map et reducer sur les task tracker

Bien que mapreduce répond à beaucoup de cas d'utilisation son paradigme n'est pas naturel pour tout le monde du IT. Aussi les outils de reporting et business intelligence ont par défaut une interface SQL. Ainsi des projets comme Hive et Pig ont vu le jour.

Hive a été initié chez Facebook. C'est un projet qui ajoute une couche SQL à l'écosystème hadoop. On écrit du SQL qui est traduit ensuite en mapreduce. Hive offre une interface SQL qui permet à des professionnels habitués à SQL de ne pas avoir à apprendre à programmer en mapreduce mais aussi permet à tous les outils BI qui offre des interfaces SQL de pouvoir se connecter à Hadoop. C'est l'entrepôt de données de l'écosystème.

Pig a été initié chez Yahoo. C'est un langage de scripting qui permet de transformer les données.

La démo est essentiellement basée sur les exemples que j'ai publié sur ce blog post http://horalass.blogspot.fr/2015/05/premier-pas-sur-hadoop-part2_29.html

Hadoop est actuellement à sa version 2.0. Dans cette nouvelle version une nouvelle couche est apparue avec YARN ( Yet Another Resource Negociator). YARN permet de découpler les fonctionnalités de management de cluster du traitement des données en lui-même ( assuré par Mapreduce).

Arriver à programmer déjà sur un ordinateur est suffisamment compliqué mais hadoop tire avantage de plusieurs ordinateurs. Donc il faut pas perdre de vue qu'on est en train d'utiliser plusieurs ordinateurs qui apportent leur lot de complexité mais le but d'hadoop est de nous aider à cacher cette dernière. L'écosystème bien qu'il a pris une orientation différentes à ses débuts essaie de tirer avantages des technologies qui ont une base solide comme SQL...

Quelques références :

Intro to Hadoop and Mapreduce by udacity https://www.udacity.com/course/intro-to-hadoop-and-mapreduce--ud617

Mon blog : Mes premiers pas sur hadoop 1 & 2

شكر

Premier pas sur Hadoop Part2

2015-05-29T06:55:00.002+00:00

Dans la première partie du tutoriel on a pu installé Hadoop (la distribution Hortonworks) sur Google Cloud Compute. Si votre installation s'est bien déroulée vous pouvez maintenant accéder au dashboard d'Ambari qui est un moniteur et un outil de de déploiement de service sur Hadoop.

Si l'ensemble de vos services sont au vert c'est que votre installation s'est bien déroulée. Nous allons dans la suite explorer les différents sous-projets et voir un peu leur cas d'utilisation.

HDFS

C'est un système de fichier distribué. Les fichiers sont découpés en blocs et les blocs recopiés plusieurs fois sur la machine du cluster notamment les datanodes. Il existe un noeud central qui sert de répertoire pour toutes les informations sur les fichiers et la façon dont les blocs du fichier sont distribués sur les datanodes : le namenode.

Concrètement vous accédez à votre système de fichier hdfs en tapant dans commandes proches d'unix précédé hadoop fs -

Ainsi cette commande liste le contenu de votre répertoire / sur hfds. Ce contenu est complètement différent de celui de votre système local

Dans la suite nous allons créer un fichier solde et le charger sur hdfs.

HDFS assure pour vous (out of the box) une replication des données. Vous auriez pas besoin de mettre en les disque en RAID ni quoique ce soit d'autres.

Mapreduce

Mapreduce est avant tout un paradigme de programmation distribué. Vous devriez avoir des librairies dans votre langage de programmation pour faire du mapreduce. Voici un lien qui présente programme de wordcount en java.

On se rend compte que même s'il apporte un gain sur les traitements de grand volume de données l' écrire du code mapreduce n'est pas quelque chose d'aisé surtout si on est un expert SQL ou script shell :). Les projets PIG et Hive que nous allons présenter par la suite vont remédier à ces manquements.

HIVE

C'est la sur-couche SQL de la écosystème Hadoop. Il permet de faire des requêtes sur les fichiers qui sont sur HDFS avec un langage proches de SQL (surtout de MySQL). Pour se connecter au shell il suffit de taper hive

Je reviendrai un peu plus en détail sur les formats de données( ROW FORMAT) dans les prochains blogs. Il nous suffit de charger notre fichier solde dans la table et notre table hive est prête.

Si nous voulons avoir par exemple la somme des balances la requête est traduite dans un programme mapreduce et nous renvoie le résultat

Soyez pas surpris par les performances sur un fichier de quelques lignes mapreduce sera plus lent qu'une base de données relationnelle sur les petites quantités de données. L'idée ici est de principalement montrer le fonctionnement et non la performance du système. Mapreduce et du coup Hive ont de la latence. Les temps de réponse sont de l'ordre de la secondes et Mapreduce est fait pour les traitements batch sur les gros volumes de données. Nous allons reprendre le même exemple avec pig.

Pig

Pig est langage de scripting proche du shell. Pour accéder au shell pig c'est tout aussi simple, tapez pig. Pour faire la même opération que quand Hive tout à l'heure on procède comme ci-dessous

Il faudra recharger de nouveau le fichier solde dans /user/horalass dans hdfs car au LOAD de Hive déplace le fichier solde dans /apps/hive/warehouse/test.db/solde. Je reviendrai dans un autre blog post pour expliquer ce mécanisme.

Enfin pour défaut pour les commandes hadoop si le répertoire n'est pas précisé il va chercher le fichier dans le home de l'utilisateur ( /home/horalass dans mon cas)

Dans la troisième partie je vais soit présenter d'autres sous-projet d'hadoop ou bien présenter l'approche Talend for big data.

Premier pas sur Hadoop Part1

2015-05-25T18:57:00.003+00:00

Hadoop, Big Data, NoSQL vous ne savez plus où mettre de la tête. Dans une série de billets je vais essayer de partager mes premières expériences avec ces écosystèmes ou environnements :) (je ne sais pas comment les appeler).

C’est vrai qu’une des choses que l’informatique fait de mieux ce sont des buzzwords mais je vais essayer d'expliquer toutes ces notions dans un language pas très technique en tout cas je vais essayer.

Tout part de la bulle Internet des années 2000. Les nouveaux géants du web étaient confrontés à une grande charge et de nouveaux types de données auxquelles l’informatique n’a jamais été confrontée auparavant. Il fallait tenir des charges de plusieurs millions de connexions et aussi être capable de prévoir les montées en charge( scalabilté horizontale). La structure des données aussi a beaucoup changé. Des données très structurées des entreprises on passe à des données semi structurées ou pas structurées. Pour ces géants de l’internet il fallait innover : créer des sous branches de l’informatique qui n’existe pas encore.

Ces innovations se sont essentiellement axées sur 2 parties : l’infrastructure et le stockage des données. Pour l’infrastructure il s’agissait d’utiliser une architecture qui se base sur plusieurs petites machines (commodity hardware) voir machines virtuelles et ainsi avec ce cluster de petites machines avoir plus de puissance et de capacité en lieu et place des grosses machines (mainframes). Cela a abouti au final aux offres de cloud public que l’on a aujourd’hui ( amazon aws, google cloud compute …).

Coté stockage de données il fallait trouver une alternative aux bases de données relationnelles qui étaient un peu rigides pour les types de données auxquelles ils faisaient face. Si vous avez une fois essayé de gérer un graphe dans une base de données relationnelles vous êtes déjà rendu compte que c’était un peu délicat ( sinon voir les articles de SQLpro http://sqlpro.developpez.com/cours/arborescence/ http://sqlpro.developpez.com/cours/modelisation/metadonnees/ pour vous faire une idée). On a eu droit au mouvement NoSQL pour Not Only SQL qui ont proposé des bases données orientées colonnes, document, graph, clé-valeur etc. pour répondre à leurs besoins spécifiques d'une part. D'autre part on a eu le mouvement Big Data. Le Big Data vient de la masse de données que ces derniers ont accumulé aux cours des années mais ne se limite pas qu'au volume. Généralement on définit le Big Data par les 3V (Volume, Vélocité, Variabilité) mais c'est plus la capacité à stocker puis à analyser les données de façon convenable dans un monde qui se numérise de plus en plus.

Dans ce tutorial je vais me concentrer sur la partie Big Data et vous parlez de Hadoop qui est un écosystème de Big Data.

L’aventure Hadoop commence avec un article de recherche de Google ( Jeff Dean et confrères ) qui décrivait l’architecture distribuée que Google avait mis en place pour le stockage et processer les grandes quantités de données. Doug Cutting part de ce article de recherche et implémente une version open source de l’architecture : c’est la naissance d’Hadoop. Plus tard Yahoo embauche Doug pour mettre en place la même architecture chez eux.

Hadoop est en gros un écosystème Big Data constitué de plusieurs sous projets. Le noyau d'Hadoop se compose essentiellement de deux parties :

HDFS :

C’est un sytème de fichier distribué. Il décompose le fichier en bloc et fait plusieurs copies de ses blocs de fichiers sur plusieurs machines du cluster. Le nombre de copie est généralement de 3. Ainsi il garanti une tolérance à la panne. Ainsi une machine voir un rack peut tomber en panne sans que vous vous préoccupez de la perte de données.

Mapreduce :

C’est un framework de calcul distribué. Pour ne pas être trop technique sur le principe vos calculs sont distribués sur plusieurs machines de votre cluster. La technique est illustrée par l'image de ce tweet qui au lieu de faire les sandwichs l'un à la suite des autres parallélisme la préparation. Mapreduce est basé sur ce même principe.

map reduce explained - thx Dave Chapell pic.twitter.com/05FUyJBL3w
— Tugdual Grall (@tgrall) 11 Octobre 2014

Au fil des années d'autres sous-projets se sont ajoutés à cette partie de base. Nous allons en parler dans la seconde partie de ce tutoriel.

Hadoop reste une architecture à explorer si vous avez des problèmes de charges, des requêtes qui durent trop longtemps etc…Alors par où commencer!!! Hadoop tout comme linux a plusieurs distributions : Cloudera, Hortonworks, Mapr etc…Donc vous pouvez récupérer une machine virtuelle d’une des distributions. Il faut avoir en moyenne 8GB de RAM pour pouvoir travailler convenablement avec ces machines virtuelles. C'est une manière facile de commencer sans avoir à s'essayer à l'exercice délicat d'une installation manuelle. Une autre option c’est de déployer un cluster sur un provider de cloud ( Amazon aws, Google compte, Microsoft Azure etc). Si vous avez un compte gmail, Google offre un essai de gratuit de 60 jours de sa plateforme cloud.

Vous avez 2 options : le déploiement en un seul click https://cloud.google.com/launcher/explore?q=hadoop (version minimale) et aussi une version complète de la distribution d’hortonworks. Je vous conseillerai d’installer la version complète d’hortonworks (Cela vous permettra d’explorer plusieurs sous-projets d'hadoop ) en suivant ce lien https://github.com/GoogleCloudPlatform/bdutil/blob/master/platforms/hdp/README.md

Dans la seconde partie de ce tutoriel on décrira les différentes composantes de la plateforme hadoop et leur cas d'utilisation.

Last lecture : Really achieving your childhood dream by Dr Randy Pausch

2014-08-28T20:36:00.001+00:00

Few days ago, i came across Dr Randy Pausch last lecture he did, in Canergie Mellon University in my social media feeds. I watched the lecture and I was fascinated by the whole history. So I googled Randy Pausch and found this book.

Randy Pausch is a Canergie Mellon Computer Science Professor, and he was diagnosed with a pancreatic cancer and had 6 month or so to live ( of good heath as Randy used to said it).

The highlight of the book is about the last lecture he did entitled « Really achieving your childhood dream ». He gone through each of his child’s dream and how he overcame each of them and what he learned from his failure. For him « experience is what you get when you didn't get what you wanted ». He wished he can be an NFL football professional. He told us the history of his first coach, coach Graham who for a training didn’t bring a football. That looked weird to them but the coach explain to them that, at one point of time only one person has the ball on the field so they are going to exercise what the others 21 persons would be doing : running :). The takeoff of this story is : it’s all about fundamentals and there is no shortcut if you want to be good at something than practicing over and over again.

When Randy first visited Disney, he was delighted and wished he can make scenery for Disney like these ones. His dream came true and he worked 6 month for Disney and after that declined a job offer. Achieving his own dream was not enough, so as a teacher he needed to help students doing the same. He did it for one of his staff member and at scale, setting up a multidisciplinary course in which any student is admitted from computer science major to art major. The book is fun and tragical if you know the end of the story but full of great quote like those one : "The Luck is indeed where preparation meets opportunity" "We cannot change the cards we are dealt, just how we play the hand"

The lecture was really a head fake, Randy was really sending a post-mortem message to his two sons and daughter. They were still young, the book and the lecture is a way for him to advise them even when he will not be around.
Trust me and check this 10mn summary of his talk and if you like it the full talk is here. Still want more grab a copy of the book here. The combo is worth your time, really.

Book review : Talend for Big Data by Bahaaldine Azarmi

2014-05-20T06:47:00.001+00:00

Bahaaldine Azarmi is a former Oracle and Talend employee. He is now specialized in real-time architecture. In this book " Talend for Big Talend " he assumes that you are already familiar with talend for data integration, so he focused only on big data components. He used a cloudera virtual box as a standbox for a quick start. In the book the author took twitter sentiment analysis example to explain Hive, Pig, Sqoop ( Hadoop landscape). The book is organized as follow :
Chapter 1 : Getting Started with Talend Big Data
Chapter 2 : Building Our first Big Data Job
Chapter 3 : Formatting Data
Chapter 4 : Processing Tweets with Apache Hive
Chapter 5 : Aggregate Data with Apache Pig
Chapter 6 : Back to the SQL Database
Chapter 7 : Big Data Architecture and Integration Patterns
Appendix : Installing Your Hadoop Cluster with Cloudera VM
My concern is that he didn't go in detail explaining when you should consider using hadoop and big data in your integration process. For somebody with no hadoop and big data knowledge this is a must have chapter to introduce correctly the topics. Also there is a lack of some useful cases where you can see the performance in using Big Data architecture integration compare to a normal integration process. But if you are already using Talend for Data Integration and want to take a journey on the Big Data world this book can be a good start.
You can purchase a copy here

Retour de Devoxx France et Mix-it 2014

2014-05-06T23:55:00.000+00:00

Je passe beaucoup de temps à regarder les conférences en ligne. C'est cool mais on n'a pas la même ambiance que ceux de l'intérieur et j'ai toujours voulu participer à une grande conférence juste pour le fun :). Quand Agnès Crépet m'a proposé de faire une keynote à Mix-IT sur les communautés et le monde du IT en Afrique j'étais super super content. Non seulement j'aurai la chance de suivre d'autres conférences mais aussi je suis invité ( Ca ferait moins mal à ma poche). Uniquement cette première proposition était déjà très grande pour moi mais elle revient quelques jours plus tard pour me dire qu'elle a aussi négocié une place sponsor avec Google pour moi pour que je puisse participer aussi Devoxx France. Je ne sais pas comment elle arrive à être active dans autant de communauté mais elle y arrive. Je suis pas le seul à me poser cette question donc tout va bien chez moi je me pose les bonnes questions. Si comme moi vous pensez qu'on doit étendre les contrôles anti-dopages à d'autres disciplines suivez mon regard vous êtes le bienvenu.
Donc pour Devoxx j'ai eu mon badge Google et aussi Google a payé mon hôtel sur Paris et les tickets de train Paris-Lyon.

Un très grand merci à eux
Devoxx c'est une grande conférence 1400 participants, 200 speakers...Ton badge te permet de voter par contact NFC :)

Je vais donner mon retour sur les sessions techniques dans d'autres billets au fait :)

Pour Mix-it je devais faire une keynote sur les communautés techniques en Afrique. J'avais jamais fait une keynote par le passé. L'équipe de Mix-it m'a beaucoup aidé sur presque tous les plans ( à rendre les slides meilleurs, les premiers cobayes sur lesquels je teste mon talk). Ils ~~étaient~~ sont tous super sympathiques. J'étais stressé durant toute la conférence parce qu'étant l'avant dernier speaker. C'est jamais une bonne position de passer tard :). On est super impatient et on stresse à mort. Surtout quand tu vas voir certains speakers qui débitent 100 mots par secondes et circulent sur tout le podium de droite à gauche comme s'ils étaient à la maison :). Tu sors ravi du talk mais tu te poses la question de savoir si tu pourras faire aussi bien ( euh je veux dire le dixième aussi bien).
Finalement arrive mon tour, tout se passe bien du moins c'est ce que j'ai ressenti.

Nice keynote of @horalass at #mixit14 pic.twitter.com/MHZaUeNvE7
— Florent BENOIT (@florentbenoit) 30 Avril 2014

#mixit14 : @horalass sur la vie IT en Afrique de l'Ouest. pic.twitter.com/UOGNWG1S7I
— Mix-IT (@mixIT_lyon) 30 Avril 2014

Les slides

Mix-it keynote communauté from horacio lassey

La vidéo

Pour conclure, le plus qu'on tire à faire une conférence en vrai c'est la chance d'interagir avec d'autres participants sur plusieurs aspects (comme la nourriture :), projets, avis sur les conférences etc...), ça donne un côté un peu plus vivant et aussi j'ai vraiment pas eu l'impression de refaire les mêmes talks d'une conférence à l'autre les sujets couvraient un spectre assez large.
Oui, il est temps d'aller bosser maintenant va falloir faire un retour sur tous ces talks :)

Book review : Talend Open Studio Cookbook by Rick Barton

2014-01-20T14:26:00.000+00:00

Rick barton is a freelance consultant in data integration and ETL for the last 13 years. This book is a recipe of the lessons learned from his past project using Talend Open Studio and Talend Integration Suite. This book is for intermediate and advanced Talend users. He hasn't started by showing Open Studio basics stuff but he went straight by showing tips and tricks to master Talend. He hasn't included any quick start guide to Talend Open Studio
The book is organized as follow :
Chapter 1 : Introduction and General Principles
Chapter 2 : Metadata and Schemas
Chapter 3 : Validating Data
Chapter 4 : Mapping Data
Chapter 5 : Using Java in Talend
Chapter 6 : Managing Context Variables
Chapter 7 : Working with Databases
Chapter 8 : Managing Files
Chapter 9 : Working with XML, Queues and Web Services
Chapter 10 : Debugging, Logging, and Testing
Chapter 11 : Deployment and Scheduling
Chapter 12 : Common Mistake and Other Useful Hints and Tips
Every chapter has a sample code that shows how it works. A section called « Getting ready » shows all the prerequisites to start to job. A section called " how to do it " shows how to reproduce the job. The missing chapter in the book according to me is "Component creation" which should demonstrate step by step how to add or create a new component in Talend.
If you are already ok with talend basics principles and looking for a way to hone your skills in data integration using Talend tools it’s definitely a book you should go for. You can purchase a copy here http://www.packtpub.com/talend-open-studio-cookbook/book

Certification Talend

2014-01-07T18:04:00.000+00:00

J’ai passé ma certification Talend pour l'intégration de données il y’a de cela quelques jours. L’objet de ce billet est de faire un retour d’expérience sur la certification Talend et aussi de parler de mon approche des certifications en général ( Le pourquoi je passe des certifications)

Inscription
L’achat de la certification se fait directement en ligne à l’aide d’une carte bancaire. Le coût de la certification est de 100$. Après l’achat de la certification en ligne un commercial de Talend vous envoie dans les jours qui suivent les détails de la connexion à la plateforme de test.

Durée et format de l’examen

Le test en ligne n’est pas limité dans le temps du moins vous n'aurez aucun indicateur de temps tout au long du test. Réservez au moins une heure à consacrer à l’examen. Les questions lors de l’examen sont du type QCM (Question à Choix Multiples). Pour réussir à l’examen il faut avoir un score de 80%. L’examen se passe sur une plateforme de test en ligne donc vous pouvez le passer à l’importe quel moment. J'ai choisi de passer ma certification en anglais bien qu'étant francophone parce que l'essentiel des ressources disponibles sont en anglais et des fois la traduction des termes prêtent à confusion.

Ressources et liens utiles pour se préparer

Pour préparer ma certification j'ai lu quelques blogs et livres qui m'ont beaucoup aidé :

http://www.vikramtakkar.com/2013/05/recently-i-have-cleared-talend-open.html http://haskouse.developpez.com/tutoriels/etl/talend-open-studio/talend-certification-example/

http://www.packtpub.com/getting-started-with-talend-open-studio-for-data-integration/book

Talend offre aussi des formations payantes qui vous préparent aussi à la certification http://www.talend.com/services/purchase-training-products

Astuces et difficultés

En passant l'examen j'ai gardé mon Talend open studio ouvert et je vérifiais mes quelques doutes. L'examen de façon général est accessible, si vous êtes habitués à Talend vous n' aurez aucun souci à valider cette certification. Si vous passez la certification en Afrique il faut faire attention à votre connexion internet et s'assurer d'avoir et un bon débit tout au long de l'examen.

Le pourquoi de la certification talend et des certifications en général

Je suis tombé sur les outils ETL par un heureux hasard et depuis j'en suis amoureux :). Aussi j'ai vu comment les projets de migrations sont bâclés en Afrique. Pour donner un exemple simple j'ai un compte dans une banque en Afrique ( une grande multi-nationale ). J'ai ouvert mon compte en 2005 et quand je consulte mon historique sur leur site web j'ai juste les données de Novembre 2012. Entretemps il y'a un changement de logiciel et pour minimiser les difficultés de migrations on décide de ne basculer que le solde à l'instant T et pas les transactions. Ce n'est pas génial comme idée, vous perdez une bonne partie de votre historique juste parce que vous changez de logiciel. Vous allez changer de logiciel chaque 5 à 10 ans :). On ne doit pas se permettre de telle fantaisie avec les données qui constituent la mémoire de l'entreprise. Pour clore ma petite histoire une certification est une façon de montrer qu'on remplit les standards internationaux dans le domaine en question. Elle montre que vous avez passé assez de temps sur le sujet. Il faut quand même se rendre à l'evidence que le fait de réussir une certification ne fait pas de vous un expert. Réussir à des QCM sur un sujet comme l'intégration de données est juste une validation en supposant que vous ayez fait beaucoup de pratique par le passé. Donc oui pour une certification mais il faut toujours valider ses certifications sur des projets concrets

Enfin le "happy end"

Juste pour vous dire que je suis certifié Talend pour l'intégration de données et si vous avez du boulot pour moi je suis preneur :)

amazon s3 avec talend

2013-11-13T06:53:00.000+00:00

Ces derniers mois je suis aussi tombé dans la mode du "Cloud Computing". J'ai eu à essayer les services d'Amazon et de Google. En discutant avec +Mawusee Komla Foli-Awli nous sommes promis de faire quelques exemples concrets qui sont parlants pour le contexte africain et même de faire un livre blanc :). La route est encore longue je l'avoue. Mais voici mon premier billet qui va parler d'un exemple d'utilisation du "cloud". Pour ceux qui sont familiers à ce blog, ils se sont déjà rendu compte que j'adore Talend ( mes amis disent que je pourrai utiliser Talend pour faire mon CV tellement je l'utilise pour tout ). Au delà de mon ressentiment personnel pour Talend, il s'apprête parfaitement à notre cas d'étude. En gros je vous explique de quoi il s'agit. Dans la plupart des DSI en Afrique pour répondre à la norme d'avoir des sauvegardes en dehors de leurs locaux et ainsi assurer une continuité de service en cas de sinistre, font des sauvegardes de leurs données qui vont déposer dans des coffres forts d'une banque de la place. Ce sont souvent des sauvegardes sur des cartouches qu'une personne va déposer physiquement à la banque. Comme on peut s'en rendre compte le processus n'est pas automatique et soumis au bon vouloir des acteurs.

Dans les lignes qui suivent nous allons faire une démo simple d'une utilisation des storages de la partie IAAS ( Infrastructure As A Service) du cloud d'amazon pour faire une sauvegarde d'une base de données Mysql locale. En gros Amazon offre des disques durs en ligne qui vous permettent si vous souscrivez à leur offre de stocker vos données. Le service s'appelle Amazon S3 ( Simple Storage Service)

Pour les besoins de la démo il nous faut obtenir une clé d'authentification qui va nous permettre d'accéder à notre compte Amazon en programmation. Aller dans Security Credentials puis générez une nouvelle clé.

Dans Talend nous allons faire une job qui fait un dump d'une base mysql puis à la fin du dump envoie une copie de la sauvegarde sur Amazon S3

On voit un composant tssh qui se connecte par ssh pour faire un dump de la base de données avec la requête mysqldump

Ensuite le composant tS3Put va prendre le fichier dumpé et ira le déposer sur S3.

Vous devriez remplir les champs Access Key et Secret Key avec les clés que vous avez préalablement générer dans la console d'administration d'Amazon AWS.

A la fin de ce job votre dump va dans le data center d'amazon. L'api initial fourni par Amazon permet des reprises de transfert après erreur et est assez robuste et répond bien à notre problématique qui est me mettre notre sauvegarde dans un endroit autre que notre data center local.

On pourra ensuite automatiser notre job Talend pour faire les sauvegardes automatiquement chaque jour et ainsi avoir une copie de nos données hors de nos locaux.

On peut reproduire le même exemple avec d'autres fournisseurs de cloud comme Google ou bien Microsoft.

A très bientôt pour le livre blanc :).

Managing Startups by Tom Eisenmann, O'Reilly

2013-10-03T13:01:00.000+00:00

The author Tom Eisenmann is an Harvard Business School professor who studies entrepreneurship. His book is a collection of best blog posts on entrepreneurship as the title mentioned. As writer Tom organized those blogs by topic. The topics covered by this book are wide ranging from how to make a prototype to recruitment techniques and finally get funded by a angel investor or a venture capitalist. All the book is not written in an unique style because it's a collection of personal thoughts and experiences from various founders. Some of the advices in the book are lessons learned the hard way and share so that you can take care of it during your startup endeavour. If you are entrepreneur at heart go through this book it should give you a good insight of difficulty we should encounter when trying to create a startup. You can go directly to a topic you are interested in or read all the book. Below are the topics covered :

Lean Startup
Business Models
Customer Discovery and Validation
Marketing: Demand Generation and Optimization
Sales, Marketing, and PR Management
Product Management/Product Design
Business Development and Scaling
Funding Strategy
Company Culture, Organizational Structure, Recruiting, and Other HR Issue
Startup Failure
Exiting by Selling Your Company
The Startup Mindset and Coping with Startup Pressure
Management and Career Advice

You grab the book here http://shop.oreilly.com/product/0636920030263.do

Créer une routine Talend

2013-08-02T16:36:00.001+00:00

Talend vient par défaut avec l'essentiel des composants et des routines dont vous auriez besoin dans vos tâches d'intégration de données. Mais dans certains cas il arrive qu'il faut réfléchir "out of the box" comme le disent les Anglais pour ajouter du code personnalisé. Pour cela il faut :

Créer une routine
Créer un composant

Dans la suite de ce billet nous allons montrer comment on peut créer une routine avec une librairie java. Pour créer une routine il faut aller dans code puis routines et dans le menu contextuel choisir créer une routine

Une routine est en fait une classe java avec des méthodes. Toutes les méthodes doivent être statiques. C'est les rares moments dans Talend où l'on est fier d'avoir des bases en Java :).

Nous allons utiliser une libraire libphonenumber qui permet d'analyser, formater, et valider des numéros de téléphone. Nous allons prendre un cas simple qui va nous permettre de déterminer le pays d'un numéro de téléphone au format international
Il faut charger les libraires de libphonenumber dans Talend pour pouvoir utiliser cet API dans Talend. Pour le faire click droit Edit routines librairy. De la vous pouvez ajouter les archives .jar dont vous avez besoin.

Nous allons créer la méthode statique qui permet de retrouver le pays d'un numéro de télephone.

public static String getCountryCode(String bparty) {
  String swissNumberStr = bparty;
  PhoneNumberUtil phoneUtil = PhoneNumberUtil.getInstance();
  PhoneNumber swissNumberProto=null;
  try {
   swissNumberProto = phoneUtil
     .parse(swissNumberStr, "ZZ");
  } catch (NumberParseException e) {
   System.err.println("NumberParseException was thrown: "
     + e.toString());
  }
  PhoneNumberOfflineGeocoder geocoder = PhoneNumberOfflineGeocoder.getInstance();

  return geocoder.getDescriptionForNumber(swissNumberProto, Locale.ENGLISH);
 }

Il faut pas oublier de faire les imports suivants :

import com.google.i18n.phonenumbers.*;
import com.google.i18n.phonenumbers.Phonenumber.PhoneNumber;
import com.google.i18n.phonenumbers.geocoding.*;
import java.util.*;

Maintenant nous allons faire un test simple dans un tJava on utilisera cette routine pour donner le pays d'un numéro en entrée.

Nous pouvons alors intégrer cette routine dans des jobs plus complexes. Alors à vos codes !!!

Critique du livre Getting Started with Talend Open Studio for Data Integration de Jonathan Bowen PACKT

2013-03-01T11:19:00.001+00:00

Les systèmes d'information d'entreprise deviennent de plus en plus complexes. Ils sont composés de systèmes divers qui doivent communiquer entre eux. Demander à un développeur de coder des routines d'intégration de données n'est plus une option viable tellement les règles changent souvent et les codes ne sont pas assez robustes que ceux proposés par les outils d'intégration de données. Talend ( l'un des leaders open source de l’intégration ) fournit un outil d'intégration de données dénommé "Talend Open Source for data intégration".
En général il y a très peu de livres sur l'intégration de données. Toutefois Talend a fait assez d'effort et a une documentation assez fournie sur ses produits. Ce livre loin d'être une pâle copie de documentation officielle, aborde le problème sous un angle différent. La documentation officielle est plus un guide des composants alors que ce livre est plus orienté cas d'utilisation. Ce livre est un guide pas à pas qu'on peut lire d'un trait si l'on est débutant ou bien lire par chapitre spécifique.
Ce livre est composé de 12 chapitres qui montrent l'essentiel des possibilités avec des exemples de jobs à l'appui :

Chapter 1: Knowing Talend Open Studio
Chapter 2: Working with Talend Open Studio
Chapter 3: Transforming Files
Chapter 4: Working with Databases
Chapter 5: Filtering, Sorting, and Other Processing Techniques
Chapter 6: Managing Files
Chapter 7: Job Orchestration
Chapter 8: Managing Jobs
Chapter 9: Global Variables and Contexts
Chapter 10: Worked Examples

Un dernier chapitre que j'aurai bien aimé que le livre aborde pour être complet sur les possibilités de Talend est l'utilisation des routines et la création des nouveaux composants.
C'est un livre à lire absolument si vous voulez faire de l’intégration de données avec Talend.

Merci à Sam Foli-Awli avec qui j'ai co-écrit cette critique

Lien du livre : http://www.packtpub.com/getting-started-with-talend-open-studio-for-data-integration/book

Shipping Greatness By Chris Vander Mey, O'Reilly Media

2012-11-17T15:38:00.001+00:00

Have you got a new job as Project Manager or you want to hone your skills as one who already is a Project Manager? Either way, this book is for you! Chris takes the pains to go through all the necessary steps before delivering a good product. As former Project Manager at Amazon and Google, Chris gives you an insight into Amazon and Google's processes. These organizations are known to be successful in launching new products. He sometimes compares the processes used by the two giants and gives personal advice on what he thinks should be the best practices.

The book starts off from the product idea and ends up with a product launch. This is an essential reference book, one you should refer to regularly, so keep it handy. It's full of checklists for all the stages of project management. You would find advice on uncommon tasks like how to acquire a company when building your team and also the usual ones.
The book is divided into two parts: the first focuses on the processes and the second on the skills for launching a great software product.
As the author said "...shipping great software is damn hard...". So you can read this book and learn a little bit from the Chris

Here is the link to the O'Reilly product page

"Team Geek" by Brian Fitzpatrick and Ben Collins-Sussman, O'Reilly Media

2012-08-21T21:23:00.001+00:00

Brian and Ben, through their personal experience in open source projects and their current job at Google have shared with us the social skills every developer need to have nowadays to succeed. They have shown us all the social skills you need to build as a person, team and finally how to sneak into a company's gears. Most of developer think that writing great code is what matters the most. This book explains that it is not enough and gives us some tricks about how to work with "bad" teammates, managers and also in "bad" organizations (it may be or has been the case for most of us) and get things done. This book is interesting for both managers and engineers no matter the field you are working in. Some examples are focus on software engineering but you can easily transpose them in your daily job.

This book can be divided into four basic sections: You, The Team, The Organizations, Users. The pillar of all the sections is Humility, Respect and Trust HRT as they have contracted it in the book. One quote of the book which emphasizes this pillar: “Managers worry about how things get done, while leaders forge the way”

If you are lazy about reading 194 pages you can get start by viewing some chapters of the book that Brian and Ben gave as a talk at google io: The myth of genius programmer and the art of organization manipulation. Hopefully you will like them and give a try to the book after.

Here is a link to the O’Reilly product page

O'Reilly Blogger Review Program

2012-08-20T19:49:00.000+00:00

Few days ago i decided to join the O'Reilly Blogger Review Program and start reviewing books. Though I'm fluent in french I decided to publish those reviews in English for two reasons :

I think most of the books i'm suppose to review will be in english ( i want to avoid messing with the correct translation of words especially technical one)
I can reach more people if i write in english.

It is a great opportunity for me to get book for free and the only duty i have is to post a review about. I will try to keep a good pace and reviewing two books per month. Wish me good luck :).

Ps : If you want to join the program follow the instructions on this link http://oreilly.com/bloggers/