Vite, c'est mieux !

Terraform depuis votre messagerie instantanée...

2018-04-22T15:09:00.001-07:00

Vous trouverez ci-dessus une démonstration de comment utiliser Terraform depuis n'importe quelle messagerie instantanée et notamment Slack. Si vous voulez en savoir plus sur le sujet, regardez:

Terraform-Api fournit une API à Terraform et Git de sorte que vous pouvez créer, supprimer et modifier vos projets Terraform
Hubot-Terraform est un ensemble de scripts pour interagir avec l'APO Terraform depuis Hubot et les fournisseurs de messageries qui le supporte

Have fun!

Reférentiel monolithique et CI/CD

2018-02-25T16:42:00.002-08:00

Après avoir travaillé avec des dizaines de projets indépendants et géré les difficultés associées au partage de composants, aux combats contre la dette technique, à la duplication des paramètres des projets vers le code de l'infrastructure ou simplement après avoir aidé des personnes à rejoindre des équipes et des projets, nous avons décidé de nous orienter vers un référentiel de code monolithique... Et de cette manière, d'adresser certaines difficultés auxquelles nous avons fait face, en tant que start up, pour développer et faire croitre une architecture basée sur des micro-services.

Comme vous devez vous en douter, stocker différents services dans un même référentiel de code, le "monorepo" n'est pas non plus sans challenge. Vous voudrez assurer que les bonnes pratiques sont suivies. Vous voudrez optimiser vos pipelines d'intégration et de déploiement continus, les CI/CD. Vous avez besoin de continuer à accélérer, d'ajouter de nouvelles personnes, de nouvelles équipes.

Un refétentiel monolithique vient avec son propre jeu de questions : Comment l'organiser au niveau le plus haut ? Comment conserver des services indépendants lorsque les commits, les tags, les branches, les pull et merge requests et les issues sont consolidées ? Comment différencier effectivement une "architecture micro-service" stockées dans un référentiel monolithique d'un projet ou d'une application monolithique ? Comment gérer les versions, les labels, les interfaces ou les artefacts ? Comment mixer des services basées sur des technologies aussi diverses que Java/Maven, Go, Javascript/React, Elm, Docker/Kunernetes ? Comment sécuriser un environnement et séparer les rôles et responsabilités ? Nous avons parcouru un long chemin et tout a commencé par un premier pas.

Quels fichiers ont changés ?

La première façon dont nous l'avons considéré, le monorepo est une collection de référéntiels plus réduits. De sorte que lorsque vous avez tout rassemblé, la première question, qui vient à l'esprit lorsqu'on merge un changement est "Quels fichiers ont changés ?". One fois que vous êtes en mesure de dire quelle partie exacte du référentiel monolithique a été modifié par l'historique des commits qui amènent à une branche ou un tag, vous pouvez :

Assurer que vos équipes conservent l'approche de l'architecture micro-service, qu'elles ne modifient qu'un service à la fois et que chaque service est auto-porté
Déclencher le bon build, les bons tests et les bons déploiements
Orienter vers le bon pipeline, superviser le service associé durant la phase de mise à jour et de créer un rollback indépendant si certaines préoccupations touchaient la production

Evidemment, notre contexte est très différent d'autres contextes. Notre process de développement s'appuie sur un Github flow. Notre branche de référence est master. Nous partons toujours de celle-ci et essayons de merger nos changements dès que possible pour réaliser de petits changements et conserver notre code et l'environnement de production en synchro ou, au moins, la plupart de ce dernier. Nous encourageons les personnes à faire des rebases de leur changements plutôt qu'à refusionner les changements depuis master. Notre niveau de compréhension de git est probablement supérieur à la moyenne. Les développeurs sont responsables de leurs branches ainsi que de les pousser en production ; cela inclut le fait de gérer les conflits si besoin ; Cela suppose d'avoir un ensemble fiable de tests. Nous avons un unique environnement de production consolidé, même si, merci aux mises à jour blue/green, sont état est souvent transitoire. La manière dont nous développons est probablement très différente de la vôtre.

Comme vous vous en rendrez compte à l'aide de la commande git merge-base --help, git offre une commande simple pour trouver le commit de base qui a conduit à une branche. En supposant donc que HEAD est sur la branche, vous pourrez facilement remonter l'historique des commits depuis la branche et trouver une intersaction avec master à l'aide de la commande :

git merge-base origin/master HEAD

Conséquence de la commande précédente, la commande ci-dessous liste les fichiers qui ont été changés entre la branche et le commit intersaction avec la branche master :

git diff --name-only "$(git merge-base origin/master HEAD)" HEAD

Notre processus de développement oblige également des revues systématiques. Les développeurs sont responsables des mises en production. Le test de la commande précédente n'est donc qu'un outil et, en aucun cas un contrôle unique.

Clone Travis-CI

La méthode précédente suppose que l'historique des commits, la branche de travail et la branche master fassent partie du référentiel sur lequel vous travaillez. Malheureusement lorsqu'un job Travis-CI est déclenché par un commit sur une branche autre que master, la commande clone utilisée ressemble à celle qui suit :

git clone --branch [branch] --single-branch [yourproject]

Cette méthode ne fait que copier la branche courante. Elle prévient également l'utilisation classique des commandes git fetch/pull. Si vous voulez plus de détails sur ces points, reportez-vous à la description de --single-branch que vous trouverez en exécutant la commande git clone --help.

Résultat, la commande git merge-base origin/master HEAD ne fonctionne pas. Cela est simplement du au fait que la branche master et le commit associé ne sont pas disponibles. Pour dépasser cette limite, une solution consiste à changer la configuration de votre référentiel de sorte que vous puissiez à nouveau référencer l'ensemble des branches du projet. La propriété remote.origin.fetch porte cette configuration. Si vous la visualiser suite à une commande clone réalisée par Travis CI, vous verrez quelque chose comme ci-dessous :

git config remote.origin.fetch
+refs/heads/[yourbranch]:refs/remotes/origin/[yourbranch]

Pour modifier cette propriété en une configuration standard qui permet de référencer n'importe quelle branche, lancez la commande ci-dessous :

git config remote.origin.fetch "+refs/heads/*:refs/remotes/origin/*"

Une fois lancée, vous serez en mesure de faire un fetch de la branche master et, par là, retrouver les fichiers qui ont été modifiés :

git fetch origin master
git diff --name-only "$(git merge-base origin/master HEAD)" HEAD

Et voilà, vous pourrez facilement écrire un script qui fonctionne avec Travis-CI pour détecter quels fichiers ont fait l'objet de modifications entre une branche de travail et la branche de référence.

Le chemin continue...

Le plus grand challenge que nous ayons rencontré dans cette transformation associée à la mise en place d'un référentiel de code monolithique sont les changements associées au CI/CD. Cela nous a pris du temps pour tout mettre en place et cet article ne couvre que les aspects associés à la première étape à savoir détecter quels fichiers ont été touchés par un changement. J'explorerai d'autres difficultés et solutions prochainement. Jusque là, l'impact sur les personnes impliquées est très positif ou, il se peut aussi que j'ai trop souffert d'un ensemble très important de référentiels distribués et que ma réalité est désormais complètement biaisée. Quoiqu'il en soit, je pense que les bénéfices de notre approche dépasseront rapidement les difficultés que nous avons rencontrées lors de notre mise en oeuvre. J'espère que cet article sera l'occasion de soulever des questions. Si c'est le cas pour vous, n'hésitez pas à le commenter ci-dessous.

Scrum me tue...

2018-01-21T17:00:00.000-08:00

Le logiciel dévore le monde et c'est très fun. C'est très fun de travailler sur des produits qui façonnent le futur ou, au moins, d'espérer et de se battre pour ça. C'est très fun de travailler avec des personnes intelligentes, enthousiastes, engagées. C'est beaucoup de travail aussi. Nous ne voulons pas nous compromettre. Nous vivons beaucoup d'échecs. Nous devons respecter le bon timing : ni trop tôt, ni trop tard. Nous avons besoin de personnes douées, de personnes talentueuses. Nous avons besoin de diversité. Nous avons besoins de faire partie d'équipes. Nous avons besoin de nous impliquer dans une équipe ; de rester positifs, d'accepter les idées des autres, d'être passionnés et tolérants. C'est très fun et c'est dur ! C'est d'autant plus dur que Scrum me tue... encore !

Commençons par quelques vérités. Je me demande parfois si tout le monde l'a bien noté :

Scrum a été spécifié et est maintenu par Ken Schwaber et Jeff Sutherland qui sont 2 personnes distinguées.
Scrum est entièrement documenté dans "The Definitive Guide to Scrum: The Rules of the Game" soumis à une licence Open Source dite CC BY-SA. Il n'y a pas d'autres documents de référence.
Scrum est une "approche empirique de la gestion de projet". Elle s'appuie sur des idées telles que la "transparence des livrables". Elle s'appuie également sur des valeurs comme "l'engagement, le courage, la concentration, l'ouverture et le respect".
Les livres et les formations Scrum adressent "Comment implémenter Scrum". Ils ne sont pas censés contredire ni créer des variations de scrum.
Ken Schwaber et Jeff Sutherland ont tous les 2 participés à l'écriture du Agile Manifesto Cependant, Scrum ne définit pas le "Agile Manifesto".
D'après "The Definitive Guide to Scrum", "Si implémenter seulement certaines parties de Scrum est tout à fait possible, le résultat n'est pas Scrum". Je voudrais suggérer qu'on n'expérimente pas ça sur nos projets. Même s'il ne s'agit pas du sujet de ce blog, sand doute "Fake-Scrum" ou "S***-Scrum" sont pire que Scrum
Le fait qu'une méthode s'appuie sur de bonnes idées ou de bonnes intentions n'enlève absolument pas les problèmes qui peuvent être rencontrés. Ce n'est pas parce que Scrum veut adresser les points négatifs des approches projets en cascade ou en V que c'est forcément bien comme le montre le cobra effect...

Dans ce qui suit, je garde les points volontairement courts et je sépare les "problèmes issus de Scrum" des "problèmes liés à Scrum". Si vous n'êtes pas convaincus, vérifiez par vous-même en lisant "The Definitive Guide to Scrum: The Rules of the Game". Il est simple et bien écrit. Je référence également certaines présentations très intéressantes de personnes qui proposent des modèles alternatifs. Ces vidéos incluent des présentations de Robert C. Martin, de Dave Thomas et de Brian Marick qui ont également participé à l'écriture de "Agile Manifesto".

Les problèmes dus à Scrum

Parmi les problèmes rencontrés chez des clients qui s'appuient sur Scrum, les plus fréquents sont :

Des sprints qui échouent et qui frustrent toute l'équipe. Les personnes doivent écrire le logiciel, pas "réussir un sprint" . Vous serez tenté de pointer le fait que les règles sont mal appliquées. En général, les 2 raisons principales de ces échecs sont la nature même des sprints limités dans le temps et s'appuyant sur un backlog figé en début de sprint. Les problèmes de personne viennent ensuite :
- Il n'est pas possible de prédire ce qu'il faut faire sur un logiciel, surtout sur une période courte de 2 à 4 semaines. Si vous avez 5 développeurs et qu'un bug compliqué et urgent fait surface, vous aurez peut-être beaucoup de mal à l'ignorer ! Vous serez ainsi facilement amputé de 20% de votre capacité sur un sprint et vos objectifs ne seront ainsi pas tenus.
- Les problèmes de développement sont toujours mal estimés. En dépit de l'"objectif unique de votre sprint" vous vous retrouverez toujours avec des tâches non réalisées. Cela signifie encore que vous ne délivrez pas le contenu de votre Sprint ou, pire, comme je l'ai vu qu'une personne de talent délivre en 2 jours le contenu complet d'une équipe de 5.
La contrainte temporelle et les descriptions détaillées des tâches rendues nécessaire par la volonté d'estimer ont 2 inconvénients supplémentaires :
- Les gens se sentent rapidement "micro-managé" par le système de suivi et par le groupe. Il en résulte, et malgré l'intention, que les personnes qui travaillent dans un environnement Scrum se sentent souvent dans un environnement de "Subtle Control" et n'arrivent pas à prendre le recul nécessaire pour régler leurs problèmes
- Les fonctionnalités sont "Done" ; elles ne sont pas "Well Done". Cela génère beaucoup de déchets dans le logiciel. Cela fait aussi beaucoup de mal aux équipes qui se retrouvent travailler comme dans une machine à essorer sans aucune efficacité. Si vous devez vous rendre compte rapidement des échecs de votre logiciel, il est très important au contraire que vos équipes réussissent dans leur travail. De manière simple, Scrum, trop souvent, fait échouer les gens qui sont alors démotivées ou perdent l'envie de réussir.
Enfin Scrum est trop lourd pour de nombreuses équipes qui perdent de fait leur "bon sens". Cela est du :
- Au nombre important des intervenants : product owner, développeurs, scrum master...
- Au nombre important des cérémonies: daily, planning, review et retro. Leur fréquence élevée et le nombre de personnes impliquées détruit les dynamiques

Les problèmes liés à Scrum

La section précédente pointe les problèmes issue de Scrum, per se . Sa nature implique généralement d'autres problèmes. Si vous avez pratiqué une équipe qui utilise Scrum, vous rencontrerez très certainement certains des problèmes suivants :

Le manque de qualités intrinsèques de votre produit comme la performance, les coûts opérationnels, les capacités de management ou simplement la facilité de développer la solution
Un focus sur les fonctionnalités au lieu de la valeur ou de l'expérience utilisateur
Un Certified Scrum Master qui contrôle l'équipe au lieu de la rendre plus efficace
UN focus sur les fonctionnalités plutôt que sur la valeur ou sur l'expérience utilisateur
Des équipes mal organisées du fait des contraintes comme de mauvais outils, des personnes partagées entre plusieurs équipes, le manque de compétences ou le travail à distance
...

Et pour ceux qui croient que c'est le sort de tous les projets informatiques, peut-être faut-il préciser que la plupart des personnes de ce milieu sont brillants, doués avec un ordinateur, et le plus souvent ont envie de réussir ce qu'ils font. Alors si vous "faites toujours du Scrum" et que vous n'êtes pas convaincu que vous devez arrêter, regardez les videos qui suivent...

Présentations qui vous inspireront

Vous trouverez ci-dessous un certains nombre de video qui déconstruisent l'"Agile" et "proposent des modèles alternatifs", certaines vous inspireront certainement :

Agile is Dead, Dave Thomas
Managing Manager‐less Processes, Fred George
Principles of Technology Leadership, Bryan Cantrill
Leadership Without Management: Scaling Organizations by Scaling Engineers, Bryan Cantrill
Artisanal Retro-Futurism Team-Scale Anarcho-Syndicalism, Brian Marick (see arxta)
One Hacker Way, Erik Meijer
Implementing Programmer Anarchy, Fred George
The Future of Programming, Robert Martin
Frankenbuilds; if Agile is so good, why are our Products so bad? Gabrielle Benefield

Utiliser Docker avec votre propre autorité de certification

2016-12-29T00:48:00.001-08:00

Vous devriez trouver plusieurs autorités de certifications gratuites. Les plus populaires sont probablement Let's Encrypt et CACert. Pourtant, pour plusieurs raisons (restrictions, utilisation de localhost, capacité d'automatisation...), vous pouvez être amené à gérer votre propre autorité de certification. Et si c'est le cas, vous considérerez probablement d'utiliser OpenSSL. Ce blog présente quelques commandes utiles. Elles ne visent en aucune façon à remplacer la documentation officielle mais peuvent aider à accélérer la mise en place initiale ou différents scénarios.

Si vous disposez de votre propre CA, vous pourrez l'utiliser beaucoup avec Docker... ou pas. Autrement dit, ça peut aider. Par exemple, vous pourrez l'utiliser pour sécuriser une solution de Vault qui stockera et partagera des secrets. Vous pourrez l'utiliser également pour sécuriser des accès HTTP comme celui d'accès à une registry privée. Ce blog explore ce dernier scénario et montre comment profiter de votre autorité de certification nouvellement créée.

Note importante:
L'exemple suivant est basé sur Fedora/Enterprise Linux ; Si vous utilisez Debian, une autre distribution Linux, Windows ou OSX, vous devrez adapter la procédure pour le faire fonctionner.

Seconde note importante:
Si vous gérez des clés et des certificats, il est important de ne pas partager les clés et mots de passe. Ce qui suit est uniquement un exemple et vous voudrez remplacer les mots de passe, ici xxxxxx, avec des mots de passe plus fiables.

Créer une autorité de certification

OpenSSL fournit un script perl nommé CA.pl qui facilite la gestion d'une autorité de certification. Evidemment, vous pouvez également gérer l'ensemble des tâches avec les commandes "openssl" mais c'est beaucoup plus simple avec ce script. Pour installer ce script, lancez la commande ci-dessous (Utilisez YUM au lieu de DNF si vous utilisez une distribution Enterprise Linux):

sudo dnf -y install openssl-perl

Une fois installée, créez simplement une autorité de certification à l'aide de :

sudo /etc/pki/tls/misc/CA.pl -newca
CA certificate filename (or enter to create)

Making CA certificate ...
Generating a 2048 bit RSA private key
................+++
....+++
writing new private key to '/etc/pki/CA/private/cakey.pem'
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [XX]:FR
State or Province Name (full name) []:Ile-de-France
Locality Name (eg, city) [Default City]:Paris
Organization Name (eg, company) [Default Company Ltd]:Resetlogs
Organizational Unit Name (eg, section) []:Security
Common Name (eg, your name or your server's hostname) []:www.resetlogs.com
Email Address []:admin@resetlogs.com

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:xxxx
An optional company name []:Resetlogs
Using configuration from /etc/pki/tls/openssl.cnf
Enter pass phrase for /etc/pki/CA/private/cakey.pem:
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number:
            9b:d3:58:97:a6:0b:f5:88
        Validity
            Not Before: Dec 27 21:28:03 2016 GMT
            Not After : Dec 27 21:28:03 2019 GMT
        Subject:
            countryName               = FR
            stateOrProvinceName       = Ile-de-France
            organizationName          = Resetlogs
            organizationalUnitName    = Security
            commonName                = www.resetlogs.com
            emailAddress              = admin@resetlogs.com
        X509v3 extensions:
            X509v3 Subject Key Identifier:
                BB:3E:C6:50:F9:CC:73:F9:E0:9C:65:96:FF:39:D2:D5:DA:BF:29:82
            X509v3 Authority Key Identifier:
                keyid:BB:3E:C6:50:F9:CC:73:F9:E0:9C:65:96:FF:39:D2:D5:DA:BF:29:82

            X509v3 Basic Constraints:
                CA:TRUE
Certificate is to be certified until Dec 27 21:28:03 2019 GMT (1095 days)

Write out database with 1 new entries
Data Base Updated

Parmi de nombreux aspect, le script réalise 2 choses importantes :

Il crée la clé racine de la CA et la stocke dans /etc/pki/CA/private. Vous pouvez (1) vérifier qu'elle est utilisable à l'aide de la commande ci-dessous, (2) la sauvegarder car elle est essentielle à l'émission de nouveaux certificats et (3) la sécuriser puisque n'importe qui qui a accès à la clé peut signer une demande de certificat pour vous :

sudo openssl pkey -in /etc/pki/CA/private/cakey.pem

It crée un certificat racine "self-signed" dans /etc/pki/CA que vous pourrez distribuer à vos clients lesquels pourront utiliser ce certificat afin de valider l'authenticité des certificats émis par l'autorité nouvellement créée. Vous pouvez vérifier le certificat avec la commande ci-après :

openssl x509 -noout -text -in /etc/pki/CA/cacert.pem

Effectuer une demande de certificat

Une demande de certificat est généralement effectuée sur le serveur sur lequel il sera utilisé ou au moins, proche de celui-ci. Cela permet d'éviter que la clé privée du certificat soit accédée par l'autorité de certification. Pour réaliser une demande, créez le fichier de configuration comme celui ci-dessous en l'adaptant à vos besoins :

cat req.conf
[req]
default_bits           = 2048
distinguished_name     = req_distinguished_name
prompt                 = no
output_password        = xxxxxx
req_extensions         = req_ext

[req_distinguished_name]
C                      = FR
ST                     = Ile-de-France
L                      = Paris
O                      = Resetlogs
OU                     = Security Team
CN                     = blue.resetlogs.com
emailAddress           = admin@resetlogs.com

[req_ext]
subjectAltName         = DNS:localhost,IP:127.0.0.1

One fois que vous êtes prêt pour faire votre demande, lancez la commande opnessl comme ci-dessous :

openssl req -newkey rsa:2048 -days 365 -config req.conf -out newreq.pem -keyout newkey.pem

Vous devriez être en mesure d'afficher le contenu de votre demande à l'aide de la commande ci-dessous :

openssl req -in newreq.pem -noout -text

Vous pourrez également avoir besoin d'une version non-protégée de votre clé privée. Si c'est le cas, vous pouvez avoir utilisé l'option -nodes lorsque vous faite la demande. Vous pouvez également générer cette version non-protégée de la clé à l'aide de la commande ci-dessous :

openssl rsa -in newkey.pem -out newkey-unprotected.pem

Signer la demande

Dans la demande précédente, subjectAltName est utilisé pour désigner le nom du serveur ou du loadbalancer pour lequel il est utilisé. C'est "désormais" la manière standard de réaliser cette tâche. Et donc en plus de signer la demande de certificat, vous devez également référencer le même subjectAltName.

Par défault, CA.pl ne gère pas cette extension. Vous pouvez évidemment utiliser la commande "openssl ca" pour gérer cette limite. Néanmoins, si vous préférez continuer à utiliser CA.pl, vous pouvez également modifier /etc/pki/tls/openssl.cnf comme expliqué dans ce blog ; J'ai légèrement modifié cette procédure pour la faire fonctionner avec la version OpenSSL de mon Fedora :

En haut du fichier, juste après la ligne "HOME =" ajoutez :

SAN = "email:admin@resetlogs.com"

En bas de la section [ usr_cert ] ajoutez :

subjectAltName = $ENV::SAN

Une fois la configuration définie, la valeur de subjectAltName utilisée est héritée de la variable d'environnement SAN. Pour signer la requête, vous devez pousser le fichier newreq.pem sur le serveur de l'autorité de certification et générer le certificat, en tant que root, à l'aide de la commande ci-dessous :

SAN="DNS:localhost,IP:127.0.0.1" /etc/pki/tls/misc/CA.pl -sign
Using configuration from /etc/pki/tls/openssl.cnf
Enter pass phrase for /etc/pki/CA/private/cakey.pem:
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number:
            88:aa:5a:00:30:56:3e:0d
        Validity
            Not Before: Dec 28 21:57:44 2016 GMT
            Not After : Dec 28 21:57:44 2017 GMT
        Subject:
            countryName               = FR
            stateOrProvinceName       = Ile-de-France
            localityName              = Paris
            organizationName          = Resetlogs
            organizationalUnitName    = Security Team
            commonName                = blue.resetlogs.com
            emailAddress              = admin@resetlogs.com
        X509v3 extensions:
            X509v3 Basic Constraints: 
                CA:FALSE
            Netscape Comment: 
                OpenSSL Generated Certificate
            X509v3 Subject Key Identifier: 
                75:6C:E7:65:30:0B:EB:27:19:09:35:71:05:A6:60:41:CF:A9:88:74
            X509v3 Authority Key Identifier: 
                keyid:B3:81:18:0B:81:B8:A1:81:7F:37:F7:EF:90:AC:10:40:9C:AB:4C:C6

            X509v3 Subject Alternative Name: 
                DNS:localhost, IP Address:127.0.0.1
Certificate is to be certified until Dec 28 21:57:44 2017 GMT (365 days)
Sign the certificate? [y/n]:y


1 out of 1 certificate requests certified, commit? [y/n]y
Write out database with 1 new entries
Data Base Updated
Signed certificate is in newcert.pem

Vous pouvez vérifier le contenu du certificat et la chaine de signature comme ceci :

openssl x509 -noout -text -in newcert.pem

Une registry HTTPS pour Docker

Supposons que vous ayez mis le fichier incluant le certificat (newcert.pem) ainsi que la version non protégée de la clé (newkey-unprotected.pem) dans un répertoire `pwd`/certs. Pour démarrer une nouvelle registry accessible via HTTPS, vous pouvez simplement exécuter la commande ci-dessous :

docker run -d -p 5000:5000 --restart=always --name registry \
  --security-opt label=disable -v `pwd`/certs:/certs \
  -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/newcert.pem \
  -e REGISTRY_HTTP_TLS_KEY=/certs/newkey-unprotected.pem \
  registry:2

Enregistrez le certificat de l'autorité de certification dans les "Trusted Authority" de votre navigateur :

Vous serez alors autorisé à accéder l'API REST de la registry à l'aide de HTTPS sans alerte si le nom du site correspond à subjectAltName. Ainsi, par exemple dans le cas de localhost ci-dessous, vous ne recenvez pas d'erreur même si le commonName du certificat est blue.resetlogs.com :

Etapes suivantes...

Il y a nombreux bénéfices à utiliser votre propre CA avec Docker, même si les préambules ne semblent pas toujours triviaux. Comme vous avez pu le découvrir ci-dessus, ce n'est pas vraiment compliqué non plus. Par ailleurs, il existe d'autres solutions pour gérer une CA, y compris Easy-RSA ou simplement utiliser directement la commande openssl ca qui permet d'utiliser des options complémentaires comme "-passin". Pour l'instant vous avez configuré et sécurisé un environnement simple. Nous pouvons deviner que sera bientôt très utile...

Provisionner du Compute dans le Cloud Public Oracle avec Terraform

2016-12-22T14:35:00.001-08:00

Terraform est probablement l'orchestrateur Cloud le plus populaire aujourd'hui. Ou au moins, c'est celui que je préfère ! Il est facile à utiliser, rapide, il offre la possibilité de simuler l'ajout et la suppression de ressources et il peut facilement être étenduI. C'est un outil parfait pour créer une infrastructure chez la plupart des fournisseurs de Cloud comme je l'ai déjà présenté.I

Depuis quelques jours maintenant, j'ai recommencé à nouveau à utiliser l'offre Cloud d'Oracle. J'ai ainsi pu prendre un vrai plaisir avec l'offre de Containers. Au delà de la base de données, Oracle a fait des progrès incroyables avec son offre IaaS. Elle commence à être vraiment intéressante. Aussi lorsque j'ai découvert qu'il était possible d'utiliser Terraform avec le Service de Compute, je n'ai pas pu resister... Ca m'a pris moins de 15 minutes pour installer et utiliser le Provider Terraform pour Oracle Compute Cloud. Et ça fonctionne parfaitement avec la version 0.8... Vous trouverez quelques notes à propos de cette mise en oeuvre ci-dessous :

Note:
Mon laptop fonctionne sous Linux. En fait, j'utilise Fedora ! Vous devrez sans doute adapter la procédure qui suit si vous utilisez Windows ou OSX.

Construire le Provider Terraform

Pour construire le provider, vous devez installer Go. Je préfère utiliser la dernière version aussi je la télécharge de golang.org , je la décompresse dans /opt et je positionne la variable GOROOT comme ci-dessous:

cd /opt
sudo tar -zxvf ~/distribs/go*.linux-amd64.tar.gz
sudo chown -R $(id -un):$(id -gn) /opt/go
export GOROOT=/opt/go
export PATH=/opt/go/bin:$PATH
go version

Une fois que Go est installé, vous pouvez simplement télécharger et construire le provider comme ci-dessous :

cd ~
export GOPATH=/home/$(id -un)/terraform-provider
mkdir $GOPATH
go get -d github.com/oracle/terraform-provider-compute/provider
go build -o terraform-provider-opc github.com/oracle/terraform-provider-compute/provider

Le provider s'appelle terraform-provider-opc et vous voilà prêt à continuer. Pour plus de détails à propos de comment le construire, reportez-vous à la page du projet.

Utiliser Terraform avec Oracle Compute Cloud

Téléchargez et Installez Terraform pour votre système. Une fois que c'est fait, vous voudrez déclarer le provider dans un fichier de ressources comme ci-après :

cat >~/.terraformrc <<EOF
providers {
    opc = "/home/gregory/terraform-provider-opc"
}
EOF

Pour utiliser le provider, vous devez positioner les variables OPC_ENDPOINT, OPC_USERNAME, OPC_PASSWORD et OPC_IDENTITY_DOMAIN. Le "endpoint" peut être trouvé sur la page Overview du service :

L'identifiant de l'Identity Domain se trouve sur la page "Identity Domain Administration" :

Le nom d'utilisateur et mot de passe sont ceux associé à votre identity domain. On supposera que le role "Compute Cloud Operations" est positionné pour le-dit utilisateur. Ci-dessous un exemple de configuration :

export OPC_ENDPOINT=https://api-z31.compute.em3.oraclecloud.com/
export OPC_USERNAME=gregory
export OPC_PASSWORD=password
export OPC_IDENTITY_DOMAIN=a429864

Créer des ressources Terraform

Le projet contient un fichier test.tf dans src/github.com/oracle/terraform-provider-compute/test. Vous pouvez l'utiliser pour créer une nouvelle configuration. Si vous voulez qu'il soit utile, réalisez quelques modifications :

Créez une paire de clé SSH et téléchargez-là sur Oracle Public Cloud en tant que opc-key. On supposera que vous avez installé Oracle Compute CLI au préalable:

ssh-keygen -q -b 2048 -t rsa -N "" -f ~/.ssh/opc-key
oracle-compute -a $OPC_ENDPOINT -u /Compute-$OPC_IDENTITY_DOMAIN/$OPC_USERNAME add sshkey \
  /Compute-$OPC_IDENTITY_DOMAIN/$OPC_USERNAME/opc-key ~/.ssh/opc-key.pub

Choisissez l'imagelist que vous voulez utiliser comme, par exemple Oracle Linux 7.2:

oracle-compute -a $OPC_ENDPOINT -u /Compute-$OPC_IDENTITY_DOMAIN/$OPC_USERNAME list imagelist /oracle/public
oracle-compute -a $OPC_ENDPOINT -u /Compute-$OPC_IDENTITY_DOMAIN/$OPC_USERNAME -f json list imagelist /oracle/public/OL_7.2_UEKR3_x86_64

Créer un nouveau répertoire avec un fichier oraclelinux.tf dont le contenu ressemble à celui ci-dessous. Notez l'ajout de sshKeys ainsi que du mot clé output:

resource "opc_compute_instance" "oraclelinux72" {
 name = "ol72"
 label = "ol72"
 shape = "oc3"
        sshKeys = ["opc-key"]
 imageList = "/oracle/public/OL_7.2_UEKR3_x86_64"
 storage = [{
  index = 1
  volume = "${opc_compute_storage_volume.system_volume.name}"
 }]
}

resource "opc_compute_storage_volume" "system_volume" {
 size = "10g"
 description = "System Volume"
 name = "sysvol1"
}

resource "opc_compute_ip_reservation" "reservation1" {
        parentpool = "/oracle/public/ippool"
        permanent = true
 tags = []
}

resource "opc_compute_ip_association" "instance1_reservation1" {
 vcable = "${opc_compute_instance.oraclelinux72.vcable}"
 parentpool = "ipreservation:${opc_compute_ip_reservation.reservation1.name}"
}

resource "opc_compute_security_list" "sec_list1" {
 name = "sec-list-1"
        policy = "PERMIT"
        outbound_cidr_policy = "PERMIT"
}

resource "opc_compute_security_association" "test_instance__sec_list_1" {
 vcable = "${opc_compute_instance.oraclelinux72.vcable}"
 seclist = "${opc_compute_security_list.sec_list1.name}"
}

output "public_ip" {
   value = "${opc_compute_ip_reservation.reservation1.ip}"
}

Vous voilà prêt à créer votre configuration

terraform apply

Une fois créée, vous pourrez facilement vous connecter à la machine puis à vous connecter sous l'utilisateur root:

ssh -i ~/.ssh/opc-key opc@$(terraform output | awk '{print $3}')
sudo su -
exit
exit

Et enfin, vous pourrez aussi simplement supprimer votre configuration :

terraform destroy -force

Pour continuer...

Comme vous pouvez le constater, utiliser Terraform avec Oracle Compute Cloud est très simple. Si vous le combinez avec opc-init et créez vos propres images, vous pourrez bientôt créer des environnements avancés aussi simplement. Voilà, j'espère que vous vous amuserez vous aussi bientôt avec Oracle Cloud...

Découverte de services et Blue/Green Update avec Docker

2016-12-17T23:10:00.001-08:00

Si vous êtes développeur, product owner ou responsable de projet, vous allez adorer Docker. Cela accélère et facilite tout:

C'est le support idéal pour les 12-Factor Apps et pour le projets basés sur les microservices. Vous voulez faire du développement Agile ? Vous voulez construire des applications d'envergure ? Vous voulez séparer les différents aspects de vos applications ? Vous voulez être en mesure de vous développer en découpant l'ensemble de vos tâches ?
Merci à Docker Hub, Docker Store et Github, Docker fournit un nombre incommensurable d'images qui peuvent facilement être utilisées, combinées et améliorées pour répondre au mieux aux besoins des utilisateurs.
Docker est également relativement agnostique de l'infrastructure ou du fournisseur Cloud que vous utilisez. Cela permet de facilement grandir et supporter la charge.

Si vous êtes un "Ops", vous pouvez vous réjouir encore plus! Il est très probable que vous aurez bientôt plus de travail et de challenges que vous n'en avez jamais eu. Vous allez bientôt "Apprendre en marchant"... Non seulement vous devrez choisir et déployer parmi l'une des infrastructures Docker de Kubernetes à Nomad en passant par Mesos/Marathon, Swarm ou AWS ECS mais vous aurez vite besoin de bien plus pour gérer le réseau, les services, la supervision, les référentiels, les services monolitiques ou singletons, les secrets, les incidents et échecs et bien plus encore pour vous intégrer à d'autres éco-systèmes.

J'ai commencé un projet que j'ai appellé docker-mate qui a pour but de présenter certains challenges auxquels vous serez confrontés avec Docker ainsi que des outils pour y répondre. Pour garder le tout simple et indépendant, il s'appuit sur docker-compose. J'espère que vous trouverez certaines démonstrations utiles, que vous clonerez le projet, ouvrirez des "Issues" ou proposerez des nouvelles idées pour l'enrichir. J'espère que vous aimerez Docker encore plus lorsque vous aurez pu observer, en actions, certains outils que les gens construisent pour l'enrichir.

Découverte de services et Blue/Green Update

Les réseaux Docker connectent les containers ensemble de sorte que appeler un container A depuis un container B est généralement aussi simple que d'adresser un alias réseau qui sera, par exemple, container-a. Pourtant, si vous déployez des containers en production, vous aurez besoin de faire grossir vos services et donc de vous appuyer sur plusieurs containers qui servent la même application en même temps. Ainsi, vous ne voudrez plus simplement appeler le container A depuis le container B mais plutôt les containers A1, A2 ou A3 depuis le container B. Vous voudrez également fournir de la haute disponibilité de sorte que si le container A1 échoue, il soit immédiatement retiré de la liste des services utilisables. Si ces fonctionnalités sont développées, vous pourrez vous appuyer dessus pour réaliser des mises à jour "Blue/Green" en ajoutant la nouvelle version de votre application puis en supprimant l'ancienne. Enfin, vous voudrez réaliser tout cela sans ajouter une seule ligne de code.

Il existe plusieurs façons d'enregistrer des service, de les découvrir et de les adresser avec Docker. L'une d'entre-elles consiste à s'appuyer sur Hashicorp Consul pour stocker et présenter les services, Gliderlabs/registrator pour publier et dé-publier automatiquement ces services et sur eBay/fabio pour loadbalancer les appels aux services lorsque ceux-ci s'appuient sur des appels HTTP. Le répertoire discovery contient un exemple d'une telle configuration réalisée avec docker-compose.

Pour démontrer comment cela fonctionne, nous allons nous appuyer sur une application appelée simple-api. Nous aurons besoin de déployer 2 versions : la version 1.0 et la version 2.0. Ci-dessous, voici comment construire les images Docker associées une fois que vous aurez cloné/forké docker-mate sur un serveur Linux ayant docker installé :

cd discovery/simple-api
make
docker images simple-api
cd ..

Pour démarrer la démonstration, il suffira alors de lancer la commande ci-dessous:

docker-compose up -d

docker-compose.yml contient la version 1.0 de simple-api. Grace à la configuration des variables d'environnement, Fabio peut rediriger les flux depuis l'URL http://127.0.0.1:9999/simple-api vers l'application. Pour tester ce fonctionnement, exécutez la commande ci-dessous dans un nouveau terminal :

while true; do
  echo -e "$(curl localhost:9999/simple-api/version 2>/dev/null)"
  sleep 1
done

Pour réaliser une mise à jour Blue/Green, démarrer la version "green" de simple-api et arrêtez la version "blue" comme ci-dessous :

docker-compose -f simple-api.yml scale green=2
docker-compose scale blue=0

Le script de suivi démarré précédemment doit voir la nouvelle version prendre la place de l'ancienne version avant que celle-ci soit complètement supprimée. Pour terminer, vous pouvez supprimer l'application comme ci-dessous :

docker-compose -f simple-api.yml stop
docker-compose -f simple-api.yml rm -f

Continuer...

Je souhaite que docker-mate puisse fournir de plus en plus de démonstrations d'intégration entre Docker et d'autres outils. Le projet démontre déjà comment configurer et utiliser Hashicorp Vault. Alors prenez, vous aussi, beaucoup de plaisir en utilisant Docker!

Deployer Consul sur AWS ECS avec Terraform

2016-11-06T03:27:00.000-08:00

Consul apporte beaucoup à la gestion des containers Docker. Travaillant avec les EC2 Container Services (ECS) d'AWS, ça a littéralement changé le jeu quand j'ai réussi à tirer partie de sa magie. Malheureusement il y a finalement assez peu d'article sur le sujet et la seule implémentation que j'ai trouvée est basée sur CloudFormation ce qui ne fonctionnait pas vraiment dans mon cas utilisant déjà Terraform massivement.

Après 3 itérations et la mise en place en production, je me suis dit que ça serait pas mal de conserver une démonstration qui embarque Consul sur AWS et ECS développée avec Terraform. C'est également l'opportunité de présenter certaines des bonnes pratiques Terraform que je décrivais dans mon article précédent. Je viens juste de publier le projet sur Github.com. Je l'ai appelé ECS unleashed pour plusieurs raisons que je ne souhaite pas vraiment développer pour l'instant. Une fois déployé, vous pourrez également mettre en oeuvre un exemple de mise à jour "blue/green" d'une application.

J'espère que ce projet aidera certain à adopter Consul, à construire des démonstration plus évoluées ou à déployer en production. Amusez-vous à l'aide de "Fork" du projet et n'hésitez pas à interagir en envoyant vos questions ou vos idées ! Have fun.

5 bonnes pratiques pour démarrer un projet Terraform

2016-09-18T00:04:00.000-07:00

Démarrer un nouveau projet avec des ressources Terraform n'est pas si évident. Je veux dire, il est évidemment facile de démarrer un projet avec Terraform mais, pour le faire grandir facilement, pour ne pas être bloqué après quelques évolutions et pour permettre aux équipes de collaborer efficacement, il y a plusieurs choses à considérer dès le départ.

Vous trouverez ci-dessous une liste de 5 bonnes pratiques que vous voudrez adopter pour commencer du bon pied ! Non pas que je n'ai rencontré que 5 problèmes en faisant des erreurs mais plutôt que d'un naturel fainéant, je veux garder les choses simples et rapides. Si vous avez vous-même rencontré des problèmes que vous avez adressés en implémentant des bonnes pratiques, n'hésitez pas à les partager. Laissez un commentaire et expliquez comment il est possible d'anticiper certaines erreurs...

Utilisez un répertoire par déploiement

En d'autres termes, utilisez des modules et les paramètres des modules plutôt que des variables et des fichiers .tfvars stockés en dehors du répertoire de déploiement.

Ce que je préfère à propos de Terraform, c'est que ca devient très facile de créer et supprimer des ressources. Disons que vous voulez faire un test et que vous avez déjà décrit l'ensemble des ressources dont vous avez besoin, tout ce qu'il faut, c'est déployer une nouvelle instance de votre configuration en exécutant Terraform ailleurs...

You avez déjà compris que certains éléments de configuration dépendent de la nature du déploiement. Par exemple, vous n'allez *PAS* déployer les cname DNS sur un environnement de test. De fait, vous introduirez rapidement des paramètres à votre configuration et, dès que vous savez paramètrer, vous commencerez à les utiliser beaucoup. En passant, c'est bien et même rigolo !

Terraform permet de créer des variables et de les stocker dans des fichiers. Vous serez peut-être amené à considérer une organisation projet basée sur (1) un répertoire contenant le configuration à construire et (2) un fichiers ou un jeu de fichiers par jeu de valeurs des variables qui représente l'instance de la configuration que vous voulez déployer. C'est une mauvaise idée !

Une meilleure façon de procéder consiste à garder un répertoire par configuration déployée de sorte que votre organisation projet ressemble à celle ci-dessous et s'appuie sur des modules et des paramètres dans des modules plutôt que des variables stockées à l'extérieur de la configuration :

[project]
  - [deployments]
    - [production]
      - [part1] (relies on module X, Y)
      - [part2] (relies on module Z and current state of production/part1)
    - [test]
      - [part1] (relies on module X, Y)
      - [part2] (relies on module Z and current state of test/part1)
    - ...
  - [modules]
    - [module A]
    - [module X] (relies on module A...)
    - [module Y]
    - [module Z]

L'intérêt principal de ce type d'approche est que vous n'avez plus aucun besoin de référencer des fichiers externes au répertoire de déploiement et, de ce fait, il n'y a aucune chance que vous abimiez par erreur la configuration que vous aurez déployée.

Vous utiliserez juste terraform get, terraform remote pull, terraform plan, terraform apply sans aucun autre paramètre. Outre une configuration plus simple à gérer et moins sujette aux erreurs, vous vous apercevrez avec le temps que travailler avec des modules améliore votre capacité à réutiliser et faire évoluer votre code.

Utilisez le provider Random

S'appuyer sur des clés générées aléatoirement pour nommer les ressources en dehors de Terraform est également une bonne pratique à systématiser... Non seulement, ça permet de repérer facilement quelle ressource fait partie de quel déploiement, mais ça permet également de résoudre les problèmes de collision des noms.

Considérez AWS par exemple, un nom de bucket doit être unique quelque soit la région. De la même manière, un rôle, un groupe de journaux Cloudwatch ou un groupe de Sécurité doivent être unique pour un compte donné. Ajouter des clés dans les noms de ressources facilite le déploiement multiple d'une même configuration et, par exemple, le script ci-dessous peut ainsi être exécuté autant de fois que nécessaire :

resource "random_id" "idkey" {
   byte_length = 8
}

resource "aws_s3_bucket" "terraform_bucket" {
   bucket = "terraform.${random_id.idkey.hex}"
   acl = "private"
   versioning {
        enabled = true
    }
}

output "idkey" {
   value = "${random_id.idkey.hex}"
}

Utilisez le client de votre Provider

Utiliser le client du Provider peut s'avérer d'une grande aide de plusieurs manières : d'abord ça facilite l'externalisation des identifiants de connexion en évitant d'avoir à les stocker dans la configuration de déploiement ou dans des variables d'environnement. Par exemple, dans le cas de la commande ci-dessous, il suffit de créer un profile dans ~/.aws/credentials lequel contiendra les clés access/secret pour se connecter à AWS. Nul besoin d'aucun fichier de variable :

variable "aws_region" {}
variable "aws_profile" {}

provider "aws" {
    profile = "${var.aws_profile}"
    region = "${var.aws_region}"
}

Le provisioner local-exec permettra également de lancer des commandes qui ne sont *PAS* encore supportées par Terraform. Par exemple, vous pourrez facilement exécuter des commandes spécifiques pour configurer la réplication "cross region" de S3 ou quoique vous vouliez et qui ne soit pas encore supporté par votre version.

Vous trouverez ci-dessous un exemple d'utilisation d'une commande aws ssm :

resource "null_resource" "myresource" {
  provisioner "local-exec" {
        command = <<EOF 
export AWS_DEFAULT_REGION="${var.region}"
aws ssm send-command --profile ${var.myprofile} --instance-ids \
    ${aws_instance.server1.id} --document-name ${aws_ssm_document.mydoc.name}
EOF
  }
  depends_on = [ "aws_ssm_document.mydoc", "aws_instance.server1"]
}

Stockez l'état de Terraform à l'extérieur du projet

Le fichier "state" est une partie importante du déploiement de Terraform. Son objectif principal est de tracer le lien entre les ressources déployées à travers Terraform et le modèle que vous avez écrit. Il est très important que ce fichier soit partagé entre les différents acteurs. Pourtant, ça fait assez peu de sens de le stocker dans le référentiel de gestion du code, notamment parce qu'il peut contenir des informations sensibles pour un déploiement. Préférez un référentiel externe et si vous utilisez AWS et n'avez pas d'accès à Atlas, S3 est probablement la solution.

Utilisez une commande comme celle ci-dessous pour configurer la connectivité à votre fichier d'état stocké sur un référentiel exterieur :

terraform remote config -backend=S3 \
   -backend-config="bucket=terraform-myprod-xxxxxxxxxxxxx" \
   -backend-config="key=tf-state/xxx.state " \
   -backend-config="region=eu-west-1" \
   -backend-config="profile=myprofile"

La commande ci-dessus crée un fichier nommé .terraform/terraform.tfstate qui ressemble à celui ci-dessous et trace le lien extérieur :

{

...
    "remote": {
        "type": "s3",
        "config": {
            "bucket": "terraform-myprod-xxxxxxxxxxxxx",
            "key": "tf-state/xxx.state ",
            "profile": "myprofile",
            "region": "eu-west-1"
        }
    },
 ...

Vous devrez alors soit activer/désactiver le lien vers le fichier "state". Vous pouvez également conserver uniquement le fichier initial et utiliser la commande terraform remote pull pour resynchroniser l'état avec les modifications qui ont eu lieu.

Organisez le projet par couches ; utilisez des sources de données

Enfin, vous finirez par considérer que votre configuration doit être découpée en morceaux. Par exemple :

vous ne voudrez peut être pas déployer autant de registry docker que vous avez de déploiement ou simplement, vous ne pourrez pas ;
vous ne voudrez pas déployer l'ensemble des Cloudfront, DNS ou certificats pour vos environnements de test et ne les changerez sans doute que très peu sur vos environnement de production ;
vous voudrez peut-être que des personnes différentes gèrent des parties différentes de vos déploiements.

Au lieu de construire des logiques conditionnelles dans vos modules à l'aide du paramètre count, une façon simple de gérer ce cas est de créer des configurations et des déploiements séparés lesquels ont des dépendances. Pour réaliser ce type d'opération :

Créez un output pour votre configuration comme dans l'exemple ci-dessous :

resource "random_id" "idkey" {
   byte_length = 8
}

output "idkey" {
   value = "${random_id.idkey.hex}"
}

Liez les couches en les référençant à l'aide du fournisseur de données terraform_remote_state :

data "terraform_remote_state" "key" {
    backend = "s3"
    config {
        bucket  = "terraform-prod-xxxxxxxxxxxxx"
        key     = "tf-state/xxxx.state"
        region  = "eu-west-1"
        profile = "myprofile"
    }
}

Une fois que c'est réalisé, vous pourrez référencer les valeurs d'un autre déploiement avec une syntaxe comme celle-ci ${data.terraform_remote_state.key.idkey}. Parce que vous ne voulez pas avoir des références en cycle, considérez mettre en place des déploiements par couches.

Créer des couches de configuration vous aidera également à accélérer les déploiements et limiter les indisponibilités. En effet, il est très probable, par exemple si vous voulez réaliser du déploiement continu avec des micro-services, que les cycles de vie des différentes parties de votre infrastructure soit très différents. Ainsi des applications docker pourront être déployées quotidiennement alors que l'infrastructure sous-jascente pourra rester identique pendant plusieurs semaines.

Considerez d'autres bonnes pratiques

Avec un peu de pratique, vous trouverez plein de manière d'améliorer le code associé à vos infrastructures. Pour en lister quelques-unes, vous voudrez utiliser null_resource, des variables de type map ou Consul... Vous voudrez également utiliser Atlas, Docker, Chef ou Ansible, les lambdas ou les tags...

Et vous, qu'est-ce que vous considérez comme "bonnes pratiques" lorsque vous écrivez un projet avec Terraform ?

Accéder des adresses IP extérieures à partir de Lambda dans un VPC

2016-07-03T02:44:00.002-07:00

Lambda est au "compute" ce que S3 est au stockage. Il s'agit d'un modèle simplifié dans lequel les programmes deviennent des travaux en Java, Python ou Nodejs et sont nommés "fonctions Lambda". Ces fonctions ne peuvent pas conserver leur état et sont déclenchées par différents évènements : une requête HTTP sur l'"API Gateway", un ordonnanceur basé sur Cloudwatch ou d'autres services AWS. Il ne s'agit que de cela : des fonctions sans état qui peuvent embarquer les bibliothèques de votre choix. En retour, vous n'avez plus besoin de vous préoccuper de l'infrastructure d'exécution. Vous bénéficiez d'un modèle de calcul capable de monter en charge et de gérer la panne d'un datacenter. Mieux que tout, vous payez pour les ressources que vous utilisez vraiment et pas pour les ressources que vous provisionnez. Couplé à l'API Gateway ou à Cognito, Lambda est aussi incroyablement utile que S3 !

Pourtant, le diable est dans les détails et il y en a quelques-uns quand il s'agit de Lambda : le modèle de securité ; les connexions aux réseaux ; la montée en charge ; la gestion du code ou comment gérer la programmation et le debugging. Vous conviendrez que ça demande quelques compromis que d'être capable de lancer des opérations en quelques millisecondes sur des systèmes distribués. Ca ne vient pas non plus sans conséquence. Celà, même si vos programmes, sont "juste" des fonctions sans états. Cet article plonge dans la configuration de Lambda dans les VPC et, plus spécifiquement, comment autoriser Lambda à accéder à Internet ou les endpoints des services AWS extérieurs depuis un VPC.

Mais commencçons par quelques bonnes nouvelles :

Si Lambda n'accède qu'à des adresses sur Internet, vous n'avez pas à l'attacher à vos VPC et cela fonctionnera comme attendu
Si, à l'inverse, Lambda n'accède qu'à des adresses IP au sein du VPC, y compris à un endpoint S3 interne, ajoutez-le au VPC en question et, nonobstant le fait que les groupes de sécurité soient correctement configurés, il n'est pas non plus nécessaire de mettre en oeuvre aucune autre configuration spécifique.

Note:
Il n'est pas possible de fixer les adresses IP utilisées par Lambda, même si vous pouvez créer un sous-réseau avec peu d'adresses et, par ce biais maitriser les adresses utilisées. Cela est dû au fait que pour monter en charge et pour assurer la disponibilité dans plusieurs datacenters, Lambda ne doit pas avoir d'adhérence à une adresse et doit pouvoir en changer.

Pourtant, il est pas rare qu'une fonction Lambda ait besoin d'accéder à des ressources dans un VPC et à des ressources extérieures. Il y a plusieurs moyens d'adresser cette situation :

Vous pouvez développer des programmes sur les ressources internes au VPC qui feront le relai vers l'extérieur. Par exemple, si une fonction est déclenchée qui nécessite d'aller chercher des données sur une instance EC2 et les pousser sur DynamoDB, vous pouvez aussi bien créer un programme sur votre instance EC2 qui aille, lui-même, pousser les données sur DynamoDB et utiliser une fonction Lambda pour déclencher ce programme. L'intérêt d'une telle approche est que, si vous utilisez EC2, vous payez de toute façon probablement déjà trop de puissance ;-)
Vous pouvez configurer le VPC de sorte que Lambda puisse accéder, à la fois, aux ressources internes et aux ressources extérieures comme sur le schéma ci-dessous :

Lambda ne peut pas accéder directement à la passerelle Internet ou Internet Gateway (igw) et de fait à l'extérieur du VPC. Au lieu de cela, vous devez configurer une passerelle NAT ou "NAT Gateway". Vous ne pouvez pas non-plus fixer les adresses IP utilisées par Lambda, vous devrez donc procéder comme ci-dessous :

Créer au moins 2 sous-réseaux, en jaune ci-dessus, chacun dans une AZ différente de sorte que quand vous lancez une fonction Lambda, elle puisse s'exécuter même si une AZ est inaccessible. Ces sous-réseaux ne doivent pas être capables d'accéder à l'extérieur et vous changerez les tables de routage pour cette raison dans la 3ème étape de la configuration.
Créer une passerelle NAT ou "NAT gateway" par AZ dans laquelle vous avez créé un sous-réseau pour Lambda. Cette passerelle NAT doit être capable d'accéder aux réseaux extérieurs. Vous noterez que la création d'une passerelle NAT alloue une adresse IP élastique ou EIP, même si cela n'est pas utile ; Cela coûte également pour chacune des "NAT Gateways". Pour éviter d'utiliser une EIP et réduire les coûts, vous pouvez avoir envie de créer une Instance EC2 qui gère la translation d'adresse ou "NAT Instance" ; reportez-vous à la documentation ci-contre pour comparer les 2 solutions "NAT instance instead of a NAT Gateway". Si vous décidez d'utiliser une instance NAT, vous devez gérer l'instance EC2, son paramétrage et sa disponibilité par vous-même.

Créer une table de routage par sous-réseau accueillant les fonctions Lambda de sorte que les demandes de connexion vers l'extérieur soient dirigées vers l'instance/la gateway NAT de la AZ locale. Attacher ces tables de routage aux sous-réseaux concernés.
Tester les connexions depuis les sous-réseaux vers des adresses internes et externes. Si vous n'arrivez pas à faire fonctionner la configuration, testez le sous-réseau avec une instance EC2 que vous créerez dans le-dit sous-réseau. Cette approche permet de diagnostiquer facilement si le problème vient du code ou paramétrage des fonctions lambda ou s'il s'agit d'un problème de route.

C'est tout ! Vous pouvez continuer à jouer avec AWS Lambda...

Oracle database 12c, Oracle Linux 7.x et LXC

2016-01-10T22:40:00.003-08:00

Les containers Linux LXC sont désormais certifiés avec les bases de données 12c, y compris avec RAC et ASM. Vous pouvez vérifier par vous-même dans la matrice de support des solutions de virtualisation ainsi que dans le document de release Notes d'Oracle database 12.1. si vous voulez faire un essai et découvrir ce qu'il est possible de faire, il n'y a rien de compliqué. Vous trouverez ci-dessous une introduction rapide. Elle illustre comment utiliser la base de données 12.1.0.2 avec Oracle Linux 7 et les containers LXC.

Note:
Si vous lisez les comparaisons des containers sur Linux et ceux "du reste du monde", il vous apparaitra vite que LXC comme l'implémentation libcontainer de Docker se concentrent sur l'aspect management et orchestration plutôt que, par exemple, une réelle isolation des ressources. La faute à Linux ? En, fait, avant même de démarrer, vous constaterez dans la release notes d'Oracle 12.1 que vous êtes invité à appliquer le patch suivant à votre Infrastructure Grid si vous prévoyez d'utiliser RAC ou ASM : 20920711: CSSD FAILURE IN A LXC WOULD CAUSE PHYSICAL NODE REBOOT.

Installer LXC sur Oracle Linux 7

Merci YUM, installer et démarrer LXC sur Oracle Linux 7 ne nécessite pas plus de quelques lignes de commandes . Je l'ai testé sur un noyau UEK4 comme vous pouvez le constater ci-dessous :

uname -a
Linux purple.resetlogs.com 4.1.12-32.el7uek.x86_64 #2 SMP ...

Note:
Pour certaines raisons non documentées, les containers LXC n'arrivent pas à positionner correctement les mots de passe lorsque l'hôte s'exécute avec SELinux en mode "Enforcing". Pour faire fonctionner correctement la configuration, vous voudrez sans doute passer SELinux en mode Disabled ou, au minimum, Permissive.

Installer LXC et BRTFS nécessite d'utiliser les dernières versions des noyaux UEK3 ou UEK4 sur Oracle Linux. Vous pouvez simplement installer les logiciels depuis l'utilisateur root à l'aide des commandes ci-dessous :

yum -y install btrfs-progs lxc wget

One fois l'opération réalisée, il vous reste 2 étapes de configuration : la première consuste à démarrer le service libvirtd à l'aide de systemd comme ci-dessous :

systemctl start libvirtd
systemctl enable libvirtd

La seconde consiste à créer un système de fichiers BTRFS sur un disque, une LUN, une partition ou un volume logique créé précédemment comme ci-dessous. Changez le nom /dev/sdb pour le faire correspondre à vos besoins :

mkfs.btrfs /dev/sdb
echo "/dev/sdb      /container    btrfs    defaults   0 0" >>/etc/fstab
mount /container

Jouer avec les containers

Les modèles de configuration des containers sont stockés dans /usr/share/lxc/templates. Pour créer un container sur Oracle Linux 7, il vous suffit de lancer la commande qui suit. N'oubliez pas de lancer “--privileged=rt” car c'est un pre-requis pour exécuter l'infrastructure Grid et être supporté par Oracle :

lxc-create -n ol7 -B btrfs -t oracle \
   -- --release=7.latest --privileged=rt

Vous pouvez alors le démarrer en temps que service à l'aide du paramètre "-d" :

lxc-start -n ol7 -d -o /container/ol7_info.log -l INFO

Si vous êtes connecté à l'hôte, vous pouvez accéder les processus à l'intérieur du container ; Si vous voulez observer de quoi celui-ci est constitué, installez la commande pstree et utilisez là avec le PID de lxc-start comme ci-dessous :

yum -y install psmisc
pstree -g `lxc-info -n ol7|grep "PID:" |awk '{print $2}'`

L'affichage montre que le container exécute le process init, quelques terminaux, le syslog, un serveur SSH et in client DHCP :

lxc-start(3544)───init(3553)─┬─dhclient(3791)
                             ├─mingetty(3882)
                             ├─mingetty(3886)
                             ├─mingetty(3888)
                             ├─mingetty(3890)
                             ├─mingetty(3892)
                             ├─rsyslogd(3824)─┬─{rsyslogd}(3824)
                             │                ├─{rsyslogd}(3824)
                             │                └─{rsyslogd}(3824)
                             └─sshd(3875)

Vous pouvez vous connecter à la console du container depuis l'hôte à l'aide de la commande ci-dessous ; Celle-ci vous demandera un login/password et vous pourrez utiliser les touches "<Ctrl+a> q" pour vous déconnecter :

lxc-console -n ol7

Vous pouvez directement lancer un shell bash dans le container à l'aide de la commande lxc-attach. Celle-ci ne nécessite pas de s'identifier :

lxc-attach -n ol7

Evidemment, le container étant, par défaut, connecté à un bridge linux, vous pouvez également vous connecter via SSH. Pour cela, il suffit de déterminer l'adresse IP fournie par le service dnsmasq comme ci-dessous :

lxc-info -n ol7 
Name:           ol7
State:          RUNNING
PID:            13343
IP:             192.168.122.154
CPU use:        17.51 seconds
BlkIO use:      49.71 MiB
Memory use:     1.06 GiB
KMem use:       0 bytes
Link:           vethDACVKP
 TX bytes:      1.42 KiB
 RX bytes:      6.04 KiB
 Total bytes:   7.46 KiB

You then should be able to connect from a simple SSH client :

ssh root@192.168.122.154

Jouer avec Oracle Database 12.1

Désormais que vous avez créé, démarré et joué avec LXC, vous pouvez facilement créer une base de données Oracle 12.1.0.2. Mais d'abord, vous devrez compléter les pré-requis d'Oracle en installant le RPM oracle-rdbms-server-12cR1-preinstall. En tant qu'utilisateur root, positionnez la valeur de enable pour ol7_UEKR3 dans /etc/yum.repos.d/public-yum-ol7.repo à enabled=1. Vous pouvez alors procéder à l'ensemble des installations à l'aide de la simple commande ci-dessous :

yum -y install oracle-rdbms-server-12cR1-preinstall unzip

L'utilisateur Oracle étant présent avant l'installation du RPM, les groupes ne sont pas ajoutés correctement; lancez la commande ci-dessous pour corriger le problème :

usermod -G dba -g oinstall oracle

En tant qu'utilisateur root, créez le fichier qui référence l'inventory et les répertoires associés :

if [ ! -d /u01 ]; then
   mkdir -p /u01/app/oracle/distribs
   mkdir -p /u01/app/oraInventory
   chown -R oracle:dba /u01
fi

if [ ! -f /etc/oraInst.loc ]; then
   cat >/etc/oraInst.loc <<EOF
inventory_loc=/u01/app/oraInventory
inst_group=oinstall
EOF
  chown root:oinstall /etc/oraInst.loc
  chown 640 /etc/oraInst.loc
fi

En tant qu'oracle, téléchargez et décompressez la distribution Oracle ; Nous supposerons qu'elle est disponible dans le répertoire ci-après /u01/app/oracle/distribs/database. En tant que root, ajoutez l'IP du container dans le fichier /etc/hosts :

MYIPADDR=`ip addr|grep inet|grep -v inet6|grep global|awk '{print $2}'|cut -d '/' -f 1`
sed -i /localhost/d /etc/hosts
sed “127.0.0.1 localhost localhost.localdomain” >> /etc/hosts
echo "$MYIPADDR `hostname`" >> /etc/hosts

En tant qu'utilisateur oracle, installez le logiciel de base de données :

export DISTRIB=`pwd`
./runInstaller -silent -showProgress -ignorePrereq \
 -ignoreSysPrereqs -waitforcompletion \
 -responseFile $DISTRIB/response/db_install.rsp \
  oracle.install.option=INSTALL_DB_SWONLY \
  ORACLE_HOME=/u01/app/oracle/product/12.1.0/db_1 \
  ORACLE_BASE=/u01/app/oracle \
  oracle.install.db.InstallEdition=EE \
  SECURITY_UPDATES_VIA_MYORACLESUPPORT=false \
  DECLINE_SECURITY_UPDATES=true \
  oracle.install.db.DBA_GROUP=dba \
  oracle.install.db.OPER_GROUP=dba \
  oracle.install.db.BACKUPDBA_GROUP=dba \
  oracle.install.db.DGDBA_GROUP=dba \
  oracle.install.db.KMDBA_GROUP=dba

En tant qu'utilisateur root, exécutez le script root.sh :

/u01/app/oracle/product/12.1.0/db_1/root.sh

En tant qu'utilisateur oracle, créez le listener en mode silencieux à l'aide de la commande ci-dessous :

. oraenv
ORACLE_SID = [oracle] ? x
ORACLE_HOME = [/home/oracle] ? /u01/app/oracle/product/12.1.0/db_1

netca -silent  \
   -responsefile $ORACLE_HOME/network/install/netca_typ.rsp

En tant qu'utilisateur oracle, créez une base de données en mode silencieux à l'aide de la commande ci-dessous :

dbca -silent -createDatabase \
  -templateName New_Database.dbt  \
  -gdbName WHITE \
  -createAsContainerDatabase true \
  -numberOfPDBs 1 \
  -pdbName PURPLE \
  -pdbAdminPassword Welcome1 \
  -sysPassword Welcome1 \
  -systemPassword Welcome1 \
  -emConfiguration NONE \
  -datafileDestination /u01/app/oracle/oradata \
  -redoLogFileSize 100 \
  -storageType FS \
  -characterSet AL32UTF8 \
  -sampleSchema true \
  -automaticMemoryManagement false \
  -totalMemory 1536  \
  -databaseType OLTP

En tant qu'utilisateur root, créez un service systemd à l'aide de la commande ci-dessous pour démarrer l'instance automatiquement :

cd /etc/systemd/system
cat >/lib/systemd/system/oradb.service <<EOF
[Unit]
Description=Oracle Database
After=syslog.target network.target

[Service]
Type=simple
RemainAfterExit=yes
User=oracle
Group=dba
ExecStart=/u01/app/oracle/product/12.1.0/db_1/bin/dbstart /u01/app/oracle/product/12.1.0/db_1
ExecStop=/u01/app/oracle/product/12.1.0/db_1/bin/dbshut /u01/app/oracle/product/12.1.0/db_1

[Install]
WantedBy=multi-user.target
EOF

sed -i s/\:N$/:Y/ /etc/oratab

ln -s /lib/systemd/system/oradb.service /etc/systemd/system/oradb.service

systemctl daemon-reload
systemctl start oradb.service
systemctl status oradb.service
systemctl enable oradb.service

Jouer avec les containers à nouveau

Maintenant que vous avez une configuration complète, vous pouvez l'arrêter et la cloner à l'aide de la commande lxc-clone. Depuis votre hôte, lancez les commandes ci-dessous :

lxc-attach -n ol7 -- systemctl disable oradb.service
lxc-stop -n ol7
lxc-clone -s -B btrfs ol7 pink-panther
lxc-start -n ol7 -d -o /container/ol7_info.log -l INFO
sleep 2
lxc-attach -n ol7 -- systemctl enable oradb.service
lxc-attach -n ol7 -- systemctl start oradb.service
lxc-attach -n ol7 -- ps -fu oracle

lxc-start -n pink-panther -d -o /container/pink-panther.log -l INFO
MYIPADDR=`lxc-info -n pink-panther |grep "IP:" |awk '{print $2}'`
lxc-attach -n pink-panther -- sed -i /pink-panther/d /etc/hosts
lxc-attach -n pink-panther -- bash -c "echo \"$MYIPADDR pink-panther\"  >>/etc/hosts"
lxc-attach -n pink-panther -- sed -i s/ol7/pink-panther/ \
    /u01/app/oracle/product/12.1.0/db_1/network/admin/listener.ora
lxc-attach -n pink-panther -- systemctl enable oradb.service
lxc-attach -n pink-panther -- systemctl start oradb.service
lxc-attach -n pink-panther -- ps -fu oracle
lxc-attach  -n pink-panther

Une fois l'opération réalisée, vous pouvez simplement détruire et déréférencer le stockage à l'aide de la seule commande ci-dessous :

lxc-destroy -f -n pink-panther

Vous pouvez vérifier que le système de fichiers associé au container a été supprimé :

ls -ltra /container/pink-panther/rootfs

Vous pourrez faire bien plus à l'aide de LXC en commençant par gérer les IO ou CPU à l'aide des cgroups. Je serais curieux de connaître les DBA qui utiliseront cette technologie avec leur instance de base de données bientôt...

Construire des AMI Oracle Linux avec Packer

2015-05-31T03:52:00.003-07:00

Inutile d'expliquer pourquoi Amazon Web Services est une plateforme intéressante pour faire tourner Oracle. Le numéro 1 des fournisseurs IaaS est aussi l'un des seuls qui bénéficie du statut de Oracle Authorized Cloud Environments. Vous pouvez utiliser vos propres licences Oracle (BYOL) sur Amazon EC2 et RDS. Vous pouvez payer uniquement pour les configurations provisionnées car Oracle les reconnait comme du "hard partitioning".

Evidemment, il y a quelques limites à ces configurations, comme celle qui concerne les core/thread pointée par Marc Fielding sur le blog de Pythian ou encore le fait que vous ne pouvez pas utiliser RAC. Mais c'est un terrain de jeu fantastique pour utiliser les technologies Oracle, vos applications qui tournent sur Oracle ou n'importe quelle type d'application Oracle, y compris JD Edwards, Peoplesoft, Oracle E-Business Suite et bien d'autres... En plus, Amazon RDS for Oracle offre un modèle attractif pay-per-use et "à l'heure" pour les bases de données SE1.

D'un autre côté, Oracle Linux est probablement le meilleur système d'exploitation pour Oracle, que ce soit sur AWS EC2 comme sur n'importe quelle plateforme x86 64 bits: il ne nécessite généralement d'installer qu'un unique RPM pour assurer tous les pré-requis pour les logiciels Oracle ; il est gratuit et vous n'avez pas besoin de supporter toutes vos instances de manière identique comme indiqué dans la section Service Levels du document "Oracle Linux and Oracle VM Support Policies". Enfin, il est 100% compatible avec Redhat Enterprise Linux et vous pouvez même récupérer une AMIs publiées par Oracle sur la Marketplace AWS.

Cet article présente un moyen simple et rapide pour créer des AMI Oracle Linux à partir d'export Open Virtual Format (OVF) à l'aide de l'utilitaire AWS VM Import/Export... Il s'appuie sur Virtualbox, Packer.io et Kickstart.

Cloud-init et le noyau compatible Redhat

Avant de vous précipiter pour créer une AMI, il y a 2 choses auxquelles il faut être attentif : la première est que pour qu'Oracle Linux installe la clé publique que vous fournissez lorsque vous démarrez une instance sur EC2, il faut installer et configurer le RPM cloud-init. La bonne nouvelle est que le repository EPEL Repository contient le précieux paquet ainsi que toutes les dépendances sur lesquelles il s'appuie. Si vous ne voulez pas enregistrer le repository dans votre configuration YUM, vous pouvez directement télécharger l'ensemble des fichiers nécessaires. Le tableau ci-dessous référence tous les liens dont vous avez besoin pour une distribution Oracle Linux 6:

Paquet/Description	Téléchargement
cloud-init (epel6)	RPM Url
python-six (epel6)	RPM Url
python-requests (epel6)	RPM Url
python-prettytable (epel6)	RPM Url
python-jsonpointer (epel6)	RPM Url
python-chardet (epel6)	RPM Url
python-ordereddict (epel6)	RPM Url
python-urllib3 (epel6)	RPM Url
python-backports-ssl_match_hostname (epel6)	RPM Url
python-backports (epel6)	RPM Url
python-argparse (epel6)	RPM Url
python-jsonpatch (epel6)	RPM Url
python-boto (epel6)	RPM Url
python-rsa (epel6)	RPM Url

La seconde chose à laquelle il faut faire attention est le fait que parmi plusieurs contrôles, l'Import/Export de VM AWS exécute une instance de test avant de créer une AMI et vérifie la version du noyau. Pour passer ce test, vous devez configurer grub pour démarrer le noyau compatible Redhat (RHCK) avant l'import. Une fois l'AMI créée, vous pourrez modifier la configuration Grub et basculer sur le noyau Oracle Unbreakable Enterprise Kernel (UEK).

Kickstart, Packer.io et VirtualBox

Si vous souhaiter créer une AMI une seule fois, vous pouvez simplement démarrer Virtualbox, procéder à une installation d'Oracle Linux, exporter la machine virtuelle sous la forme d'un ensemble de fichiers Open Virtualization Format et passer à la section "AWS VM Import/Export" de cet article. Néanmoins, si vous commencez à utiliser cet chemin, il y a fort à parier que vous voudrez bientôt automatiser la création des images... Kickstart, Packer et Virtualbox sont la méthode la plus simple et la plus efficace que je connais pour automatiser ces opérations. Il suffit de procéder comme décrit ci-dessous.

Utiliser un fichier ISO personnalisé pour Oracle Linux

La première étape pour automatiser vos installations Oracle Linux consiste à utiliser un fichier ISO pré-configuré comme décrit dans l'article "Personnaliser vos ISO Redhat/Oracle Linux". Yous trouverez un exemple de fichier Kickstart associé ci-dessous :

Il s'appuie sur une configuration DHCP puisque c'est ainsi que AWS fonctionne
Il crée un utilisateur ec2-user et l'ajoute dans le fichier sudoers. Cet utilisateur utilisé par AWS pour se connecter mais aussi par Packer pour exécuter les différentes étapes de personnalisation une fois l'installation réalisée

cdrom
lang en_US.UTF-8
keyboard fr
network --onboot=yes --device=eth0 --bootproto=dhcp --noipv6
rootpw manager
firewall --service=ssh
authconfig --enableshadow --passalgo=sha512
selinux --disabled
timezone Europe/Paris --isUtc
bootloader --location=mbr --append="rhgb quiet"
text
zerombr
clearpart --all --initlabel
autopart
reboot --eject
user --name=ec2-user --homedir=/home/ec2-user --password=ec2-user --shell=/bin/bash --uid=1501
 
%packages
@base
oracle-rdbms-server-12cR1-preinstall
zip
unzip
%end

%post
echo "ec2-user ALL=(ALL)  NOPASSWD:ALL" >> /etc/sudoers
%end

Note Importante:
Si vous désirez déployer votre AMI sur AWS vraiment, assurez-vous que les mots de passe sont renforcés et que vous ne pouvez pas vous connecter à l'aide d'un mot de passe via SSH. Cloud-init réalise une partie de cette configuration en interdisant les accès distant à l'aide de mots de passe ; il ne change pas, toutefois, le mot de passe de l'utilisateur root.

Packer et Virtualbox

Si ce n'est pas déjà fait, installez Packer et Virtualbox puis créez votre fichier ISO personalisé. Vous pourrez alors simplement automatiser la création de votre image à l'aide de 2 fichiers complémentaires.le fichier ol66.json disponible ci-dessous contient la configuration du "builder" Packer avec les paramètres ci-dessous :

type doit être positionné à virtualbox-iso pour construire un export OVF
iso_url, iso_checksum et iso_checksum_type pointent vers le fichier ISO créé précédemment
ssh_username et ssh_password définissent comment Packer se connecte à ma machine virtuelle pour exécuter ses scripts et certaines commandes telles que shutdown_command
ssh_wait_timeout definit le temps attendu en tentant de se connecter via SSH à la VM et avant de faire échouer l'installation
output_directory et vm_name définissent le répertoire de sauvegarde et le nom de l'image
guest_additions_mode positioné à disable évite l'installation des VirtualBox Guest Additions
disk_size précise la taille du disque système par défaut
provisioners définit les scripts et autres tâches qui doivent être exécutés une fois la configuration en place et avant son export

cat ol66.json 
{
  "builders": [
    {
      "type": "virtualbox-iso",
      "guest_os_type": "Oracle_64",
      "iso_url": "file:///home/resetlogs/distribs/linux/OL66-resetlogs.iso",
      "iso_checksum": "e3412215bcee9b825ecfc9376329aa5b",
      "iso_checksum_type": "md5",
      "ssh_username": "ec2-user",
      "ssh_password": "ec2-user",
      "ssh_wait_timeout": "900s",
      "shutdown_command": "sudo -n shutdown -P now",
      "vm_name": "ol66",
      "output_directory": "ol66",
      "guest_additions_mode": "disable",
      "disk_size": "8000"
    }
  ],
  "provisioners": [
    {
      "type": "shell",
      "script": "scripts/ol66.sh"
    }
  ]  
}

Le script de post-configuration ol66.sh effectue les opérations suivantes :

il nettoie la configuration réseau
il change le contenu du fichier grub.conf pour démarrer sur le noyau Redhat Compatible
il installe et configure le rpm cloud-init

cat scripts/ol66.sh
#!/bin/bash
#
# Update RPMs with the latest release
#
sudo -n yum -y update
#
# Clean the configuration and switch to RHCK before you upload the
# OVF file to AWS...
#
sudo -n sed -i '/SUBSYSTEM/d' /etc/udev/rules.d/70-persistent-net.rules
sudo -n sed -i '/#\ PCI\ device/d' /etc/udev/rules.d/70-persistent-net.rules
sudo -n sed -i '/HWADDR/d' /etc/sysconfig/network-scripts/ifcfg-eth0
sudo -n sed -i '/UUID/d' /etc/sysconfig/network-scripts/ifcfg-eth0
sudo -n head -n 15 /boot/grub/grub.conf
echo "........."
sudo -n sed -i 's/^default.*$/default=0/g' /boot/grub/menu.lst
sudo -n sed -i 's/^default.*$/default=0/g' /boot/grub/grub.conf
echo "........."
sudo -n head -n 15 /boot/grub/grub.conf
#
# Download and install Cloud-Init and required files
#     Note:
#     Future cloud-init should require python-oauthlib-0.6.0-4.el6.noarch.rpm,
#     python-crypto2.6-2.6.1-2.el6.x86_64.rpm and pyserial-2.6-5.el6.noarch.rpm
#      
EPEL6_URL=https://dl.fedoraproject.org/pub/epel/6/x86_64
for i in cloud-init-0.7.4-2.el6.noarch.rpm \
         python-six-1.7.3-1.el6.noarch.rpm \
         python-requests-1.1.0-4.el6.noarch.rpm \
         python-prettytable-0.7.2-1.el6.noarch.rpm \
         python-argparse-1.2.1-2.el6.noarch.rpm \
         python-jsonpatch-1.2-2.el6.noarch.rpm \
         python-boto-2.34.0-4.el6.noarch.rpm \
         python-rsa-3.1.1-5.el6.noarch.rpm \
         python-jsonpointer-1.0-3.el6.noarch.rpm \
         python-chardet-2.0.1-1.el6.noarch.rpm \
         python-crypto2.6-2.6.1-2.el6.x86_64.rpm \
         python-ordereddict-1.1-2.el6.noarch.rpm \

         python-urllib3-1.5-7.el6.noarch.rpm \
         python-backports-1.0-3.el6.x86_64.rpm \
         python-backports-ssl_match_hostname-3.4.0.2-4.el6.noarch.rpm; do
wget $EPEL6_URL/$i >/dev/null 2>&1
RESULT=$?
if [ "$RESULT" -eq "0" ]; then
   echo "$i successfully downloaded..."
else
   echo "$i error downloading..."
fi
done

sudo -n yum -y install *.rpm
sudo -n sed -i 's/name: cloud-user/name: ec2-user/g' /etc/cloud/cloud.cfg
rm *.rpm

Construire l'AMI consiste alors à lancer la simple commande ci-dessous :

packer build ol66.json

AWS VM Import/Export

Afin d'ajouter l'image aux autres AMI sur EC2, vous devez utiliser l'utilitaire AWS VM Import/Export. Assurez-vous que vous avez installé le Client AWS en mode ligne de commande comme décrit dans la documentation. Supposant que vous avez déjà un bucket S3 correctement configuré et nommé , oraclelinuxvms vous :

Chargerez le fichier contenant le disque de votre image dans le bucket S3

aws s3 cp ol66-disk1.vmdk s3://oraclelinuxvms/ol66-disk1.vmdk
upload: ./ol66-disk1.vmdk to s3://oraclelinuxvms/ol66-disk1.vmdk

Importerez l'AMI depuis S3 dans EC2

aws ec2 import-image --cli-input-json "{  \"Description\": \"Oracle Linux VMDKs\", \"DiskContainers\": [ { \"Description\": \"Main Disk\", \"UserBucket\": { \"S3Bucket\": \"oraclelinuxvms\", \"S3Key\" : \"ol66-disk1.vmdk\" } } ] }"
{
    "Status": "active", 
    "Description": "Oracle Linux VMDKs", 
    "Progress": "2", 
    "SnapshotDetails": [
        {
            "UserBucket": {
                "S3Bucket": "easyvms", 
                "S3Key": "ol66-disk1.vmdk"
            }, 
            "DiskImageSize": 0.0
        }
    ], 
    "StatusMessage": "pending", 
    "ImportTaskId": "import-ami-fh2lc48d"
}

Superviserez l'import jusqu'à son succès

aws ec2 describe-import-image-tasks --import-task-ids import-ami-fh2lc48d
{
    "ImportImageTasks": [
        {
            "Status": "completed", 
            "LicenseType": "BYOL", 
            "Description": "Oracle Linux VMDKs", 
            "ImageId": "ami-0b07757c", 
            "Platform": "Linux", 
            "Architecture": "x86_64", 
            "SnapshotDetails": [
                {
                    "DeviceName": "/dev/sda1", 
                    "Description": "Main Disk", 
                    "Format": "VMDK", 
                    "DiskImageSize": 1187275776.0, 
                    "SnapshotId": "snap-fa88530e", 
                    "UserBucket": {
                        "S3Bucket": "easyvms", 
                        "S3Key": "ol66-disk1.vmdk"
                    }
                }
            ], 
            "ImportTaskId": "import-ami-fh2lc48d"
        }
    ]
}

Le nom de l'AMI est l'identifiant de l'import. Vous pouvez interroger la liste des AMI et découvrir celle nouvellement créée à l'aide de la commande ci-dessous :

aws ec2 describe-images --filters Name=name,Values=import-ami-fh2lc48d

Malheureusement, celle-ci s'appuie sur le noyau Redhat. Pour la basculer sur UEK, créez une instance EC2, modifiez le fichier grub.conf et recréer une AMI depuis cette instance comme ci-dessous :

Evidemment, cette étape peut également et facilement être automatisée avec le client AWS ou avec Packer et son builder nommé amazon-ebs.

Conclusion et plus...

Une fois que vous avez créé votre AMI, créer et démarer des instances EC2 ne prend que quelques minutes. Vous pouvez ensuite y accèder avec votre clé privée. Vérifiez par vous-même, votre instance Oracle Linux pré-cuisinée et qui fonctionne sur Amazon Web Services :

uname -a
Linux ip-172-31-35-51 3.8.13-68.2.2.el6uek.x86_64 #2 SMP Tue May 12 15:10:51 PDT 2015 x86_64 x86_64 x86_64 GNU/Linux

Evidemment, c'est juste un début ! Etre capable de construire des AMIs réduit le temps nécessaire à la configuration de vos instances après leur démarrage. Cela permet de réduire, par un facteur d'échelle, le temps nécessaire pour déployer de nouveux environnements. Sans oublier que c'est une bonne façon de réduire les erreurs quand on compare cette méthode à certaines méthodes de gestion de configuration. Cela peut être clé pour certains scénarios comme la construction d'un Plan de Reprise d'Activité Oracle ou la construction d'environnements de test à la demande. Combinée aux modes d'installation silencieux d'Oracle, cette méthode sert de base pour des déploiements rapides et sécurisés de vos logiciels.

Personnaliser vos ISO Redhat/Oracle Linux 6

2015-05-25T12:36:00.000-07:00

Réaliser une installation complète de Redhat/Oracle Linux en démarrant depuis un fichier ISO est très élégant. C'est, par exemple, un moyen simple et consistent pour démarrer et personnaliser des machines virtuelles VirtualBox, VMWare ou Parallels à l'aide de Packer.

Vous trouverez un exemple complet de personnalisation d'un ISO pour Redhat/Oracle Linux 7 dans "Personnaliser cdroms, ISOs et USBs Redhat/Oracle Linux". J'ai utilisé la même méthode avec la version 6 d'Oracle Linux cette semaine et, comme vous pouvez vous y attendre, les paramètres ont quelque peu changé ! C'est la raison pour laquelle vous trouverez un exemple complet ci-dessous. Cela ne vous prendra pas plus de 15 minutes pour personnaliser votre fichier ISO et 5 de plus pour réaliser une nouvelle installation...

Extraire la distribution

Pour personnaliser une distribution, vous devez la télécharger et l'extraire dans un répertoire. Utilisez un répertoire OL6 ci-dessous en supposant que la distribution originale est contenue dans le fichier OracleLinux66.iso :

mkdir /tmp/iso

sudo mount -o loop OracleLinux66.iso /tmp/iso
[sudo] password for gregory: 
mount: /dev/loop0 is write-protected, mounting read-only

mkdir OL6
sudo cp -Rp /tmp/iso OL6
sudo umount /tmp/iso

Note:
Assurez-vous que vous gardez bien les fichiers .treeinfo et .discinfo à la racine du répertoire copié.

Ajouter un fichier kickstart

Pour personnaliser cet ISO, ajoutez un fichier kickstart à la racine de la distribution. Vous pourrez alors gérer la plupart des aspects de l'installation à l'aide de ce fichier et grace aux différentes directives kickstart. Si ce n'est pas possible, vous pourrez toujours déployer et exécuter des scripts spécifiques. Vous trouverez ci-dessous un exemple de configuration qui :

réalise l'installation depuis le lecteur de cdrom
configure le réseau en DHCP
change le clavier en français
défini "manager" comme mot de passe root
désactive SELinux
positionne la timezone
efface le contenu de /dev/sda et installe linux avec un "layout" par défaut
n'exédute pas le programme de configuration initiale
redémarre la VM en éjectant préalablement le DVD
ajoute certains RPMs

cd OL6
sudo cat ks.cfg 
install
cdrom
lang en_US.UTF-8
keyboard fr
network --onboot=yes --device=eth0 --bootproto=dhcp --noipv6
rootpw manager
firewall --service=ssh
authconfig --enableshadow --passalgo=sha512
selinux --disabled
timezone Europe/Paris --isUtc
bootloader --location=mbr --append="rhgb quiet"
text
zerombr
clearpart --all --initlabel
autopart
reboot --eject
 
%packages
@base
oracle-rdbms-server-12cR1-preinstall
zip
unzip
%end

Personnaliser le menu de démarrage

Vous pouvez ensuite ajouter un menu dans le fichier isolinux/isolinux.cfg de manière à démarrer l'installation avec le fichier kickstart précédent. Ajoutez la section ci-après dans le fichier:

label auto
  menu label Oracle Linux 6.6 ^Kickstart install
  menu default
  kernel vmlinuz
  append initrd=initrd.img ks=cdrom:/ks.cfg

Note:
Il faut supprimer la directive menu default du menu auquel il était précédemment attaché ; Par ailleurs, pour accéléder l'installation vous pouvez changer la clause timeout 600 en timeout 60

Re-packager le fichier ISO

Pour terminer, créez le fichier ISO à partir du répertoire modifié OL6 :

sudo  mkisofs -r -T -J -V "OL-6.6 Server.x86_64" \
    -b isolinux/isolinux.bin -c isolinux/boot.cat \
    -no-emul-boot -boot-load-size 4 -boot-info-table \
    -o /tmp/OracleLinux66-new.iso OL6/

sudo implantisomd5 /tmp/OracleLinux66-new.iso
checkisomd5 /tmp/OracleLinux66-new.iso

Note:
Si vous n'avez pas accès aux commandes ci-dessus, vérifiez que les RPMs genisoimage et isomd5sum ont bien été installés sur votre système.

Tester le fichier ISO

Pour terminer, testez votre installation ainsi que les options associées :

Bibliographie
Redhat Enterprise Linux 6
Installation Guide
Chapter 32. Kickstart Installations

Installation d'un master et d'un agent Puppet sur Oracle Linux 7

2014-09-17T00:31:00.000-07:00

L'automatisation transforme la manière de gérer des serveurs. Non seulement vous pouvez désormais gérer des centaines de serveurs depuis un point d'accès unique mais vous pouvez évaluer l'impact d'un changement, ordonnancer les modifications vous assurer que vos configurations restent semblables malgré les évolutions. Cela permet d'augmenter de manière significative le niveau de services des applications et des serveurs du fait qu'ils sont désormais tous semblables.

Pour gérer les configurations Oracle, Puppet est sans doute l'une des meilleures infrastructure d'automatisation. Il est facile à utiliser, largement adopté et vous pouvez trouver des modules prédéfinis pour Oracle sur Puppet Forge. Puppet adresse les challenges que vous rencontrerez avec (1) les templates et les images gold qui sont difficiles à faire évoluer une fois déployés ; (2) les gestionnaires de paquets "all-or-nothing" à la yum qui n'autorisent pas le niveau de modification requis par des vrais applications et (3) les scripts personnalisés qui sont d'autant plus complexes à gérer que les configurations des serveurs ne sont pas standardisées.

Cet article présente les étapes nécessaires à l'installation d'un serveur master et d'un agent Puppet sur Oracle Linux 7.

Installation d'un serveur Puppet Master

Vérifiez que votre serveur est sur Internet, qu'il a une adresse IP, que SELinux est désactivé et qu'il est connecté au référentiel YUM d'Oracle :

hostname
purple

cat /etc/hosts
192.168.56.6 purple.resetlogs.com purple

grep "^SELINUX=" /etc/selinux/config
SELINUX=disabled

cat /etc/yum.repos.d/public-yum-ol7.repo 
[ol7_optional_latest]
name=Oracle Linux $releasever Optional Latest ($basearch)
baseurl=http://public-yum.oracle.com/repo/OracleLinux/OL7/optional/latest/$basearch/
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-oracle
gpgcheck=1
enabled=1

Installer le Master Puppet consiste alors à installer quelques RPM :

yum install http://yum.puppetlabs.com/puppetlabs-release-el-7.noarch.rpm

yum install puppet-server

Une fois le serveur Puppet Master Installé, créez l'authorité de certification pour gérer le déploiement et tapez 'Ctrl+C' pour arrêter le serveur :

sudo puppet master --verbose --no-daemonize
Info: Creating a new SSL key for ca
[...]
Notice: Starting Puppet master version 3.6.2
^C
Notice: Caught INT; calling stop

Configuration d'Apache et de Passenger

Le Puppet Master inclut le serveur Web de Ruby nommé WEBrick. POur les déploiement en production vous préfèrerez utiliser un serveur HTTP comme celui d'Apache et vous connecterez le Master à l'aide de Passenger comme décrit dans la documentation:

yum -y install httpd httpd-devel mod_ssl \
     ruby-devel rubygems gcc openssl-devel \
     libcurl-devel zlib-devel gcc-c++

gem install rack passenger

UNe fois Apache et Passenger installés, vous pouvez configurer le module Passenger pour Apache:

passenger-install-apache2-module

Welcome to the Phusion Passenger Apache 2 module installer, v4.0.48.

This installer will guide you through the entire installation process. It
shouldn't take more than 3 minutes in total.

Here's what you can expect from the installation process:

 1. The Apache 2 module will be installed for you.
 2. You'll learn how to configure Apache.
 3. You'll learn how to deploy a Ruby on Rails application.

Don't worry if anything goes wrong. This installer will advise you on how to
solve any problems.

Press Enter to continue, or Ctrl-C to abort.

--------------------------------------------

Which languages are you interested in?

Use  to select.
If the menu doesn't display correctly, press '!'

 ‣ ⬢  Ruby
   ⬢  Python
   ⬡  Node.js
   ⬡  Meteor

--------------------------------------------

[...]

Phusion Passenger is a trademark of Hongli Lai & Ninh Bui.

Ouvrez le port 8140 sur le serveur Puppet Master :

firewall-cmd --get-active-zones
public
  interfaces: enp0s3 enp0s8

firewall-cmd --add-port=8140/tcp
success

firewall-cmd --permanent --add-port=8140/tcp
success

firewall-cmd --list-all
public (default, active)
  interfaces: enp0s3 enp0s8
  sources: 
  services: dhcpv6-client ssh
  ports: 8140/tcp
  masquerade: no
  forward-ports: 
  icmp-blocks: 
  rich rules:

Créez les répertoires pour l'application :

mkdir -p /usr/share/puppet/rack/puppetmasterd
mkdir /usr/share/puppet/rack/puppetmasterd/public 
mkdir /usr/share/puppet/rack/puppetmasterd/tmp
cp /usr/share/puppet/ext/rack/config.ru /usr/share/puppet/rack/puppetmasterd/
chown puppet:puppet /usr/share/puppet/rack/puppetmasterd/config.ru

Copiez le fichier de configuration exemple vHost pour Apache dans le fichier /usr/share/puppet/ext/rack/example-passenger-vhost.conf puis copiez ce fichier dans /etc/httpd/conf.d/puppetmaster.conf:

cp /usr/share/puppet/ext/rack/example-passenger-vhost.conf \
   /etc/httpd/conf.d/puppetmaster.conf

Recherchez les certificats générés avec le serveur Master Puppet puis modifiez la configuration Apache comme ci-dessous below:

find /var/lib/puppet/ssl/public_keys -type f
/var/lib/puppet/ssl/public_keys/purple.resetlogs.com.pem

find /var/lib/puppet/ssl/certs -type f
/var/lib/puppet/ssl/certs/ca.pem
/var/lib/puppet/ssl/certs/purple.resetlogs.com.pem

diff /usr/share/puppet/ext/rack/puppetmasterd.conf \
     /etc/httpd/conf.d/puppetmaster.conf                        
12a13,15
> LoadModule passenger_module /usr/local/share/gems/gems/passenger-4.0.48/buildout/apache2/mod_passenger.so
> PassengerRoot /usr/local/share/gems/gems/passenger-4.0.48
> PassengerDefaultRuby /usr/bin/ruby
33,34c36,37
< SSLCertificateFile    /var/lib/puppet/ssl/certs/puppet-server.example.com.pem
< SSLCertificateKeyFile /var/lib/puppet/ssl/private_keys/puppet-server.example.pem
---
> SSLCertificateFile    /var/lib/puppet/ssl/certs/purple.resetlogs.com.pem
> SSLCertificateKeyFile /var/lib/puppet/ssl/private_keys/purple.resetlogs.com.pem

Le serveur MAster Puppet est désormais géré par Apache. Vous pouvez désactiver le service puppetmaster service et activer/démarrer Apache:

systemctl stop puppetmaster
systemctl disable puppetmaster
systemctl start httpd
systemctl enable httpd

Installation d'un Agent Puppet

Une fois le master installé, déployer un agent est extrêmement simple. Il s'agit, si votre serveur est connecté à Internet de lancer les 2 commandes ci-dessous :

yum install http://yum.puppetlabs.com/puppetlabs-release-el-7.noarch.rpm
yum install puppet

Add a server property in the [main] or [agent] section of the /etc/puppet/puppet.conf file like below:

server=purple

Exécutez puppet en mode test de sorte qu'il s'enregistre sur le master:

puppet agent -t

Connectez-vous au Master, affichez et signez les demandes de certificat pour le nouveau serveur :

puppet cert list
  "yellow.resetlogs.com" (SHA256) 7D:A2:F5:7A:... 

puppet cert sign yellow.resetlogs.com
Notice: Signed certificate request for yellow.resetlogs.com
Notice: Removing file Puppet::SSL::CertificateRequest yellow...

L'agent doit désormais fonctionner correctement avec le Master :

puppet agent -t
Info: Caching certificate for yellow.resetlogs.com
Info: Caching certificate_revocation_list for ca
Info: Caching certificate for yellow.resetlogs.com
Info: Retrieving pluginfacts
Info: Retrieving plugin
Info: Caching catalog for yellow.resetlogs.com
Info: Applying configuration version '1408374669'
Notice: Finished catalog run in 0.02 seconds

Bibliographie:
Pour plus d'information à propos de l'installation de Puppet avec Oracle Linux, reportez-vous à Installing Puppet: Red Hat Enterprise Linux (and Derivatives)

Installer Oracle Linux 7 avec Kickstart, PXE et Dnsmasq

2014-08-11T12:59:00.003-07:00

Si vous synchroniser un référentiel Oracle Linux 7 et que vous le publiez à l'aide d'un serveur HTTP, il ne vous manque plus que dnsmasq et quelques fichiers de configuration pour effectuer des installation de Oracle Linux 7 avec Kickstart et PXE. Ca ne vous prendra pas plus de 15 minutes pour configurer l'ensemble...

dnsmasq est l'outil parfait pour cela. Il inclut un serveur DHCP et un serveur TFTP rudimentaire. C'est très simple à configurer.

Cet article donne un exemple de configuration. Il présente les quelques fichiers nécessaires qui viennent avec la distribution. Vous serez capable d'ajouter ou modifier les autres fichiers qui manquent pour terminer le travail...

Indexer les référentiels Yum

D'abord le plus important, installez un serveur HTTP pour publier les RPMs et les autres fichiers. Un des moyens les plus simples consiste à installer le serveur HTTP d'Apache et de le faire pointer vers un répertoire qui contient les référentiels YUM.

Note:
Oracle ne fournit pas le fichier de description des groupes Oracle Linux 7 (comps.xml) sur public-yum.oracle.com. Au lieu de cela, Oracle fournit le fichier comps.xml par défaut avec le canal ol7_later. Celui de Redhat. Si vous installez un serveur avec kickstart et ce fichier, vous n'installerez donc pas le noyau UEK3 mais seulement le noyau RHCK. C'est l'une des raisons pour lesquelles vous préfèrerez utiliser votre propre référentiel. Cela permet d'inclure le fichier comps.xml de la distribution Oracle Linux, lequel contient les bonnes descriptions de groupes de RPMs .

Pour cet article, je synchronise les 2 référentiels Oracle Linux 7 principaux dans /u01/app/oracle/distribs/oraclelinux et j'utilise l'alias /yum/ sur mon serveur HTTP Apache 2.4. Le serveurs peut être accédé sur mon réseau à partir de l'adresse 192.168.56.2. Pour être concis, le DNS n'est pas configuré mais faites-le. Le package dnsmasq permet aussi de réaliser cette configuration. Changez les valeurs en fonction de votre configuration.

Vous trouverez ci-dessous les lignes ajoutées à /etc/httpd/conf/httpd.conf pour publier le répertoire sur le serveur Apache :

<Directory "/u01/app/oracle/distribs/oraclelinux">
    Options +Indexes +FollowSymLinks
    AllowOverride None
    Require all granted
</Directory>

Alias /yum/ /u01/app/oracle/distribs/oraclelinux/

Pour synchroniser les référentiels, en supposant que le paramétrage est correct dans /etc/yum.repo.d, lancez la commande reposync sous l'utilisateur root:

yum install yum-utils
reposync --repoid=ol7_latest \
         --repoid=ol7_UEKR3 \
         -p /u01/app/oracle/distribs/oraclelinux

L'installer a besoin d'accéder à ces 2 référentiels comme s'il n'y en avait qu'un. Utilisez la commande createrepo pour indexer les 2 référentiels simultanément :

cd /u01/app/oracle/distribs/oraclelinux/
find . -iname "*.rpm" > rpms.lst
createrepo -i rpms.lst .

La commande précédente crée le répertoire repodata dans /u01/app/oracle/distribs/oraclelinux puis indexe tous les RPMs. Vous pouvez tester le serveur web à l'aide de la commande curl http://192.168.56.2/yum/ depuis un autre serveur sur le même réseau. Assurez-vous qu'il n'y a pas de règle qui bloque le port 80 dans le firewall. Si c'est le cas, corrigez le problème...

Groupes de RPM

Pour faire fonctionner kickstart correctement, il faut que la recherche de groupe soit disponible. Comme indiqué précédemment, vous ne pouvez pas vous appuyer sur le fichier comps.xml fourni sur public-yum.oracle.com. A la place, utilisez celui qui vient avec la distribution Oracle Linux 7 :

mkdir /mnt/cdrom
mount OracleLinux-R7-U0-Server-x86_64-dvd.iso /mnt/cdrom
cp -p /mnt/cdrom/repodata/*-comps-Server.xml \
      /u01/app/oracle/distribs/oraclelinux/repodata/comps.xml

Les développeurs Oracle ont fait un choix étrange en nommant le rpm dtrace-modules. Celui-ci inclut, en effet, le numéro de version du noyau dans son nom. De sorte que pour que le fichier comps.xml soit correct, il faut modifier le nom du RPM à l'intérieur. Rechercher la dernière version fournie par Oracle :

cd /u01/app/oracle/distribs/oraclelinux/ol7_UEKR3/
ls dtrace-modules-3*.rpm
dtrace-modules-3.8.13-35.3.1.el7uek-0.4.3-4.el7.x86_64.rpm
dtrace-modules-3.8.13-35.3.2.el7uek-0.4.3-4.el7.x86_64.rpm
dtrace-modules-3.8.13-35.3.3.el7uek-0.4.3-4.el7.x86_64.rpm
dtrace-modules-3.8.13-35.3.4.el7uek-0.4.3-4.el7.x86_64.rpm

Remplacer le nom du module situé dans comps.xml de dtrace-modules-3.8.13-35.2.1.el7uek à celui de la dernière version ou, au moment ou j'écris cet article dtrace-modules-3.8.13-35.3.4.el7uek. Une fois le fichier modifié, calculez son checksum et ajoutez-le dans le fichier repomd.xml :

cd /u01/app/oracle/distribs/oraclelinux/repodata
sha256sum comps.xml
62f1b1bc89947d8b1592df8343ccb43c4e62105cacad081d41936a68fb744f11 comps.xml
ls -l --time-style=+%s comps.xml
-rw-r--r-- 1 root root 632924 1407758377 comps.xml

En fonction du checksum, de la date et de la taille du fichier, ajoutez les lignes ci-dessous dans repomd.xml :

<data type="group">
  <checksum type="sha256">62f1b1bc89947d8b1592df8343ccb43c4e62105cacad081d41936a68fb744f11</checksum>
  <location href="repodata/comps.xml"/>
  <timestamp>1407758377</timestamp>
  <size>632924</size>
</data>

Installation de Dnsmasq

Installez et configurez dnsmasq pour DHCP et TFTP :

yum install dnsmasq

Editez le fichier /etc/dnsmasq.conf et ajoutez les paramètres suivants :

enable-tftp
tftp-root=/tftpboot
dhcp-range=enp0s3,192.168.56.101,192.168.56.199,4h
dhcp-boot=pxelinux.0
pxe-prompt="Press F8 for boot menu", 10
pxe-service=X86PC, "Boot from network", pxelinux
pxe-service=X86PC, "Boot from local disk", 0

Pour une description complète des options, reportez-vous à [1] Configuration file for dnsmasq:

enable-tftp active le serveur TFTP
tftp-root définit le répertoire racine du serveur TFTP
dhcp-range définit la plage d'adresse du serveur DHCP, e.g. de 192.168.56.101 à 192.168.56.199. Il définit également l'interface réseau à utiliser, e.g. enp0s3 ainsi que la durée de conservation de l'adresse par le serveur DHCP, e.g. 4 heures
dhcp-boot définit le programme à utiliser pour démarrer depuis la carte réseau, c'est à dire pxelinux.0
pxe-prompt et pxe-service créent un menu utilisé depuis le BIOS de la carte réseau afin de choisir entre le démarrage à partir de PXE (pxelinux) ou à partir du MBR (0)

Une fois dnsmasq configuré, créez le répertoire racine et démarrez le service :

mkdir /tftpboot
systemctl start dnsmasq
systemctl status dnsmasq

Note:
Avant de continuer vérifiez que le firewall ne bloque pas TFTP et DHCP.

Menu et fichiers TFTP

Le contenu du répertoire racine du serveur TFTP peut être légèrement adapté. Il doit ressembler à ce qui suit :

menu.c32 est un fichier COM 32-bits. Ce fichier est utilisé pour créer le menu de démarrage de Kickstart. Il fait partie de syslinux et peut être remplacé, le cas échéant par vesamenu.c32
pxelinux.0 est le fichier de boot PXE qui fait également partie de syslinux.
images/ol7/vmlinuz est le fichier exécutable du noyau Linux utilisé pour démarrer l'installation. Il peut être récupéré depuis le répertoire images/pxelinux de la distribution
images/ol7/initrd.img est un disque image de Linux utilisé pour l'installation. Il peut être récupéré depuis le répertoire images/pxelinux de la distribution
pxelinux.cfg/01-08-00-27-82-66-c4 est un fichier texte qui contient le menu initial de démarrage de l'installation. Nous allons le créer l'adapter pour le serveur. Ce fichier est le fichier utilisé par défaut pour un démarrage en PXE depuis une carte dont l'adresse MAC est la suivante 08:00:27:82:66:C4 ; Soyez attentif au préfixe 01- ajouté à l'adresse ainsi qu'à la casse minuscule comme expliqué dans le document How do I Configure PXELINUX? [2].

Pour installer menu.c32 et pxelinux.0, installez syslinux et copiez les fichiers depuis le répertoire /usr/share/syslinux :

yum install syslinux
cp -f /usr/share/syslinux/pxelinux.0 /tftpboot/.
cp /usr/share/syslinux/pxelinux.0 /tftpboot/.

Vous pouvez ajouter les fichiers vmlinuz et initrd.img à partir de la distribution :

mkdir /mnt/cdrom 
mount OracleLinux-R7-U0-Server-x86_64-dvd.iso /mnt/cdrom
mkdir -p /tftpboot/images/ol7
cp /mnt/cdrom/images/pxeboot/vmlinuz /tftpboot/images/ol7
cp /mnt/cdrom/images/pxeboot/initrd.img /tftpboot/images/ol7
umount /mnt/cdrom

Pour terminer, créez un menu qui référence les fichiers précédents :

mkdir /tftpboot/pxelinux.cfg
cd /tftpboot/pxelinux.cfg
cat >01-08-00-27-82-66-c4 <<EOF
default menu.c32
timeout 50

menu title PXE Boot Menu

label OL7-x86_64
  menu label Oracle Linux 7 - Purple Intallation
  kernel images/ol7/vmlinuz
  append initrd=images/ol7/initrd.img inst.ks=http://192.168.56.2/yum/purple.ks inst.stage2=http://192.168.56.2/yum

EOF

Dans l'exemple précédent, le menu fait référence à un fichier kickstart et au fichier correspondant à l'installer, i.e. inst.stage2. La section qui suit présente comment ajouter ces fichiers au serveur HTTP.

Note:
Vous pouvez vérifier que le serveur TFTP fonctionne comme attendu. Ajoutez un client tftp sur un serveur distant à l'aide de la commande "yum install tftp" puis téléchargez pxelinux.0 à l'aide de la commande "tftp yellow 69 -c get pxelinux.0".

Fichiers de l'"Installer" et kickstart

Pour terminer la configuration, vous devez publier l'installer (squashfs.img) sur le serveur HTTP. Ajoutez le fichier depuis la distribution :

mkdir /mnt/cdrom 
mount OracleLinux-R7-U0-Server-x86_64-dvd.iso /mnt/cdrom
cd /u01/app/oracle/distribs/oraclelinux
mkdir LiveOS
cp /mnt/cdrom/LiveOS/squashfs.img LiveOS
umount /mnt/cdrom

Créez également le fichier .treeinfo qui référence l'installer :

cat >.treeinfo <<EOF
[header]
version = 0.3

[product]
name = Oracle Linux
short = OL
version = 7.0 

[stage2]
mainimage = LiveOS/squashfs.img
EOF

Et voilà ! Vous pouvez ajouter le fichier de configuration Kickstart qui correspond à vos besoins et l'ajouter au serveur HTTP :

cd /u01/app/oracle/distribs/oraclelinux/
cat >purple.ks <<EOF
install
url --url="http://192.168.56.2/yum/"
lang en_US.UTF-8
keyboard fr
network --onboot yes --device link --bootproto dhcp --noipv6 --hostname purple.resetlogs.com
rootpw manager
firewall --service=ssh
authconfig --enabledhadow --passalgo=sha512
selinux --disabled
timezone Europe/Paris --isUtc --nontp
bootloader --location=mbr --boot-drive=sda
text
skipx
zerombr
clearpart --all --initlabel
autopart
firstboot --disabled
poweroff

%packages
@core
%end
EOF

Tester l'installation de vos serveurs

Vous êtes prêt à provisionner la machine purple, que ce soit une machine virtuelle ou un serveur physique. Dans cet exemple, nous utiliserons une machine virtuelle Virtualbox. Changez la configuration du boot pour démarrer à l'aide de PXE :

Après quelques secondes, l'installer apparait et vous pouvez installer Oracle Linux 7 avec les derniers RPMs:

Encore 3 minutes et votre serveur sera installé ! Pour installer d'autres serveurs, il suffit simplement d'ajouter des fichiers menus au serveur TFTP puis de réaliser les fichier de configuration Kickstart correspondant sur le serveur web. Ajoutez quelques étapes complémentaires pour nommer les serveurs également avec dnsmasq. Vous aurez une configuration sérieuse pour des déploiements locaux. Sans doute pas aussi puissant que ce que vous pouvez obtenir avec Puppet/Foreman mais suffisant pour de nombreux scénarios...

Bibliographie:
[1] Configuration file for dnsmasq
[2] How do I Configure PXELINUX?

Introduction à la configuration réseau d'Oracle Linux 7

2014-08-03T15:40:00.003-07:00

Oracle Linux 7, comme RHEL7 et CentOS7, vient avec des changements drastiques dans l'interface de gestion du réseau et ses outils associés. Même s'il apparaît encore dans systemctl, le service network a disparu au profit de NetworkManager. Les commandes que nous avons utilisées pendant des années telles que ifconfig, route ou netstat sont désormais "deprecated"... Le bénéfice principal est que configuration et gestion du réseau sont désormais unifiées. De plus, nmcli et firewall-cmd permettent de modifier et persister la plupart des configurations directement en ligne de commandes. Cela simplifie les changements et les automatisations...

Donc il va falloir apprendre beaucoup... Et on aime ça ! Il va falloir oublier beaucoup aussi... Et ça sera probablement plus difficile ; d'autant qu'il faudra certainement maintenir, en même temps que la version 7, les anciennes versions pendant quelques temps. Cet article de blog vous aidera à démarrer avec les configurations réseau d'Oracle Linux 7. Il vous aidera également à faire le va et vient entre les différentes versions d'Oracle Linux...

Faire le pas...

Oracle Linux 7 fournit encore les anciens outils que sont ifconfig, netstat ou route dans le package net-tools. Cela peut aider le cas échéant avec certains scripts que vous pourroez hériter d'ancien logiciels. Quoiqu'il en soit, à moins que ce soit absolument nécessaire, vous éviterez d'installer ce package. Vous préfererez de loin utiliser les nouveaux outils et vous adapter :

# yum info net-tools
Available Packages
Name        : net-tools
Arch        : x86_64
Version     : 2.0
Release     : 0.17.20131004git.el7
Size        : 303 k
Repo        : ol7_latest
Summary     : Basic networking tools
URL         : http://sourceforge.net/projects/net-tools/
License     : GPLv2+
Description : The net-tools package contains basic networking tools,
            : including ifconfig, netstat, route, and others.
            : Most of them are obsolete. For replacement check iproute package.

Un autre changement important d'Oracle Linux 7 est l'utilisation de nom prévisibles des interfaces réseaux à la place des noms génériques eth0, eth1... ethN. Là encore vous pouvez revenir à la configuration des versions précédentes [1] d'Oracle Linux en créant un fichier vide nommé named 80-net-name-slot.rules dans le répertoire /etc/udev/rules.d. Vous rebooterez ensuite :

ln -s /dev/null /etc/udev/rules.d/80-net-name-slot.rules
reboot

D'ailleurs, il y a de bonnes raisons à ce changement et vous pourrez le découvrir dans l'article Predictable Network Interface Names [2].

Obtenir de l'aide des assistants

Si vous êtes pressé et que vous voulez malgré tout faire les choses proprement, vous pouvez utiliser les assistants de Network Manager pour obtenir une aide parfois bienvenue :

la commande nmtui, qui appartient au RPM NetworkManager-tui, est l'interface en mode texte de Network Manager. Elle fournit une manière simple de réaliser une configuration sans prêter attention aux commandes associées.
la commande nm-connection-editor, qui appartient au RPM nm-connection-editor, est l'interface graphique de Network Manager. Vous pouvez directement y accéder depuis le bureau Gnome ou depuis le Control Panel. Si vous avez un serveur X configuré, tapez simplement nm-connection-editor pour accéder au panneau.

Apprendre...

Pour faire court, vous trouverez ci-dessous les correspondance entre les nouvelles commandes (iproute) et les commandes Oracle Linux 5 et 6 qu'elles remplace (net-tools). Pour une feuille de récapitulation, autrement appelée cheat sheet détaillée, consultez cet article sur le web Deprecated Linux networking commands and their replacements [3]:

*net-tools*	*iproute*
`arp`	`ip neighbor/neighbour`
`ifconfig`	`ip link` ou `ip addr`
`netstat`	`ss`, `ip route` ou `ip maddr`
`route`	`ip route`
`nameif`	`ip link`

Et plus important encore, lisez Red Hat Enterprise Linux 7 - Networking Guide [4] ainsi que les pages de la commande man de : ip(8) ip-address(8), ip-addrlabel(8), ip-l2tp(8), ip-link(8), ip-maddress(8), ip-monitor(8), ip-mroute(8), ip-neighbour(8), ip-netns(8), ip-ntable(8), ip-route(8), ip-rule(8), ip-tcp_metrics(8), ip-tunnel(8), ip-xfrm(8), ss(8), ifcfg(8), ifup(8), ifdown(8) et ifenslave(8).

Utiliser nmcli

Ce qui est vraiment intéressant avec NetworkManager, c'est l'ajout de la commande nmcli. Celle-ci permet de réaliser les changements de configurations sans éditer aucun fichier dans /etc/sysconfig/network-scripts. Cela permet d'éviter nombre d'erreurs.

Changer le nom du serveurs

Le script ci-dessous modifie et persiste le nom du serveur :

nmcli general hostname green.resetlogs.com
hostname
green.resetlogs.com

Ajouter une adresse à une interface réseau

En supposant que vous ayez ajouté une carte réseau à votre serveur et que celle-ci apparait avec le nom enp0s3, ajouter une connexion statique (manual) avec une adresse IP ressemble au script ci-dessous :

nmcli device status
DEVICE  TYPE      STATE        CONNECTION 
enp0s3  ethernet  disconnected --
lo      loopback  unmanaged    --

nmcli connection add type 802-3-ethernet \
                      ifname enp0s3      \
                      con-name enp0s3    \
                      autoconnect yes

nmcli connection modify enp0s3 \
      ipv4.method manual       \
      ipv4.addresses "192.168.56.5/24 192.168.56.1" \
      ipv4.never-default yes

nmcli connection up enp0s3

ip addr s enp0s3
2: enp0s3:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:55:c6:07 brd ff:ff:ff:ff:ff:ff
    inet 192.168.56.5/24 brd 192.168.56.255 scope global enp0s3
    inet6 fe80::a00:27ff:fe55:c607/64 scope link 
       valid_lft forever preferred_lft forever

nmcli device status
DEVICE  TYPE      STATE     CONNECTION 
enp0s3  ethernet  connected enp0s3
lo      loopback  unmanaged --

Note:
La propriété ipv4.never-default positionnée à yes est équivalente à positionner la propriété DEFROUTE à no dans le fichier ifcfg-enp0s3; Cela évite d'utiliser la passerelle associée à la carte réseau comme passerelle par défaut pour le serveur dans la table de routage.

Ajouter et supprimer des adresses IP

Une autre utilisation commune de nmcli consiste à ajouter ou supprimer des adresses IP d'une interface et gérer ainsi des IP virtuelles; Ces interfaces que nous avions l'habitude d'appeler ethX:M comme eth0:0 ou eth0:1 sur les distributions Linux précédentes. Le signe "+" devant la propriété signifie que la valeur est ajoutée aux valeurs déjà existantes ; le signe "-" est quand à lui utilisé pour ne supprimer que la partie précisée dans la ligne de commande :

nmcli connection modify enp0s3 \
      +ipv4.addresses "192.168.56.11/24 192.168.56.1"

nmcli connection up enp0s3

ip addr s enp0s3
2: enp0s3:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:55:c6:07 brd ff:ff:ff:ff:ff:ff
    inet 192.168.56.5/24 brd 192.168.56.255 scope global enp0s3
    inet 192.168.56.11/24 brd 192.168.56.255 scope global secondary enp0s3
    inet6 fe80::a00:27ff:fe55:c607/64 scope link 
       valid_lft forever preferred_lft forever

nmcli connection modify enp0s3 \
      -ipv4.addresses "192.168.56.11/24 192.168.56.1"

nmcli connection up enp0s3

ip addr s enp0s3
2: enp0s3:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 08:00:27:55:c6:07 brd ff:ff:ff:ff:ff:ff
    inet 192.168.56.5/24 brd 192.168.56.255 scope global enp0s3
    inet6 fe80::a00:27ff:fe55:c607/64 scope link 
       valid_lft forever preferred_lft forever

Ajouter un DNS

nmcli permet également d'ajouter une adresse d'un DNS

nmcli connection modify enp0s3 \
      ipv4.dns 192.168.1.1

Changer d'autres propriétés

nmcli peut être utilisé dans beaucoup d'autres situationscomme de configurer les bond ou team, les bridges, Infiniband, le Wifi ou les Vlans. Pour plus d'informations à propos de nmcli, reportez vous aux pages de la commande man pour nmcli(1), nmcli-examples(5) et nm-settings(5).

Apprendre encore...

Ceci conclut cette rapide introduction aux changements réseau d'Oracle Linux 7. Evidemment, il y a beaucoup plus de choses à apprendre comme l'utilisation et le paramétrage du service firewalld. Par ailleurs, vous voudrez aussi probablement apprendre certaines commandes qui existent déjà avec Oracle Linux 6 et peuvent s'avérer utiles avec les nouvelles fonctionnalités de container ou les technologies cloud qui arrivent. Certaines auxquelles on peut penser sont le contrôle de trafic (tc), les espaces de nommage réseau (ip netns), udev, dig ainsi que le détails des fichiers de configuration. De nombreuses autres opportunités pour de nouveaux articles...

Bibliographies:
Pour en apprendre plus sur ces sujets, lisez les articles suivants :
[1] Red Hat Enterprise Linux 7 - Disabling consistent network device naming
[2] Predictable Network Interface Names, par Freedesktop.org
[3] Deprecated Linux networking commands and their replacements, par Doug Vitale
[4] Red Hat Enterprise Linux 7 - Networking Guide

Accélerer les mises à jour d'Oracle Linux 7 avec les "Delta RPMs"

2014-08-02T05:08:00.001-07:00

La gestion des configuration et des mises à jour d'Oracle Linux peut être une tâche consommatrice en temps lorsqu'elle est mise en oeuvre avec sérieux. SI vos serveurs sont répartis dans des zones différentes, une bonne alternative au déploiement de plusieurs référentiels yum consiste à créer des "Delta RPMs" ou fichiers .drpm qui permettent de réduire le trafic réseau. Ces fichiers sont utilisés par yum pour reconstruire les RPMS à partir des versions précédentes. Cet article présente les différentes étapes de mise en oeuvre des "Delta RPMs" pour mettre à jour Oracle Linux 7. Cette méthode peut probablement être utilisée en l'état avec CentOS7 qui utilise les mêmes paquets et fournit également leurs RPMs gratuitement sur Internet.

Avec Oracle Linux 5 et 6, l'utilisation des "delta RPMs" nécessitait l'utilisation de la plug-in yum-presto. A partir de la version 7, cette plug-in est intégrée dans la version de base. Si ça ne change pas fondamentalement les choses, la configuration est simplifiée. Cet article présente comment synchroniser et créer un reférentiel. Il présente comment configurer un listener Apache et comment utiliser yum pour utiliser les fichiers .drpm.

Construire un repository avec des RPMs delta

Oracle et CentOS publient leur RPMs dans des référentiels gratuits disponibles sur Internet. Construire votre propre référentile consiste à synchroniser les fichiers de ces distributions avec un répertoire sur un serveur ou une machine virtuelle. Le paquet yum-utils contient la commande reposync qui peut être utilisé dans ce but. Commencez par enregistrer le référentiel à synchroniser dans le répertoire /etc/yum.repos.d. La commande reposync ci-dessous synchronise les 2 référentiels ol7_latest et ol7_UEKR3 dans le répertoire /u01/app/oracle/distribs/oraclelinux:

yum -y install yum-utils

mkdir -p /u01/app/oracle/distribs/oraclelinux

reposync --repoid=ol7_latest \
         --repoid=ol7_UEKR3 \
         -p /u01/app/oracle/distribs/oraclelinux

Note:
Si vous devez synchroniser des référentiels qui ne sont pas public comme le référentiel contenant KSplice ou les client DTrace, Oracle fournit le script uln-yum-mirror. Pour plus de détails sur l'utilisation de ce script, reportez-vous à la documentation Oracle® Linux - Administrator's Guide for Release 7 - 2.8 Creating and Using a Local ULN Mirror

Une fois les RPMs téléchargés sur sur votre serveur, vous pouvez les indexer et créer les fichiers .drpm. Pour cela, installer la paquet deltarpms ; la commande createrepo --deltas et --oldpackagedirs génère les fichiers dans le répertoire drpms. Elle crée également le fichier index prestodelta.xml qui est utilisé par yum :

yum -y install createrepo deltarpms

cd  /u01/app/oracle/distribs/oraclelinux/ol7_latest

createrepo --deltas --oldpackagedirs . .

cd  /u01/app/oracle/distribs/oraclelinux/ol7_UEKR3

createrepo --deltas --oldpackagedirs . .

Installer et configurer Apache 2.4

Oracle Linux 7 vient avec un listener HTTP Apache 2.4 :

yum -y install httpd

httpd -v
Server version: Apache/2.4.6 (Red Hat)
Server built:   Jul 23 2014 04:34:53

La syntaxe de Directory a changé avec Apache 2.4. Pour permettre l'accès aux répertoires que vous avez créés, ajoutez la déclaration ci-dessous dans le fichier de configuration du listener Apache :

<Directory "/u01/app/oracle/distribs/oraclelinux">
    Options +Indexes +FollowSymLinks
    AllowOverride None
    Require all granted
</Directory>

Créez ensuite un alias vers le répertoire à l'aide de la directive ci-dessous :

Alias /yum/ /u01/app/oracle/distribs/oraclelinux/

Vous pourrez autoriser les accès au port 80 dans le firewall et activer/démarrer le listener HTTP :

firewall-cmd --permanent --add-service http
firewall-cmd --add-service http
success

firewall-cmd --list-all
public (default, active)
  interfaces: enp0s3 enp0s8
  sources: 
  services: dhcpv6-client http ssh
  ports: 
  masquerade: no
  forward-ports: 
  icmp-blocks: 
  rich rules: 

systemctl start httpd
systemctl enable httpd
systemctl status httpd
httpd.service - The Apache HTTP Server
   Loaded: loaded (/usr/lib/systemd/system/httpd.service; disabled)
   Active: active (running) since Mon 2014-07-28 23:00:10 CEST; 5s ago
 Main PID: 2238 (httpd)
   Status: "Processing requests..."
   CGroup: /system.slice/httpd.service
           ├─2238 /usr/sbin/httpd -DFOREGROUND
           ├─2239 /usr/sbin/httpd -DFOREGROUND
           ├─2240 /usr/sbin/httpd -DFOREGROUND
           ├─2241 /usr/sbin/httpd -DFOREGROUND
           ├─2242 /usr/sbin/httpd -DFOREGROUND
           └─2243 /usr/sbin/httpd -DFOREGROUND

Jul 28 23:00:10 blue.resetlogs.com systemd[1]: Started The Apache HTTP Server.
Hint: Some lines were ellipsized, use -l to show in full.

Vous devriez pouvoir accéder aux référentiels yum à l'aide de votre navigateur web :

Configurer et utiliser yum

Pour que vos serveurs et guests puissent utiliser les RPMs delta à l'aide de yum, vous devez enregistrer les référentiels YUM :

cat /etc/yum.repos.d/blue.repo

[ol7_latest]
name=Oracle Linux $releasever Latest ($basearch)
baseurl=http://blue/yum/ol7_latest/
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-oracle
gpgcheck=1
enabled=1

[ol7_UEKR3]
name=Latest UEK for Oracle Linux $releasever ($basearch)
baseurl=http://blue/yum/ol7_UEKR3
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-oracle
gpgcheck=1
enabled=1

Installez également le paquet deltarpms pour que yum puisse recréer les fichiers RPM à l'aide des fichiers RPMs delta :

yum install deltarpms

Ces ficheirs sont alors pris en compte automatiquement de de manière transparente comme vous pouvez le vérifier dans la commande ci-dessous :

yum -y update
ol7_UEKR3                    | 3.6 kB  00:00:00     
ol7_latest                   | 3.2 kB  00:00:00     
(1/2): ol7_UEKR3/primary_db  | 1.1 MB  00:00:00     
(2/2): ol7_latest/primary_db | 5.1 MB  00:00:01     
Resolving Dependencies
--> Running transaction check
---> Package kernel-uek.x86_64 0:3.8.13-35.3.2.el7uek will be installed
---> Package kernel-uek-firmware.noarch 0:3.8.13-35.3.2.el7uek will be installed
--> Finished Dependency Resolution

Dependencies Resolved
=======================================================================
 Package             Arch    Version              Repository     Size
=======================================================================
Installing:
 kernel-uek          x86_64  3.8.13-35.3.2.el7uek  ol7_UEKR3      32 M
 kernel-uek-firmware noarch  3.8.13-35.3.2.el7uek  ol7_UEKR3     1.8 M

Transaction Summary
=======================================================================
Install  2 Packages

Total download size: 34 M
Installed size: 116 M
Downloading packages:
ol7_UEKR3/prestodelta                                               |  830 B  
Delta RPMs reduced 34 M of updates to 7.9 M (76% saved)
kernel-uek-3.8.13-35.3.1.el7uek_3.8.13-35.3.2.el7uek.x86_64.drpm    | 7.6 MB
kernel-uek-firmware-3.8.13-35.3.1..._3.8.13-35.3.2....noarch.drpm   | 329 kB
Finishing delta rebuilds of 2 package(s) (34 M)
kernel-uek-3.8.13-35.3.2.el7uek.x86_64.rpm                          |  32 MB 
----------------------------------------------------------------------------
Total                                                      1.8 MB/s |  40 MB
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : kernel-uek-firmware-3.8.13-35.3.2.el7uek.noarch   1/2 
  Installing : kernel-uek-3.8.13-35.3.2.el7uek.x86_64            2/2 
  Verifying  : kernel-uek-firmware-3.8.13-35.3.2.el7uek.noarch   1/2 
  Verifying  : kernel-uek-3.8.13-35.3.2.el7uek.x86_64            2/2 

Installed:
  kernel-uek.x86_64 0:3.8.13-35.3.2.el7uek 
  kernel-uek-firmware.noarch 0:3.8.13-35.3.2.el7uek                    

Complete!

Evidemment l'utilisation de RPMs delta nécessite plus de temps processeur et d'I/O sur vos serveurs et guests. Cette fonctionnalité accélère généralement facilement les mises à jour distantes...

Bibliographie:
Pour des informations complémentaires à propos de Delta RPMS et de leur utilisation, visitez la page associé à Fedora Presto.

Personnaliser cdroms, ISOs et USBs Redhat/Oracle Linux - Partie 2

2014-07-25T21:59:00.001-07:00

La première partie de cet article présente comment ajouter un fichier kickstart à un fichier ISO Oracle Linux 7 et comment modifier le menu de boot pour prendre en charge ce fichier sans éditer la commande de démarrage. Il existe d'autres raisons pour personnaliser un ISO ; il est possible d'ajouter ou de remplacer les RPMs qu'il contient. Vous pouvez avoir besoin d'ajouter un RPM que vous avez créé comme le RPM qui contient le moteur Oracle ou un RPM tiers. C'est précisément l'objet de cette seconde partie... Et, comme vous vous en rendrez compte par vous-même, c'est très facile !

Ce type de changement a des implications autres que techniques et notamment sur la distribution. Evitez de diffuser des ISO modifiés ou, à minima, vérifiez ce que vous avez le droit de faire au préalable. Quoi qu'il en soit, personnaliser des ISO peut réellement accélérer certaines installations. C'est intéressant de comprendre comment faire...

Construire un RPM

L'objectif de cet article est d'ajouter un RPM au CD Oracle Linux 7. Pour faire simple, créez le fichier de spécification ci-dessous :

cat dummy.spec 
Summary:      A dummy package
Name:         dummy
Version:      1.0
Release:      1
License:      GPLv2
Group:        System Environment/Base
BuildArch:    noarch

%description
A dummy package

%files

Vous pouvez alors créer un RPM avec la commande rpmbuild :

rpmbuild -bb dummy.spec 
Processing files: dummy-1.0-1.noarch
Provides: dummy = 1.0-1
Requires(rpmlib): rpmlib(FileDigests) <= [...] <= 3.0.4-1
Checking for unpackaged file(s): check-files dummy-1.0-1.x86_64
Wrote: /root/rpmbuild/RPMS/noarch/dummy-1.0-1.noarch.rpm
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.bR2LDH
+ umask 022
+ cd /root/rpmbuild/BUILD
+ /usr/bin/rm -rf /root/rpmbuild/BUILDROOT/dummy-1.0-1.x86_64
+ exit 0

Ajouter le RPM à l'ISO

Pour reconstruire un ISO, vous devez en extraire le contenu dans un répertoire comme décrit dans la première partie de cet article. Utilisez un répertoire nommé OL7. Une fois l'opération réalisée, ajouter un RPM consiste simplement à l'ajouter dans le répertoire Packages :

cp -p /root/rpmbuild/RPMS/noarch/dummy-1.0-1.noarch.rpm OL7/Packages/.

Reconstruire le référentiel

La commande createrepo permet de reconstruire les fichiers d'index des RPM. Avant de procéder, conservez une copie du fichier comps-Server.xml. Ce fichier contient la description des différents types d'installation ainsi que les groupes et packages associés.

cd OL7  
cp repodata/*-comps-Server.xml comps.xml

Reconstruire le référentiel nécessite de lister les RPM et de lancer la commande createrepo :

find Packages -iname "*.rpm"|sort > rpms.lst
createrepo -o . -i rpms.lst .
rm rpms.lst

Personnaliser le fichier comps.xml

Pour lier le RPM à un type d'installation donné ou ajouter un nouveau type d'installation, il faut adapter le fichier comps-Server.xml. Dans l'exemple qui suit, le package dummy est ajouté au groupe Core. Pour cela la ligne rouge ci-dessous a simplement été ajoutée à la list des packages :

<group>
    <id>core</id>
    <name>Core</name>
    ...
    <packagelist>
       ...
       <packagereq type="default">dummy</packagereq>

Une fois le fichier modifié, il peut être repositionné dans le répertoire repodata et préfixé par sa clé de hash SHA256 :

cp comps.xml \
   repodata/`sha256sum comps.xml|cut -d' ' -f1`-comps-Server.xml

gzip comps.xml
export SIG=`sha256sum comps.xml.gz|cut -d' ' -f1`
mv  comps.xml.gz  repodata/$SIG-comps-Server.xml.gz

Note Importante:
Contrairement à Oracle Linux 6, OL7 ne permet plus de sélectionner un unique RPM dans l'installation. C'est la raison pour laquelle apprendre à modifier ce fichier, y compris ajouter de nouveau type d'installation est utile...

Référencer le fichier dans repomd.xml

Pour en terminer avec la personalisation, le fichier et sa version compressée doivent être référencés dans repodata/repomd.xml. Vérifier préalablement les tailles, dates de création et nom des dichiers à l'aide de la commande ci-dessous :

cd repodata
ls -l --time-style=+%s *comps-Server.xml*
-rw-r--r--. 1 root root 632976 1406309424 1fee86c5fdabac0aa1609cf27e7a75fbbf6bec94602a3dda9b2e69a3056f215d-comps-Server.xml
-rw-r--r--. 1 root root 137762 1406309422 7943914c495c230c524d38caf65d364d25d04005782a98afbce3bbd9ec64d042-comps-Server.xml.gz

Adaptez les 2 sections ci-dessous et ajoutez les au fichier repomd.xml :

<data type="group">
  <checksum type="sha256">1fee86c5fdabac0aa1609cf27e7a75fbbf6bec94602a3dda9b2e69a3056f215d</checksum>
  <location href="repodata/1fee86c5fdabac0aa1609cf27e7a75fbbf6bec94602a3dda9b2e69a3056f215d-comps-Server.xml"/>
  <timestamp>1406309424</timestamp>
  <size>632976</size>
</data>

<data type="group_gz">
  <checksum type="sha256">7943914c495c230c524d38caf65d364d25d04005782a98afbce3bbd9ec64d042</checksum>
  <open-checksum type="sha256">1fee86c5fdabac0aa1609cf27e7a75fbbf6bec94602a3dda9b2e69a3056f215d</open-checksum>
  <location href="repodata/7943914c495c230c524d38caf65d364d25d04005782a98afbce3bbd9ec64d042-comps-Server.xml.gz"/>
  <timestamp>1406309422</timestamp>
  <size>137762</size>
</data>

Recréer le fichier ISO

Le fichier ISO peut alors simplement être recréé avec les commandes mkisofs et implantisomd5 comme décrit précédemment :

mkisofs -r -T -J -V "OL-7.0 Server.x86_64" \ 
   -b isolinux/isolinux.bin \
   -c isolinux/boot.cat \
   -no-emul-boot -boot-load-size 4 \
   -boot-info-table     \
   -o OracleLinux7.iso OL7/

implantisomd5 OracleLinux7.iso

Tester

Enfin, vérifiez et tester le fichier ISO. Le plus simple est d'utiliser Virtualbox.

Comme vous l'autez compris, personnaliser un ISO peut s'avérer très utile pour accélérer des installations sans forcément les scripter entièrement avec kickstart. Il est ainsi possible de mettre à jour le DVD Oracle Linux avec les derniers noyaux et correctifs. Comme vous vous en serez également rendu compte, il est extrêmement facile d'ajouter un fichier ou un programme dans un ISO et, mieux vaut donc, toujours, en vérifier la source et la signature.

Bibliographie :
Pour en savoir plus sur le sujet de cet article, vous pouvez lire : How to use and edit comps.xml for package groups.

Personnaliser cdroms, ISOs et USBs Redhat/Oracle Linux - Partie 1

2014-07-21T00:48:00.001-07:00

Personnaliser cdroms, ISOs et clés usb Redhat/Oracle Linux peut être très utile... Cela permet d'accélérer l'installation de serveurs à l'aide de fichiers kickstart prédéfinis ; Cela permet de réduire les distributions à quelques centaines de Mo. Il est possible de réaliser des configurations non supportées par le programme de configuration initiale d'Anaconda et il est possible d'ajouter des RPMs ou des scripts spécifiques. Ces articles présentent comment modifier des ISOs et comment les utiliser.

Evidemment, si vous avez de nombreux serveurs et VMs, utiliser des référentiels de RPMs avec PXE, xenpvnetboot ou des modèles/templates est la bonne façon de procéder. Si, à l'inverse, vous traitez uniquement avec quelques VMs sur votre ordinateur portable ou quelques serveurs que vous installez manuellement, utiliser des ISOs personnalisés est simple et extrêmement rapide. Vous pouvez litéralement créer une distribution en moins de 10 minutes. Cette première partie présente comment ajouter un fichier kickstart à une distribution. Pour cela, nous utiliserons le fichier ISO d'Oracle Linux 7 Early Adopter. Personnaliser les autres distributions basées sur Redhat n'est généralement pas très différent...

Extraire la distribution

Pour personnaliser une distribution, vous devez la télécharger et l'extraire dans un répertoire. Nous utiliserons un répertoire OL7 ci-dessous :

mkdir /tmp/iso

sudo mount -o loop \
     linux/OracleLinux-R7-U0-Server-x86_64-dvd.iso \
     /tmp/iso
[sudo] password for gregory: 
mount: /dev/loop0 is write-protected, mounting read-only

mkdir OL7
sudo cp -Rp /tmp/iso/* OL7
sudo umount /tmp/iso

Ajouter un fichier kickstart

Pour personnaliser cet ISO, nous ajouterons un fichier kickstart à la racine de la distribution. Vous pourrez alors gérer la plupart des aspects de l'installation à l'aide de ce fichier et grace aux différentes directives kickstart. Si ce n'est pas possible, vous pourrez toujours déployer et exécuter des scripts spécifiques. Vous trouverez ci-dessous un exemple de configuration qui :

réalise l'installation depuis le lecteur de cdrom
configure le premier lien réseau en DHCP
change le clavier en français
défini "manager" comme mot de passe root
désactive SELinux
positionne la timezone
efface le contenu de /dev/sda et installe linux avec un "layout" par défaut
n'exédute pas le programme de configuration initiale
arrête le serveur une fois l'installation réalisée

cd OL7
sudo cat ks.cfg 
install
cdrom
lang en_US.UTF-8
keyboard fr
network --onboot yes --device link --bootproto dhcp --noipv6
rootpw manager
firewall --service=ssh
authconfig --enableshadow --passalgo=sha512
selinux --disabled
timezone Europe/Paris --isUtc --nontp
bootloader --location=mbr --boot-drive=sda
text
skipx
zerombr
clearpart --all --initlabel
autopart
firstboot --disabled
poweroff
 
%packages
@base
@core
%end

Personnaliser le menu de démarrage

Nous pouvons ensuite ajouter un menu dans le fichier isolinux/isolinux.cfg de manière à démarrer l'installation avec le fichier kickstart précédent. Ajoutez la section ci-après dans le fichier:

label auto
  menu label Oracle Linux 7.0 ^Kickstart install
  menu default
  kernel vmlinuz
  append initrd=initrd.img inst.ks=cdrom:/ks.cfg inst.stage2=hd:LABEL=OL-7.0\x20Server.x86_64

Note 1:
Il faut supprimer la directive menu default du menu auquel il était précédemment attaché ; Par ailleurs, pour accéléder l'installation vous pouvez changer la clause timeout 600 en timeout 100

Note 2:
Il est important de référencer le bon libellé du fichier ISO dans inst.stage2 , c'est à dire celui qui sera utilisé lors de sa création.

Re-packager le fichier ISO

Pour terminer, nous créerons le fichier ISO à partir du répertoire modifié OL7 :

sudo  mkisofs -r -T -J -V "OL-7.0 Server.x86_64" \
    -b isolinux/isolinux.bin -c isolinux/boot.cat \
    -no-emul-boot -boot-load-size 4 -boot-info-table \
    -o /tmp/OracleLinux7.iso OL7/

sudo implantisomd5 /tmp/OracleLinux7.iso
checkisomd5 /tmp/OracleLinux7.iso

Note:
Si vous n'avez pas accès aux commandes ci-dessus, vérifiez que les RPMs genisoimage et isomd5sum ont bien été installés sur votre système.

Tester le fichier ISO

Enfin pour terminer, nous pouvons tester notre installation ainsi que les options associées :

Bibliographie
Redhat Enterprise Linux 7
Installation Guide
Chapter 23. Kickstart Installations

Installer la base de données Oracle 12.1 en ligne de commande et "silent"

2014-07-15T06:21:00.001-07:00

Installer et configurer des bases de données Oracle est probablement la première tache que les DBA voudront automatiser. Evidemment, ce n'est pas la tache qui coute le plus cher mais ce n'est pas non plus la plus difficile à mettre en oeuvre. D'un autre côté, l'installation arrive à un très mauvais moment si vous n'êtes pas en charge ou si vous n'avez pas déjà automatisé l'installation et la configuration des systèmes d'exploitation. Quoiqu'il en soit, cette opération est sans doute effectuée suffisamment fréquemment pour être intéressante à implémenter.

Chaque version et parfois Patchset viennent avec leurs changements. Oracle 12.1 ne fait pas exception à la règle ! Avant d'automatiser et de vous appuyer sur votre outil préféré pour les déployer, cet article présente les différentes lignes de commande que devez utiliser pour réaliser des installations en mode silencieux sur la plupart des systèmes.

Vérifier les pré-requis

Avant d'installer les logiciels Oracle, il faut s'assurer que l'ensemble des pré-requis sur le système sont réunis. Lorsque'Oracle Linux 6 est utilisé, cette étape est aussi simple que d'installer le RPM oracle-rdbms-server-12cR1-preinstall :

# yum -y install oracle-rdbms-server-12cR1-preinstall.x86_64

Setting up Install Process
Resolving Dependencies
[...]
Installed:
  oracle-rdbms-server-12cR1-preinstall.x86_64 0:1.0-11.el6
Dependency Installed:
 bc.x86_64 0:1.06.95-1.el6                   bind-libs.x86_64 32:9.8.2-0.23.rc1.el6_5.1
 bind-utils.x86_64 32:9.8.2-0.23.rc1.el6_5.1 compat-libcap1.x86_64 0:1.10-1
 compat-libstdc++-33.x86_64 0:3.2.3-69.el6   gcc-c++.x86_64 0:4.4.7-4.el6
 keyutils.x86_64 0:1.4-4.el6                 ksh.x86_64 0:20120801-10.el6_5.7
 libICE.x86_64 0:1.0.6-1.el6                 libSM.x86_64 0:1.2.1-2.el6
 libX11.x86_64 0:1.5.0-4.el6                 libX11-common.noarch 0:1.5.0-4.el6
 libXau.x86_64 0:1.0.6-4.el6                 libXext.x86_64 0:1.3.1-2.el6
 libXi.x86_64 0:1.6.1-3.el6                  libXinerama.x86_64 0:1.1.2-2.el6
 libXmu.x86_64 0:1.1.1-2.el6                 libXrender.x86_64 0:0.9.7-2.el6
 libXt.x86_64 0:1.1.3-1.el6                  libXtst.x86_64 0:1.2.1-2.el6
 libXv.x86_64 0:1.0.7-2.el6                  libXxf86dga.x86_64 0:1.1.3-2.el6
 libXxf86misc.x86_64 0:1.0.3-4.el6           libXxf86vm.x86_64 0:1.1.2-2.el6
 libaio.x86_64 0:0.3.107-10.el6              libaio-devel.x86_64 0:0.3.107-10.el6
 libdmx.x86_64 0:1.1.2-2.el6                 libedit.x86_64 0:2.11-4.20080712cvs.1.el6
 libevent.x86_64 0:1.4.13-4.el6              libgssglue.x86_64 0:0.1-11.el6
 libstdc++-devel.x86_64 0:4.4.7-4.el6        libtirpc.x86_64 0:0.2.1-6.el6_5.2
 libxcb.x86_64 0:1.8.1-1.el6                 mailx.x86_64 0:12.4-7.el6
 nfs-utils.x86_64 1:1.2.3-39.el6_5.3         nfs-utils-lib.x86_64 0:1.1.5-6.el6
 openssh-clients.x86_64 0:5.3p1-94.el6       rpcbind.x86_64 0:0.2.0-11.el6
 smartmontools.x86_64 1:5.43-1.el6           sysstat.x86_64 0:9.0.4-22.el6
 xorg-x11-utils.x86_64 0:7.5-6.el6           xorg-x11-xauth.x86_64 1:1.0.2-7.1.el6

Complete!

Note:
Il est important que le nom du serveur puisse être résolu depuis le serveur pour réaliser l'installation. Si les systèmes ne s'appuient pas sur un DHCP et/ou sur un DNS, il faudra s'assurer que le nom du serveur figure dans le fichier /etc/hosts.

Créer `ORACLE_BASE` et Inventory

Avant d'installer le logiciel Oracle, vous devrez créer, sous l'utilisateur root, un répertoire racine, un répertoire ORACLE_BASE et un répertoire Inventory. La procédure associée dépend possiblement du système d'exploitation. Avec Unix et Linux, vous pouvez simplement créer 3 répertoires avec les commande ci-dessous ; les emplacements de ces répertoires peuvent être modifiés pour correspondre à vos besoins :

if [ ! -d /u01 ]; then
   mkdir -p /u01/app/oracle/distribs
   mkdir -p /u01/app/oraInventory
   chown -R oracle:dba /u01
fi

Une fois les répertoires créés, il faut ajouter le répertoire oraInst.loc à l'emplacement adéquat comme dans le script ci-dessous sur Linux :

if [ ! -f /etc/oraInst.loc ]; then
   cat >/etc/oraInst.loc <<EOF
inventory_loc=/u01/app/oraInventory
inst_group=oinstall
EOF
  chown root:oinstall /etc/oraInst.loc
  chown 640 /etc/oraInst.loc
fi

Installer le logiciel Oracle

En supposant que le logiciel Oracle soit téléchargé et décompressé dans le répertoire /u01/app/oracle/distribs, l'installation ressemblera à celle ci-dessous :

cd /u01/app/oracle/distribs/database
export DISTRIB=`pwd`
./runInstaller -silent -responseFile $DISTRIB/response/db_install.rsp \
   oracle.install.option=INSTALL_DB_SWONLY \
   ORACLE_HOME=/u01/app/oracle/product/12.1.0/db_1 \
   ORACLE_BASE=/u01/app/oracle \
   oracle.install.db.InstallEdition=EE \
   oracle.install.db.DBA_GROUP=dba \
   oracle.install.db.BACKUPDBA_GROUP=dba \
   oracle.install.db.DGDBA_GROUP=dba \
   oracle.install.db.KMDBA_GROUP=dba \
   DECLINE_SECURITY_UPDATES=true \
   SECURITY_UPDATES_VIA_MYORACLESUPPORT=false \
   oracle.installer.autoupdates.option=SKIP_UPDATES

Starting Oracle Universal Installer...

Checking Temp space: must be greater than 500 MB.   Actual 35722 MB    Passed
Checking swap space: must be greater than 150 MB.   Actual 3967 MB    Passed
Preparing to launch Oracle Universal Installer from /tmp/OraInstall2014-07-14_07-03-22AM. Please wait ...
[WARNING] - My Oracle Support Username/Email Address Not Specified

You can find the log of this install session at:
 /u01/app/oraInventory/logs/installActions2014-07-14_07-03-22AM.log
The installation of Oracle Database 12c was successful.
Please check '/u01/app/oraInventory/logs/silentInstall2014-07-14_07-03-22AM.log' for more details.

As a root user, execute the following script(s):
 1. /u01/app/oracle/product/12.1.0/db_1/root.sh

Successfully Setup Software.

Comme vous pourrez le vérifier par ailleurs, l'installeur nécessite désormais de déclarer des groupes systèmes pour les différents privileges d'administration SYSDBA, SYSBACKUP, SYSDG et SYSKM. Une fois l'installation terminée, vous pourrez exécuter le script root.sh :

sudo  /u01/app/oracle/product/12.1.0/db_1/root.sh
[sudo] password for oracle: 
Check /u01/app/oracle/product/12.1.0/db_1/install/root_black.resetlogs.com_2014-07-14_07-07-45.log for the output of root script

Configurer et démarrer les Listeners

Avant de créer la base de données, vous voudrez créer et configurer le listener avec la commande netca :

. oraenv
ORACLE_SID = [oracle] ? 
ORACLE_HOME = [/home/oracle] ? /u01/app/oracle/product/12.1.0/db_1
The Oracle base has been set to /u01/app/oracle

netca -silent \
 -responsefile /u01/app/oracle/product/12.1.0/db_1/network/install/netca_typ.rsp 

Parsing command line arguments:
    Parameter "silent" = true
    Parameter "responsefile" = /u01/app/oracle/product/12.1.0/db_1/network/install/netca_typ.rsp
Done parsing command line arguments.
Oracle Net Services Configuration:
Profile configuration complete.
Oracle Net Listener Startup:
    Running Listener Control: 
      /u01/app/oracle/product/12.1.0/db_1/bin/lsnrctl start LISTENER
    Listener Control complete.
    Listener started successfully.
Listener configuration complete.

Créer une base de données

Il ne reste plus qu'à créer la base de données. La manière la plus rapide pour cela consiste à utiliser dbca. Il est possible de vérifier la syntaxe dans :

Oracle Database Administrator's Guide
12c Release 1 (12.1)
2 Creating and Configuring an Oracle Database
Creating a Database with DBCA

Ci-dessous est un exemple de création de base de données. Là encore, la version 12.1 arrive avec de nouveaux paramètres tels que createAsContainerDatabase:

dbca -silent -createDatabase      \
  -templateName New_Database.dbt  \
  -gdbName BLACK                  \
  -createAsContainerDatabase true \
  -sysPassword change_on_install  \
  -systemPassword manager         \
  -emConfiguration NONE           \
  -storageType FS                 \
  -characterSet AL32UTF8          \
  -totalMemory 1024

Avant de vous précipiter pour installer et configurer vos bases de données Oracle automatiquement à l'aide des jeux de commandes ci-dessus, une solution, bien meilleure, consiste à utiliser les fonctions de clone des produits Oracle. Cela sera le sujet du prochain article de ce blog...

Alter Blog Open Resetlogs... to the Cloud

2014-07-14T16:34:00.000-07:00

L'utilisation du cloud et d'Oracle ont avancé d'un pas cette année. Depuis 6 mois, en plus de ceux qui utilisent Amazon Web Service ou qui souscrivent à des applications en mode SaaS, j'ai rencontré des gens intéressés par de nouveaux clouds publics pour Oracle comme Microsoft Azure ou même Oracle Backup Database Cloud - pour l'instant. J'ai également rencontré des personnes, fournisseurs d'infrastructures privées de production, en mode PaaS qui s'appuient sur Oracle. Si bien que je me demande dans quelle mesure 2014 pourrait changer la donne pour la technologie Oracle et le cloud.

Ne vous méprenez pas, il n'existe pas de baguette magique pour le cloud Oracle. Il n'existe pas non plus une solution comme, vous achetez quelques serveurs Exa-, des packs et options supplémentaires et, waouh : vous obtenez un cloud Oracle élastique, sécurisé, qui ne s'arrête jamais, en mode self-service, facturé à l'utilisation et extrême. Tout ça n'existe pas ! Et pourtant, les promesses du cloud Oracle sont absolument excitantes...

Le cloud transforme l'informatique et Oracle embrasse le concept, au moins du point de vue des technologies... Si vous êtes DBA, le moment est venu de vous précipiter sur le cloud, à moins, bien sur, que vous soyez déjà du voyage. Pour dire ça autrement, le cloud est le challenge le plus important et le plus passionnant que les DBAs ont rencontré depuis des dizaines d'années. Il va ouvrir de nouvelles opportunités et voici pourquoi :

Le cloud, c'est la combinaison des technologies : les DBAs étaient des experts des bases de données : les plus talentueux connaissent et comprennent les réseaux, le stockage, les systèmes, les sauvegardes, le middleware et le code/les application. Avec les systèmes intégrés, les bases de données viennent désormais avec du réseau, du stockage et des systèmes que les DBAs doivent gérer. Les nouveaux modèles de déploiement du cloud Oracle comme Virtual Compute Appliance, les Flexpod ou Openstack vont renforcer cette tendance
Le cloud, c'est l'automatisation : depuis des années, les organisations ont outsourcées les DBA aux moins-disant. Les résultats sont des systèmes, pas si bon marché, gérés de manière lâche, vieillissant, hétérogènes, sous-utilisés et sous-optimisés. L'automatisation et Devops promettent 10x plus d'efficacité et un changement complet de culture. Les DBAs devront réaliser plus de changements, de manière plus régulière et en gérant les risques associés
Le cloud, c'est les extensions et la localisation: C'est sans doute le plus grand changement pour les DBAs. Pour être des succès, les clouds doivent s'adapter aux besoins et contraintes des organisations. Les DBAs devront diriger ces intégrations et s'appuyer sur les nombreuses APIs cloud pour ce faire

Qu'est-ce que ça change pour moi ?

Pendant des années, vous avez peut-être croisé mes articles en vous demandant qui est ce DBA bâtard qui s'intéresse au SQL, au code et aux applications mais aussi aux systèmes, au réseau, au stockage et même aux technologies non-Oracle. Il se pourrait que je n'ai pas été qu'un bâtard mais un peu en avance sur mon temps et capable d'en profiter maintenant.

J'ai réglé quelques problèmes personnels, j'ai basculé à nouveau sur les technologies Oracle et j'ai décidé de redémarrer mes articles à partir de ce nouvel angle : comment combiner, automatiser et étendre les technologies Oracle. Si vous êtes intéressé, vous pouvez recommencer à me suivre sur mon nouveau compte Twitter @GregoryGuillou et sur ce Feed... Et de nouveaux articles paraîtront bientôt !