ArKZoYd

Fonctions de table et Parallèlisme

2012-01-24T22:30:00.012+01:00

Il y a quelques semaines, yooo13 qui se reconnaîtra ;-), rebondissant sur un problème de performance d'un des batchs sur lesquels je travaillais, pointait le fait que les fonctions de table ou fonctions "pipelined" peuvent être parallélisées et que j'y trouverais une solution à mon problème...

L'idée simple, et par ailleurs expliquée dans cet article, consiste à prendre le jeu de données d'origine et de le segmenter en jeux plus petits, à la "mapreduce"... Au final et dans mon cas, le résultat est excellent et permet, après 1/2 journée de travail, de diviser les temps de réponse par un facteur d'échelle, passant d'une heure à quelques minutes, par une manipulation purement technique.

Evidemment, ce n'est pas sans de quelques sacrifices. En particulier, l'introduction de code PL/SQL supplémentaire rend la solution, déjà mal écrite/décrite, encore plus difficile à comprendre et ce, malgré tous mes efforts. Mais le sujet de cet article est ailleurs, il s'agit d'illustrer, une des difficultés que j'ai rencontrée, travaillant sur un tout petit jeux de données de 1000 lignes pour équilibrer les "partitions" de mes exécutions en parallèle
Plus d'infos »

Un exemple d'utilisation du hint "CARDINALITY"

2012-01-22T13:08:00.000+01:00

Le hint CARDINALITY permet d'aider l'optimiseur Oracle en lui "soufflant" le nombre de lignes retournées pour une étape d'un plan. Vous pensez qu'avec les différents mécanismes de dynamic sampling, cardinality feedback, statistiques multi-colonnes, statistiques sur les colonnes virtuelles et SQL Profile, ce hint est inutile ?

Voici une requête où typiquement, la seule solution, sauf de fixer le plan ou de réécrire le SQL, consiste à utiliser ce hint :
Plus d'infos »

Flashback et Snapshot Standby en Action

2012-01-07T08:13:00.000+01:00

Qui utilise une base de données Oracle et n'a jamais besoin ?

d'investiguer les causes d'un problème constaté en production quelques minutes/heures auparavant
de tester une correction ou une évolutions et comparer le résultat à celui de la production
de ré-exécuter un batch après correction de données et réintégrer le résultat en production
de simuler des modifications pour des raisons techniques ou métier

Pour tous ces scénarios, une base de données standby est très utile et peut être ouverte en lecture-écriture... sans "Active Data Guard" mais simplement avec Flashback Logs et Snapshot Standby.

Cet article illustre comment combiner ces 2 fonctionnalités, faire reculer la base de données de standby et l'ouvrir en lecture écriture. Une fois vos tests réalisés, vous pourrez resynchroniser base de données primaire et standby...
Plus d'infos »

Le premier jour de la première semaine de 2012... à New-York !

2012-01-04T07:05:00.000+01:00

Discussion lunaire fin 2011 à propos de la première semaine de 2012 : Google Calendar et Microsoft Outlook ne sont pas d'accord ! Il y a ceux qui pensent que la première semaine commence au premier lundi de l'année ; Et Outlook qui met le premier jour de l'année la première semaine... Si on s'en réfère à la description ISO des semaines, la première semaine de l'année est celle qui contient le premier jeudi de l'année.

Cette année, la première semaine commence donc le 2 comme le confirme le SQL ci-dessous qui utilise les formats de date d'Oracle :

select to_char(to_date('01/01/2012','DD/MM/YYYY'), 'IW/IYYY') SEM
  from dual;
SEM
-------
52/2011

select to_char(to_date('02/01/2012','DD/MM/YYYY'), 'IW/IYYY') SEM
  from dual;

SEM
-------
01/2012

Le 31 décembre 2012 est quant à lui la première semaine de 2013 :

select to_char(to_date('31/12/2012','DD/MM/YYYY'), 'IW/IYYY') SEM
  from dual;

SEM
-------
01/2013

Tout s'éclaire donc... Mais à vrai dire, ma préoccupation était moins le numéro de la semaine que la date du premier jour de la première semaine de l'année mais pas à Paris ! En France, le premier jour de la semaine est le lundi alors qu'aux Etats-Unis, c'est le dimanche :

alter session set nls_territory=FRANCE;

select to_char(to_date('01/01/2012','DD/MM/YYYY'), 'D') DAY
  from dual

D
-
7

alter session set nls_territory=AMERICA;

D
-
1

Question : "Quel est donc le premier jour de la première semaine de l'année au Etats-Unis ?". Demandons à Oracle...

alter session set nls_territory=AMERICA;
alter session set nls_date_format='DD/MM/YYYY';

select trunc(to_date('02/01/2012','DD/MM/YYYY'), 'IW') DAY
  from dual;

DAY
----------
02/01/2012

La réponse est donc un lundi... Même aux Etats-Unis ! Pourquoi ? Parce que dans la définition ISO des semaines, le premier jour de la semaine est le lundi. Seulement, voilà, j'ai beau chercher dans les formats de date d'Oracle, il n'y a pas de format qui permette de trouver le jour de la semaine ISO d'une date. 'D' dépend toujours du territoire. L'intérêt d'être en France est que 'D' signifie donc aussi le jour de la semaine ISO... Mais ce n'est pas vrai partout !

Et voilà, l'histoire de mon premier bug de 2012 qui est aussi le dernier de la dernière semaine de 2011... Bref, bonne année à tous !

Développer des triggers "asynchrones" Oracle pour gagner en performance

2011-12-24T17:02:00.000+01:00

Entre de mauvaises mains, les triggers sont des instruments de malheur. Leur temps d'exécution s'immisce dans les temps de réponse de vos ordres SQL sans que vous ne puissiez rien y faire...

Seulement, voilà, ré-écrire une application est extrêmement coûteux et il faut trouver des moyens rapides de faire d'évoluer ses architectures pour améliorer l'expérience des utilisateurs sans sacrifice démesuré. Introduire de l'asynchronisme dans les codes de bases de données est une solution simple qui permet d'arriver à des résultats intéressants sans "tout casser"...

Le dessin ci-dessous illustre l'idée d'une telle transformation qui peut dans certain cas être redoutable : elle permet de lisser la charge, d'extraire le temps dédié aux triggers du temps de réponse et garantit malgré tout qu'il n'y a pas de perte d'information :
Plus d'infos »

Cloner vos schémas Oracle avec la commande RMAN Transport Tablespace

2011-12-24T12:13:00.000+01:00

A l'heure où les opérations sur vos bases de données doivent être simples, rapides et fiables, faire correspondre schéma(s) applicatif(s) et un jeu de tablespaces est un excellent moyen de gérer clone et migration, y compris d'une plateforme à l'autre.

Evidemment, cela suppose que votre application puisse utiliser comme paramètre le nom de son ou ses schémas. Cela suppose que le jeu de caractère soit suffisamment standard comme AL32UTF8. Cela suppose également que l'application ne s'appuie pas sur des objets partagés comme, par exemple, des privilèges, des synonymes ou des liens de bases de données avec des accès publics. Cela dit, même lorsque ces contraintes ne sont pas vérifiées, l'utilisation des tablespaces transportables peut s'avèrer d'une très grande utilité.

Cet article illustre comment cloner l'ensemble des tables et index du schéma DEMO dans la même base de données dans le schéma DEMO2. Il s'appuie pour cela sur le fait qu'il existe une correspondance entre l'utilisateur DEMO et un jeu de tablespace, en l'occurrence, ici, un seul tablespace. Il s'appuie sur la commande Tranport Tablespace de Recovery Manager. Le graphique ci-dessous illustre l'opération réalisée :
Plus d'infos »

A la recherche d'un premier job ou d'un stage ?

2011-12-16T15:14:00.001+01:00

Si vous êtes un fidèle de ce blog, vous savez que l'expérience ArKZoYd a donné naissance, il y a quelques mois, à The ArKZoYd Company. Nous sommes déjà confrontés à un de ces bons problèmes : il nous faut de l'aide, une aide intelligente et percutante.

Nous recherchons un(e) jeune pour un premier emploi ou un stage. Si vous lisez cet article, vous êtes sans doute déjà trop expérimenté ; ne fuyez pas pour autant ! Qui connaissez-vous ?

Peu importe qu'il connaisse Oracle pourvu qu'il soit très bon en mathématiques et, si possible, s'y connaisse en système.
Peu importe l'endroit en France pourvu qu'il n'ait pas peur de se déplacer.
Peu importe la tempérance, pourvu qu'il soit fort, juste et prudent.
Peu importe les conventions, pourvu qu'il soit combattif et au soutien.

Soyons clair, se lancer dans une start-up pendant la crise n'est pas raisonnable, ni facile... C'est extrêmement passionnant. Si vous pensez correspondre à ces critères ou connaissez quelqu'un qui y ressemble, contactez-moi sur Twitter @ArKZoYd ou laissez vos coordonnées sur la page contacts de The ArKZoYd Company.

- Grégory

Désinstaller Oracle avec le script "deinstall"

2011-12-16T09:47:00.000+01:00

Très honnêtement, je n'utilise jamais le script deinstall pour supprimer Oracle. Je préfère utiliser runInstaller -detachHome, un tar suivi d'un rm -rf db_x qui a l'extrême avantage de pouvoir servir de base aux cloning d'environnements. Cela étant, je suis pour tout ce qui me fait gagner du temps ! L'autre jour, sans accès Internet et sans autre besoin que de faire un rm -rf *, j'ai décidé de donner une nouvelle chance à l'outil de désinstallation d'Oracle, histoire de...

Il s'avère que désinstaller, cet outil est très efficace [NDLR: comme son nom l'indique, mais je suis toujours méfiant]; non seulement il supprime le logiciel mais il peut également détruire vos bases de données, supprimer les listeners, déconfigurer OCM/CCR, supprimer les disgroups ASM et les instances associées, supprimer la cible correspondante d'Enterprise Manager. Bref,
Plus d'infos »

VIDEO Gérer les Utilisateurs Oracle dans votre Annuaire grâce à EUS et OVD

2011-11-30T00:40:00.000+01:00

Avec l'implémentation dans les drivers JDBC thin 11.2.0.3 de O5LOGON, il est désormais possible de gérer depuis les principaux annuaires du marché les mécanismes d'authentifications, d'autorisations et d'audits de vos bases de données Oracle Enterprise Edition 11g et... 10g. Vous pouvez ainsi désormais utiliser Microsoft Active Directory, Novell eDirectory et Sun Directory Server (aka iPlanet ou Oracle Directory Server EE) en plus d'Oracle Internet Directory...

Avec ce type de configuration, vous pourrez utiliser des clients .NET, OCI et JDBC ; vous pourrez gérer les droits SYSDBA en 11.2. De quoi avez-vous besoin ? Oracle Virtual Directory et quelques jours de projet, pas plus. Les intérêts sont multiples :
Plus d'infos »

Faites du bruit pour /dev/random

2011-11-18T20:17:00.000+01:00

Il y a quelque mois, j'ai attendu patiemment de très longues minutes pour créer un domaine Weblogic sur un serveur virtualisé au fond du datacenter. Hier, j'ai recroisé son petit frère et le même phénomène...

Je me suis énervé au point de lui faire peur et le second serveur est allé beaucoup plus vite : 2 minutes contre plus de 20 minutes pour le premier.

Franchement, j'ai eu du mal à y croire au début ; le temps de configuration ne dépend que de mon niveau d'énervement :
Plus d'infos »

Les joyaux du support Oracle pour vos bases de données

2011-11-16T23:12:00.000+01:00

L'un des avantages du support Oracle est sa collection d'outils et de scripts. Ceux-ci sont largement utilisables en dehors du contexte des appels au support ou de "bugs". Les outils les plus connus sont OSWATCHER, LTOM, RDA et son module HCVE qui permet d'identifier rapidement des erreurs de configurations du système.

Si vous traitez de problèmes de performance SQL, prenez 2 heures pour vous familiariser avec SQLT (aka SQLTXPLAIN) ; celui-ci extrait toutes les informations nécessaires pour analyser et corriger rapidement des problèmes de performances SQL. En bref, SQLTXPLAIN contient l'ensemble des fonctions suivantes :
Plus d'infos »

Oracle Database 11g and Ubuntu 11.10 Oneiric Ocelot

2011-11-11T21:02:00.003+01:00

If you've upgraded your laptop to Ubuntu 11.10 Oneiric Ocelot and want to install an Oracle Database Software for strictly self-educational purposes, you might be very annoyed by a small change in the way gcc checks its references when linking.

Note:
Don't use Ubuntu with any Oracle Database other than XE or for self-educational purposes

So assuming you are using the best blog to perform such a dangerous task as installing Oracle on Ubuntu, you should still hit the message below :
Plus d'infos »

Flashback Table et DDL...

2011-10-25T08:23:00.000+02:00

Si l'article précédent présente Oracle Total Recall, c'est, certes pour illustrer une options simplissime pour résoudre un problème de plus en plus commun... C'est aussi pour soutenir que son utilisation peut amener à des situations étonnantes lorsque vous utiliser la commande flashback table. C'est l'objet de ce nouvel article.

Notes:
Ce comportement a été observé en version 11.2.0.2 sur Linux 32 bits et est différent selon les versions.
Pour rappel, la fonctionnalité de flashback table est une encapsulation de flashback query versions pour ré-appliquer à l'envers les modifications ; il n'est donc, ni étonnant que cela fonctionne avec Total Recall, ni étonnant que, en 11.2, elle traverse certains ordres DDL. Ceci parait assez naturel, même si la combinaison n'est pas décrite explicitement dans la documentation.

Plus d'infos »

Total Recall en 5'

2011-10-24T23:34:00.000+02:00

De nombreux projets exigent désormais de tracer les modifications de vos bases de données. Pour cela, il existe plusieurs technologies qui vont des triggers "for each row" à Log Miner, Streams, GoldenGate ou Change Data Capture, de-supporté dans les futures versions.

Si votre besoin est d'historiser les modifications, Total Recall (a.k.a Flashback Archive) est une solution extrêmement efficace. Elle adresse la complexité de gestion des méthodes manuelles. Elle est simple, performante, robuste, souple et sécurisée ; cet article illustre ces différents aspects...
Plus d'infos »

Changements de coût des Index Skip Scan entre 10g et 11g

2011-10-23T08:17:00.000+02:00

Si vous êtes attentifs aux changements de plans lors de vos migrations entre versions de base de données, vous avez sûrement remarqué que les plans mettant en oeuvre les algorithmes Index Skin Scan sont largement favorisés lors du passage en 11g. Pour vous en persuader, reprenez la table exemple de l'article précédent et lancez l'ordre SQL ci-dessous en 10.2 et en 11.2 :
Plus d'infos »

10 algorithmes qui utilisent le même index

2011-10-20T09:06:00.001+02:00

Cet article illustre sur une base Oracle 11.2, avec une seule table, les différents algorithmes qu'Oracle peut utiliser avec le même index B*Tree, à savoir :

Index Unique Scan
Index Range Scan
Index Skip Scan
Index Fast Full Scan
Index Full Scan
Index Range Scan Descending
Index Full Scan Descending
Index Range Scan (Min/Max)
Index Full Scan (Min/Max)
Index Sample Fast Full Scan

Et un petit exemple (no comment) en bonus pour les plus courageux...
Plus d'infos »

Présentations OOW11 et Démonstrations EM12c Cloud Control

2011-10-08T23:25:00.000+02:00

Voici 2 URLs que vous explorerez sans doute longuement :

Bonnes lectures... J'ai repéré quelques perles et vous ?

Openworld et JavaOne dans les starting blocks

2011-10-01T10:27:00.000+02:00

A nous, restés en France : Oracle OpenWorld 2011 et JavaOne démarrent demain avec leurs concerts de news déjà...

Les lancements officiels comme Oracle VM 3.0 (aka 4x moins cher), JCP.Next (JSR 348) ou Oracle Database Appliance ; les nouveautés discrètes comme le supports d'HCC sur ZFS Storage Array et Pillar Axiom; les fuites orchestrées comme un serveur Exadata Hadoop ou Oracle NoSQL Database, Weblogic 12.1.1 qui inclut Java EE 6; de vagues rumeurs sur ASMLib et Oracle Linux. J'oubliais les peaux de bananes pour HP oracle.com/PleaseBuyAutonomy et sans doute bientôt plus... - Je verrai bien un petit Salesforce.com en plus des grands classiques !

Et vous, qu'est-ce qui vous intéresse ?

Je suivrai avec intérêt le lancement d'Enterprise Manager (12g?) lundi à 5pm PST. J'espère quelques news sympa et une déclinaison à suivre à Paris dans quelques semaines... Pour ceux qui sont obsédés par les performances, voici une présentation video qui vous mettra dans l'ambiance en terme de ce qu'on peut attendre de mieux d'OEM :

Plus d'infos »

Programmation "Event-Based"

2011-09-25T18:43:00.000+02:00

L'article précédent présente les limites de l'utilisation de DBMS_SCHEDULER avec des évènements :

Les messages ne peuvent pas être traités de manière séquentielle
Vous pouvez perdre les messages en cas d'un crash d'instance et ceci, bien que les files d'attentes soient persistentes

Alors comment gérer proprement des évènements dans les bases de données Oracle ? Deux options s'offrent à vous : (1) développer un daemon ou (2) vous appuyer sur un message handler Streams. La seconde méthode est bien plus simple et c'est l'option que ce nouvel article illustre à travers un exemple.
Plus d'infos »

Oracle Event-Based Scheduler n'est pas Event-Based

2011-09-23T20:16:00.000+02:00

Ca parait sévère dit comme ça... Le fait est que, si vous envisagez de gérer des évènements de manière asynchrone dans une base Oracle, il y a de grande chance que le scheduler ne soit pas l'outils pour ça. A moins que :

vous n'ayez pas peur de perdre des évènements
vous n'ayez pas trop d'évènements
vous n'avez pas besoin de gèrer les évènements en série

Je ne vais pas faire de mystère, le problème est décrit avec le paramètre parallel_instances la documentation ! Pour le contourner, vous préfèrerez utiliser un message handler.

Cet article illustre, à travers un exemple simple comment mettre en oeuvre le scheduler avec des évènements et les limites de ce type d'approche
Plus d'infos »

Pourquoi Oracle Database Appliance n'a rien à voir avec Exadata ?

2011-09-22T11:50:00.002+02:00

A force d'entendre parler de "mini-exadata", beaucoup s'attendaient à voir apparaître... un mini-exadata ? Oracle Database Appliance (ODA) est une appliance d'une toute autre nature. Pas sur que tout le monde l'ai bien compris. Cet article revient sur l'annonce et ce qui pourrait changer.

Une configuration sympa, mais...

Plus d'infos »

Pythian is breaking the rules !

2011-09-21T20:18:00.000+02:00

J'adore cet état d'esprit !!!!!! Migrer une base Oracle de 10 To de 9i AIX à Exadata X2-2 pour moins de 15k€ au cours du jour pour un tarif fixe et avec moins de 4 heures d'indisponiblité, c'est juste ENORME... Faites votre quotation en ligne.

Vous allez pouvoir challenger vos fournisseurs. J'entends bien quand @alexgorbachev "The devil is in the details" ! N'empêche, ça remet bien les choses à leur place. Tant pis si ça ne plait pas à tout le monde

#Pythian, I wish all the best to your top performers !

Référencer les tables d'une requêtes dans vos hints

2011-09-17T15:57:00.000+02:00

Lorsqu'une requête inclut des sous-requêtes, il n'est pas toujours simple de référencer les tables associées dans des hints ; cet article illustre, grâce à quelques exemples simples, comment faciliter ces références :

grâce à des hints au niveau de chaque bloc
à l'aide du hint QB_NAME
en s'appuyant sur le nommage automatique des blocs d'une requête

Evidemment chaque méthode à ses avantages et ses limites...

Remarque :
Cet article n'est en aucun cas un encouragement à mettre des hints dans vos requêtes...

Plus d'infos »

Exadata et SAP : c'est hot !

2011-09-08T15:03:00.000+02:00

Si vous utilisez SAP et que vous êtes, pour de bonnes ou de mauvaises raisons >:), intéressé par les technologies Oracle et en particulier Exadata, le sujet a rarement été aussi chaud :

Inscrivez-vous à la présentation SAP / Exadata, le 28 septembre 2011 matin à l'aéroclub de France. Je serai normalement dans la salle ce qui permettra de joindre l'utile au convivial !
Et aussi,

Plus d'infos »

2x plus rapide à 100% de charge

2011-09-04T10:48:00.000+02:00

J'aime mon laptop. Pas cher, facile à remplacer, un peu de RAM, Linux, quad-cores, 64 bits. Bref, il me permet de simuler beaucoup de comportements des serveurs et j'ai 5 navigateurs web différents sans compter wget et curl...

Alors quand, pour un bête test de montée en charge, j'obtiens la courbe en rouge ci-dessous, j'avoue que je reste perplexe

Par quel miracle, est-il 2x plus rapide à 100% de charge qu'à 50% ?
Plus d'infos »

ArKZoYd

Fonctions de table et Parallèlisme

Un exemple d'utilisation du hint "CARDINALITY"

Flashback et Snapshot Standby en Action

Le premier jour de la première semaine de 2012... à New-York !

Développer des triggers "asynchrones" Oracle pour gagner en performance

Cloner vos schémas Oracle avec la commande RMAN Transport Tablespace

A la recherche d'un premier job ou d'un stage ?

Désinstaller Oracle avec le script "deinstall"

**VIDEO** Gérer les Utilisateurs Oracle dans votre Annuaire grâce à EUS et OVD

Faites du bruit pour /dev/random

Les joyaux du support Oracle pour vos bases de données

Oracle Database 11g and Ubuntu 11.10 Oneiric Ocelot

Flashback Table et DDL...

Total Recall en 5'

Changements de coût des Index Skip Scan entre 10g et 11g

10 algorithmes qui utilisent le même index

Présentations OOW11 et Démonstrations EM12c Cloud Control

Openworld et JavaOne dans les starting blocks

Programmation "Event-Based"

Oracle Event-Based Scheduler n'est pas Event-Based

Pourquoi Oracle Database Appliance n'a rien à voir avec Exadata ?

Une configuration sympa, mais...

Pythian is breaking the rules !

Référencer les tables d'une requêtes dans vos hints

Exadata et SAP : c'est hot !

2x plus rapide à 100% de charge

VIDEO Gérer les Utilisateurs Oracle dans votre Annuaire grâce à EUS et OVD