Andrea Tech Blog

HIVE: Extreme Datawarehousing

2010-02-09T17:46:00.004+01:00

HIVE è un progetto di Apache Software Foundation, inizialmente sviluppato da Facebook per permettere ai propri analisti di fare elaborazioni su enormi volumi di dati in totale autonomia.

HIVE è un’infrastruttura di Data Ware Housing che permette di memorizzare dati ed effettuare query in un linguaggio simile ad SQL. Hive utilizza un’infrastruttura per la distribuzione dello storage e delle elaborazioni chiamata Hadoop (che è un’implementazione di MapReduce), che permette di distribuire la memorizzazione dei dati e delle elaborazioni su un cluster di macchine eterogenee a basso costo.

Per fare un esempio pratico, Facebook raccoglie oltre 2TB di dati (compressi) al giorno utili all’analisi. La memorizzazione avviene su un cluster enorme (migliaia di nodi) di macchine relativamente semplici (es. 2 CPU, 4 GB Di RAM, 2TB di disco, ovvero macchine che costano circa 1000$).

HIVE permette di fare query su tale volume di dati, distribuendo automaticamente il carico sul cluster, e senza dover scrivere del codice, ma solamente utilizzando un linguaggio molto simile a SQL (cosa abbastanza diffusa tra gli analisti). Sempre per tornare a Facebook, gli analisti di Facebook possono fare query ad hoc su Petabyte di dati, senza dover avere uno skill da programmatore.

Un altro elemento interessante è che HIVE è offerto anche on-the-cloud (da Amazon, per esempio, con il servizio Elastic MapReduce), permettendo quindi la possibilità di usare un cluster Hadoop con un costo a consumo (magari solo un giorno al mese ho bisogno di un cluster di 100 nodi per fare una query su 1 Petabyte di dati).

Per dimostrare le potenzialità di questo strumento, ho convertito in HIVE una query che viene oggi eseguita su un database Oracle per la costruzione di un Data Mart. Sul database Oracle la query impiega circa 10 ore ad essere risolta: è una query piuttosto complessa che coinvolge centinaia di milioni di record. Il database Oracle è installato su una macchina configurata con 4CPU, 24GB RAM e uno Storage SCSI.

Ho quindi lanciato la stessa query convertita nel linguaggio di HIVE, su un cluster Hadoop di Amazon aumentando progressivamente i nodi a disposizione. E’ stato interessante notare che la velocità di esecuzione della query è inversamente proporzionale al numero di nodi. Ovvero: con 1 nodo la query veniva risolta in 20 ore, con 2 nodi in 10 ore, e così via.

Ma la cosa però secondo me più interessante è che il costo per risolvere la query è indipendente dalla velocità con cui la si vuole risolta. Mi spiego meglio: su Amazon si pagano le ore di utilizzo delle macchine virtuali. Affittare quindi una macchina per 20 ore equivale ad affittare due macchine per 10 ore. Ma avendo a disposizione un cluster di due macchine, con HIVE posso risolvere la query al doppio della velocità, mantenendo il costo costante!

Orthogonal Toolbox: esportare un diagramma Entity Relationship da Visio

2009-10-13T09:34:00.003+02:00

Io adoro Visio. Permette di fare grafici di tipologie molto diverse... flowchart, DFD, mappe di interni di edifici, diagrammi di rete, diagrammi di schedulazione, diagrammi entity relationship, etc.

Per ognuno di questi grafici sono sicuro che esista un tool migliore di Visio. Ma il fatto di poter fare tutti questi tipi di grafici da un solo programma è un gran vantaggio.

Una delle grosse limitazioni che ho incontrato più volte riguarda proprio i diagrammi Entity Relationship. Non è possibile da un ER esportare i dati in codice SQL, o in un qualunque formato che non sia grafico. Non è nemmeno possibile esportare l'elenco delle colonne di una tabella in un file excel.

Dovrebbe essere possibile farlo da Visio for Enterprise Architect. Ma non ho mai avuto la possibilità di vedere questa versione del prodotto. Credo non sia molto diffusa.

Ho trovato un tool fenomenale che si aggancia a Visio e fa abbastanza quello che voglio. Si chiama Orthogonal Toolbox. Questo strumento permette di esportare in XML i dati di un diagramma ER, e poi di applicare un XSD al file XML generato. Quindi è possibile esportare tutti i dettagli, e trasformarli in qualunque altro formato.

A me... me piace.

Salvare la disposizione delle icone sul desktop

2009-10-13T09:18:00.002+02:00

Per l'angolo delle utility.

Spesso capita di attaccare il portatile ad un proiettore. Talvolta questa operazione provoca il cambio di risoluzione. E le icone sul desktop perdono la disposizione che con la vostra maestria avevate ritenuto essere la più produttiva, intuitiva e soprattutto concettualmente artistica.

Ho scoperto da poco un semplice tool che permette di salvare la disposizione delle icone e ripristinarla in qualunque momento.

Si tratta di una dll (layout.dll). Potete trovarla su un sacco di siti (basta cercare su google layout.dll). Io l'ho scaricato da qui.

Funziona anche con Vista!

Scalabilità Infinita: elastic map reduce

2009-05-13T19:08:00.001+02:00

Amazon ha inserito nella sua offerta di servizi Elastic MapReduce.

Per chi non conoscesse MapReduce, si tratta di un paradigma di programmazione, sviluppato da Google, per applicazioni di calcolo distribuito. Esempio semplice: dobbiamo applicare un algoritmo di clusterizzazione a 30 Miliardi di dati, che sul tuo pc impiega solamente 100 giorni a essere calcolato. Come fare? Semplice, dividiamo il problema in 100 sottoproblemi, lo diamo in pasto a 100 nodi del nostra server farm general-purpose, e alla fine ricomponiamo i risultati ottenuti in un unico output, in 1 giorno.

Piccolo problema, nessuno di quelli che conosco ha una server farm general-purpose con 100 nodi.

A questo punto arriva Amazon, che offre Elastic MapReduce, ovvero ti affitta 100 nodi per 1 giorno, e implementa già il framework hadoop, ovvero il framework che implementa MapReduce.

A questo punto non avrà più senso dire che i tempi di elaborazione sono troppo lunghi. Semmai l'algoritmo è inefficiente. Oppure non si è stati sufficientemente smart da trovare un algoritmo che permette di suddividere il problema in sottoproblemi. In questo caso, i tempi di elaborazione dipendono solo dalla fretta del cliente: lo vuoi in un 1 giorno, affitta 100 nodi. Lo vuoi in un'ora? Affita 2400 nodi.

Il pensiero lineare è finito. Se pensate ancora con i cicli for e while, siete alle schede perforate.

iPod touch jailbreak: il mio unix tascabile hacker-friendly

2009-03-16T17:59:00.004+01:00

Un po' di tempo fa dicevo che iPhone e Android erano roba da pivelli, e guardavo con interesse il Neo Freerunner, un cellulare touchscreen con hardware e software open source che era per me l'unico dispositivo che un vero hacker avrebbe voluto avere tra le mani.

Ma visto che sono pigro e parsimonioso mi sono comprato un iPod touch 2g, che fino a una settimana fa era per me un aggeggio tecnologico incredibile, ma troppo chiuso.

Finché non è uscito il jailbreak per l'iPod touch 2g, che OVVIAMENTE ho installato non appena possibile. Il jailbreak è un crack che permette di accedere al sistema operativo interno di iPod e iPhone e di far girare software non approvato da Apple.

Fare ssh VERSO l'iPod touch è stata una vera emozione. Trovare installato apt, ovvero il package manager ereditato da Debian/GNU Linux, è stato ancora più bello.

L'ipoddino così diventa lo strumento definitivo, d'altronde se hai uno Unix, un'interfaccia seriale e il wifi, puoi farci veramente tutto quello che vuoi. Come ad esempio il team di xgps, che ha sviluppato un modulino hardware GPS da agganciare all'ipoddino e il software di navigazione.

D'altronde, se non puoi modificare il tuo device per controllare l'accensione del microonde via webservice, che device inutile è?! :-)

Amazon EC2 news

2008-11-07T11:51:00.002+01:00

Amazon annuncia importanti novità per gli AWS:

gli SLA su EC2: finalmente si potranno usare le macchine EC2 per offerte su servizi che richiedono un livello di disponibilità
la disponibilità di macchine sul servizio EC2 con Windows Server 2003, e volendo anche con Microsoft SQL Server preinstallato

E i server chi se li compra più?

Oracle Cloud Computing

2008-10-09T10:43:00.003+02:00

Le risposte alle mie domande circa Oracle e Cloud Computing.

Oracle Open World 2008

2008-10-02T22:41:00.006+02:00

Ho avuto la possibilità di partecipare ad Oracle Open World 2008 a San Francisco. E' stata un'esperienza entusiasmante.

La città è fantastica, non ci ero mai stato, ed è stata un'occasione unica per fare anche un po' di turismo. Ospita una varietà di persone incredibile, ha il clima perfetto, ha dei bei parchi e vanno tutti in bici nonostante le ripide colline. Insomma, un posto dove varrebbe la pena viverci, almeno per un po'. L'unica cosa deprimente sono gli homeless: mi ha fatto molto effetto vedere così tanta povertà in una nazione così ricca.

E poi c'era l'Open World. Un evento grandioso, con 40.000 visitatori, organizzato alla perfezione. Sembrava quasi di stare nel periodo delle olimpiadi di Torino.

Le principali novità presentate da Oracle sono state Beehive ed Exadata. Beehive è uno strumento collaborativo, che si integra con altri strumenti sia lato server (es. Microsoft Exchange) sia client (es. Outlook). Rispetto agli strumenti nativi offre funzionalità ulteriori, come la condivisione di file, un sistema di gestione della sicurezza dei contenuti, una webconference e altro. Sinceramente non mi ha molto impressionato. Ho ancora in mente Oracle Collaboration Suite e Beehive sembra un remake. Inoltre temo che non abbia detto nessuno ad Oracle chi erano i Beehive in Italia.

Exadata invece è la Database Machine sviluppata da Oracle e HP. Hardware dedicato e un database Oracle dedicato per avere performance strabilianti. Un sistema interessante, ma poco probabile presso la maggior parte delle realtà in cui ho avuto modo di lavorare. Il database, sebbene sia Oracle, credo che avrà delle particolarità: credo che le applicazioni dovranno essere appositamente customizzate per questa piattaforma. Inoltre il costo di ingresso non è indifferente (2M $), anche se le promesse sono veramente eccezionali in termini di aumento delle performance e di riduzione dei costi.

Oltre a questo si è parlato delle centinaia di applicazioni che fanno ormai parte del catalogo Oracle a seguito delle svariate acquisizioni. La sensazione è che ci sia un po' di confusione. Molte applicazioni si sovrappongono e le roadmap di integrazione sono proiettate nei prossimi anni!

Ha stimolato la mia curiosità invece tutto il mondo ereditato da BEA. Non si tratta solo di un middleware nuovo, ma probabilmente anche di un nuovo approccio. Tecnologicamente le novità sembrano riguardare soprattutto l'ambito dei servizi, dell'orchestrazione e di tutto quanto è a corollario. Mi piacerebbe avere il tempo di studiare tutte queste novità.

Infine ho prestato particolare attenzione alle sessioni che riguardavano il Cloud Computing e MDM.

Del Cloud Computing (Amazon Web Service) ne parlano un po' tutti, ma spesso senza sapere bene di cosa si tratti. L'impressione è che il mercato non è ancora pronto, forse ancora complice il fatto che Amazon non garantisce SLA su nessun servizio (tranne S3). L'attuale posizione di Oracle è che Oracle DB è supportato su Amazon EC2 (e ovviamente sono contenti di chiedervi i soldi delle licenze). Inoltre stanno pianificando la possibilità di offrire dei servizi preconfezionati ai clienti, ma per ora è solo fuffa. L'unica cosa concreta è la libreria di integrazione con RMAN per fare i backup dei database su S3. E anche per questo c'è un costo di licenza non indifferente, in piena tradizione Oracle :-)

Infine Master Data Management (che è il mio pane da un paio d'anni). Anche qui, se ne parla veramente tanto. Le sessioni sull'argomento erano moltissime, ma l'impressione è che sia veramente un tema troppo complesso e articolato, tale da richiedere implementazioni molto customizzate per ciascuna realtà. Gli elementi di base sono sempre comuni (strumenti di data quality, data enrichment, normalizzazione, data integration, omogeneizzazione delle interfacce), ma soprattutto è un territorio in cui è fondamentale avere una approfondita conoscenza ed esperienza delle molteplici tematiche che si andranno ad affrontare. MDM è veramente un mondo complicato.

ORA-03297: file contains used data beyond requested RESIZE value

2008-09-18T16:52:00.008+02:00

A volte i tablespace crescono a dismisura, e quando bisogna ridimensionarli può succedere che siano troppo frammentati e per questo si verifica l'errore ORA-03297.

In questo caso la soluzione è quella di spostare tutti gli oggetti su un altro tablespace, ridimensionare i datafile alla dimensione opportuna e quindi rispostare gli oggetti.
Oppure una soluzione sub-optimale è quella di ricostruire gli oggetti sul medesimo tablespace (senza quindi la necessità di creare un tablespace d'appoggio temporaneo).
Al termine di tutto questo trasloco è bene ricompilare tutti gli oggetti invalidi.

Ad ogni modo, per spostare tra un tablespace e un altro i vari oggetti, io uso le seguenti meta-query.

Spostare gli indici
select 'alter index '||owner||'.'||segment_name||' rebuild tablespace miotablespace;'
from dba_segments where tablespace_name = 'miotablespace' and segment_type='INDEX' order by segment_name;

Spostare le partizioni degli indici partizionati
select 'alter index '||owner||'.'||segment_name||' rebuild partition '||partition_name||' tablespace miotablespace;' from dba_segments where tablespace_name = 'miotablespace' and segment_type='INDEX PARTITION' order by segment_name;

Spostare le tabelle
select 'alter table '||owner||'.'||segment_name||' move tablespace miotablespace;' from dba_segments where tablespace_name = 'miotablespace' and segment_type='TABLE' order by segment_name;

Spostare le partizioni delle tabelle partizionate
select 'alter table '||owner||'.'||segment_name||' move partition '||partition_name||' tablespace miotablespace;'
from dba_segments where tablespace_name = 'miotablespace' and segment_type='TABLE PARTITION' order by segment_name;

Rivoluzione: Google Chrome

2008-09-02T21:54:00.003+02:00

Ops, Google ha pronto un browser strafigo, che funziona come il resto di Google (semplice, veloce, completo, perfettamente funzionante, etc.).

Ma soprattutto, fino a stamattina, nessuno poteva nemmeno pensare che esistesse uno strumento del genere.

Ok, allora vediamo cosa Google non ha ancora fatto e che (a questo punto) potrebbe essere quasi pronto:

Google Search Prefetch: quando apri la pagina di Google, trovi già la risposta a quello per cui avevi pensato di aprire Google
Google Energy: un software che mentre pigi i tasti sulla tastiera ricarica la batteria del notebook. Di qualcun altro. Se la tua è già carica.
Google Question: dopo aver scoperto la risposta alla domanda definitiva sulla vita, l'universo e tutto quanto, un progetto che fornirà la domanda definitiva. Occhio ai Vogon.
Google Last Judgement: una risposta auterovole per risolvere le vostre diatribe.
Google Next News: uno sguardo sul futuro sulle principali testate giornalistiche dei prossimi secoli.
Google Parallel Universe Chat: per chattare con le possibili variazioni dei vostri amici (e di voi stessi), in fino a 24 universi paralleli contemporaneamente!

E meno male che c'è crisi.

Polygen: ottimo per il cazzeggio

2008-08-27T17:36:00.005+02:00

Consiglio le grammatiche insulti, teen e racconti coatti.

Neo Freerunner: Android e IPhone sono roba da pivelli

2008-08-22T16:32:00.002+02:00

Ormai i cellulari hanno tutto... lettore Mp3, GPS, connettività wifi... ma il giorno che voglio customizzarmi il kernel?!?

Beh, finalmente con Neo Freerunner si può... il primo cellulare completamente open source. Se vuoi ti danno anche gli schemi elettrici, così ci puoi attaccare anche un forno microonde.

Uptime, AIX e il resize dei filesystem

2008-07-16T16:09:00.005+02:00

Siamo arrivati a quasi 30 ore di uptime! Spettacolo.

Una delle poche feature che adoro di AIX è la possibilità di effettuare il resize dei filesystem jfs2 a caldo (ovvero, mentre sono montati!). E' veramente molto comodo. Su linux credo che solo reiserfs permetta di fare una cosa del genere (e quello che l'ha fatto poi ha ammazzato la moglie, per cui non è proprio una cosa da gente equilibrata).

Peccato che oggi, dopo aver lanciato il resize di un filesystem (che già aveva i suoi problemi, evidentemente) la macchina si è riavviata da sola! Non mi era mai successo nulla del genere. Neanche windows. Di solito crasha e basta. Invece AIX, nella sua efficienza si è riavviato da solo.

Questa volta mi sono arreso e ho contattato il supporto IBM.

Aggiornamento: anche se hai comprato una macchina IBM pSeries, non è detto che hai il supporto sul sistema operativo AIX... una conferma che Windows poi non è così male.

Uptime, AIX e i temporali

2008-07-14T13:17:00.004+02:00

Sabato scorso ci sono stati alcuni temporali piuttosto intensi ed è mancata la luce nel CED dove si trova il nostro server di sviluppo. Ovviamente c'era l'UPS, ma visto che era sabato nessuno se n'è accorto e quindi dopo un po' il CED si è spento miseramente.

Fin qua tutto bene. Se non fosse che il nostro server di sviluppo non era MAI stato spento. Aveva oltre 500 giorni di uptime. E l'unica volta che era stato riavviato era quando il tecnico IBM aveva installato il sistema operativo. E non era ripartito. E il tecnico aveva deciso di reinstallare il sistema operativo. Per cui, come dire, è stato un modo po' agitato di iniziare la settimana.

Ad ogni modo è andato tutto bene. Ma questo mi ha dato alcuni spunti di riflessione interessanti.

Cercherò di scriverlo nel modo più pacato possibile: a me AIX fa cagare.

Parte di questo giudizio è sicuramente dovuto al fatto che non sono un superesperto di AIX, ma me la cavo con Linux. La prima differenza che riscontro è proprio la difficoltà nel trovare informazioni utili. A fronte di un problema, non so bene come girarmi. Sì, forse potrei contattare più spesso il supporto tecnico... ma non ci sono abituato... non so, le community mi hanno insegnato molto più dei manuali.

La seconda differenza è che ci deve essere qualcosa che non funziona come si deve. Prima del riavvio utilizzavo il 100% di memoria e il 70% di swap. Ora occupo circa il 50% di RAM. Forse 500 giorni di uptime, se c'è un memory leak da qualche parte, non fanno bene al sistema. Ma io una cosa del genere non l'avevo mai vista su Linux. E se l'avessi vista avrei capito che era un problema del sistema operativo. Invece prima del reboot ero convinto che fosse dovuto al fatto che in 500 giorni di storia del server avevamo aggiunto un sacco di servizi che consumavano memoria. E la cosa più incredibile, è che sarò scemo io, ma capire da cosa è occupata la memoria non è esattamente elementare.

Infine, così non ho potuto verificare la leggenda secondo cui su AIX, dopo 999 giorni di uptime, il contatore va in overflow e si ricomincia da zero... vediamo tra tre anni.

Amazon EC2 e Oracle

2008-06-15T19:15:00.003+02:00

Ho scoperto solo di recente gli Amazon Web Services e sono rimasto letteralmente folgorato.

In particolare mi ha colpito il servzio Elastic Compute Cloud (EC2). Si tratta sostanzialmente di un servizio di hosting basato sulla tecnologia di virtualizzazione XEN, che permette di far girare delle macchine virtuali tipicamente basate su Linux.

La cosa sconvolgente è la velocità con cui è possibile avere a disposizione delle risorse computazionali. Per attivare e disattivare una macchina virtuale, è sufficiente un'invocazione ad un webservice. Le risorse che occuperete vi verranno addebitate su carta di credito in base alle ore utilizzate, al traffico di rete generato, alla quantità di storage utilizzato. I costi poi sono irrisori, fatevi un giro sul sito di Amazon.

Per la mia esperienza, questo è veramente sconvolgente. Ad esempio, gli ambienti di produzione e certificazione del progetto su cui lavoro sono in hosting presso uno dei più importanti fornitori di servizi di questo tipo in Italia. Avere a disposizione una nuova macchina per il progetto vuol dire aspettare come minimo un mese (on demand?!?) dal momento dell'ordine. Il che sottintende anche la complessità burocratica della cosa (richiesta di offerta, relazione tecnica d'offerta, ordine, un milione di firme, etc.), e ovviamente i costi (considerate che l'ultima volta ho sentito che lo storage costa la bellezza di 32€ a GB!!! ...supersicuri e protetti... ma sono veramente un sacco di soldi).

Con EC2 basta essersi registrati sul sito di Amazon e aver inserito i dati della propria carta di credito. Dopodiché per avviare 10 web server che vi servono perché stasera parte la nuova campagna di marketing... basta una chiamata ad un webservice.

Dopo questa scoperta ho pensato a come calare sulle necessità del progetto su cui lavoro questo fantastico servizio. Il progetto è un CRM Analitico che include un database Oracle da 1.8TB, per molti aspetti è un'applicazione simile a un DWH.

E qui ho cominciato ad avere qualche dubbio. Come performeranno veramente queste macchine virtuali? Qual è il livello di servizio? Cosa succede in caso di failure dell'infrastruttura hardware? Tutti aspetti che in un modo o nell'altro possono essere risolti.

Ma poi mi sono chiesto: ma le licenze di Oracle, come le contiamo? Sul sito di Oracle non ho trovato nessuna informazione a riguardo.

Le macchine virtuali offerte da Amazon hanno caratteristiche diverse, si va da 1 processore virtuale a 20 processori virtuali. Questi processori virtuali sono paragonati ad uno Xeon 1.0Ghz. Visto che Oracle si licenzia tipicamente sulla base del numero di processori... se si dovesse licenziare per 20 processori equivalenti ad uno Xeon 1.0Ghz... beh, diventerebbe quantomeno poco conveniente. E ancora di più: ma se io la macchina virtuale la voglio usare solo per 1 ora al giorno nella configurazione da 20 processori?

Mi son fatto l'idea che gli AWS sono così innovativi che solo il mondo open source può stargli dietro al momento.

Comunque, poter pagare solamente 0,80$ all'ora per un server con 8CPU, 15GB RAM e 1.7TB di disco... beh, credo che è una cosa che farà venire l'acquolina in bocca a parecchi IT Manager... per cui occhio alla rivoluzione!

Oracle Data Profiling and Quality: uno strumento potente a supporto della Data Integration

2008-05-23T17:46:00.006+02:00

Da un mesetto utilizzo Oracle Data Profiling and Quality e mi trovo veramente bene.

Sto utilizzando questo strumento nell'ambito di un progetto di CRM Analitico, dove una delle tematiche è la data integration da molteplici sistemi eterogenei (legacy, SAP, SAP CRM, etc.).

Uno dei problemi che ho dovuto affrontare è verificare rapidamente i dati che ci vengono inviati, prima di processarli. Un verifica manuale permette di identificare i problemi macroscopici delle interfacce di integrazione, ma può essere complessa per il formato dell'interfaccia e per la quantità dei dati da analizzare.

Con Oracle Data Profiling and Quality devo innanzitutto definire il formato delle interfacce, che possono essere tracciati a record fisso, tracciati con separatore, tabelle Oracle, tabelle DB2, sorgenti dati ODBC e altre.

Quindi posso procedere ad analizzare i dati che mi vengono forniti. Lo strumento spacchetta automaticamente i record nei campi indicati nella definizione dell'interfaccia e permette di visualizzarli su un'interfaccia tipo Excel, su cui posso ordinare i record secondo i vari campi, posso effettuare ricerche, etc.

Fin qua nulla di veramente eccitante, ma ora viene il bello. Oltre a quanto detto lo strumento effettua automaticamente una serie di interessanti analisi:

- ricerca automaticamente i campi che possono essere la chiave dell'entità/interfaccia processata, indicando eventualmente i record che violano questa chiave. Rileva anche le chiavi definite su campi multipli. Esempio, nell'estrazione di un'anagrafica clienti rileva che la partita IVA è una chiave, ma segnala come probabile chiave anche la somma dei campi Ragione Sociale e Indirizzo.

- ricerca automaticamente eventuali relazioni e dipendenze tra i campi dell'interfaccia. Continuando l'esempio dell'anagrafica, rileva che il campo Provincia è correlato al campo Città, magari indicando che questo non è vero per la città di Villanova che si trova sia in provincia di Torino che in provincia di Asti.

- per ciascun campo dell'interfaccia identifica tutti i possibili valori, riporta la distribuzione di questi valori e cerca di identificare eventuali pattern. Ad esempio riporta che nel campo Sesso sono presenti solo i valori M ed F con distribuzione di 48% sul primo e 52% sul secondo. E poi riconosce che nel campo data di nascita la data è nel formato YYYYMMDD.

Le analisi indicate vengono fatte automaticamente dallo strumento e molto velocemente. Ad esempio, analizzare 50000 record di un'interfaccia con 100 campi, sul mio notebook impiega all'incirca 10 minuti.

Oltre alle analisi automatiche lo strumento permette di aggiungere dei controlli, delle regole di business che devono essere verificate, anche tra diverse interfacce. Ad esempio è possibile aggiungere dei controlli di congruenza tra differenti interfacce. Ad esempio, se ho un flusso di dati delle anagrafiche dei clienti e un altro flusso dati del parco auto, posso aggiungere un controllo per verificare che il campo codice cliente che mette in relazione le due interfacce contenga gli stessi valori, nello stesso formato, e che non ci siano disallineamenti tra le interfacce.

Oracle Data Quality and Profiling fa parte della suite Oracle Data Integrator. E' un prodotto piuttosto recente di Oracle, probabilmente frutto di qualche acquisizione. Più in generale Oracle Data Integrator racchiude una molteplicità di strumenti, di cui mi sembra di aver visto solo la punta dell'iceberg.

Tra gli altri elementi del pacchetto fanno parte anche:

- il tool di Data Quality, che permette di verificare la qualità dei dati, di definire soglie di sbarramento per evitare di inquinare il datawarehouse con dati sporchi, e si integra anche con strumenti di normalizzazione angrafica (es. Trillium).

- il sistema di Data Integration: che sostanzialmente si pone ad un livello più alto degli strumenti di ETL, permettendo di gestira da un unico strumento tutto il processo di integrazione

Vi terrò aggiornati.

Postulato di Andrea sul tempo perso in riunioni

2008-03-07T17:46:00.003+01:00

Il tempo che si perde in una riunione cresce in modo esponenziale rispetto al numero dei partecipanti alla riunione stessa.

Testare i webservice

2008-01-28T22:58:00.000+01:00

Come fare a testare l'invocazione a un webservice?

Questo articolo descrive Web Service Explorer di Eclipse.

E' semplicissimo e funziona alla grande.

Oracle 11g: Native Webservices

2008-01-18T13:12:00.000+01:00

Ovvero: finalmente pubblicare una funzionalità come un webservice è solo un problema di configurazione.

Questo post First Tests of 11g Native Web Services descrive come configurare e provare i Native Webservice di Oracle 11g.

Ecco le informazioni essenziali per fare una prova:

Configurare la servlet che gestisce i native webservice (come SYSTEM):

Abilitare lo user SCOTT all'utilizzo dei Native Webservice (come SYSTEM):

Creare una funzione che risponderà come un webservice (come SCOTT):

Provare il webservice. Alla URL http://hostname:8080/orawsv/SCOTT/EMPCOUNT?wsdl trovate il WSDL del webservice.

Oracle 11g: Scott Tiger

2008-01-18T12:14:00.000+01:00

In Oracle DB 11g gli schema di esempio (Scott/Tiger e affini) non vengono creati di default (forse già da qualche versione precedente in realtà...).

Per creare questi schema, ma anche per resettarli, è sufficiente lanciare da SYSTEM il seguente script:

$ORACLE_HOME/RDBMS/ADMIN/utlsampl.sql

OpenID: il Single Sign On globale

2008-01-10T23:08:00.000+01:00

Oggi ho scoperto OpenID.

OpenID è un sistema di autenticazione per le applicazioni internet, che risolve innanzitutto due problemi fondamentali: doversi ricordare un milione di username/password e doversi registrare su ogni sito che richiede autenticazione. E' una specie di Single Sign On globale.

Il funzionamento è abbastanza semplice.
Innanzitutto bisogna registrarsi su un sito che sia un provider OpenID: ce ne sono un sacco (es. myopenid.com, myid.net, etc.). Addirittura potreste già avere un account su un provider OpenID, perché alcuni siti già supportano OpenID, ad esempio wordpress oppure technorati.
Una volta registrati potrete fare login su tutti i siti che sono "confederati" a OpenID. Ma come funziona?

Se per esempio avete un account su technorati, allora il vostro profilo è accessibile alla URL http://technorati.com/people/technorati/nomeaccount. A questo punto se volete accedere al bellissimo sito http://www.zooomr.com/ potete cliccare su Sign In with OpenID ed inserire come Username la URL che punta al vostro account su technorati: http://technorati.com/people/technorati/nomeaccount
Cliccando su SignIn verrete rimandati sul sito di technorati, su cui farete login e poi sarete rimbalzati nuovamente su zooomr.

Invece di ricordarvi 1000 combinazioni di username e password dovrete ricordavi unicamente la URL del vostro profilo del vostro provider di autenticazione preferito e una sola password, che sarà memorizzata in un solo posto: la vostra identità digitale sarà una sola e sarà utilizzabile su tutta la rete.

Purtroppo per ora non sono molti i siti che la adottano completamente... insomma, finché non la adotteranno google e yahoo non sarà poi così utile. E poi mi sa che ci saranno un po' di cose da spiegare agli utenti non addetti ai lavori...

Mi sembra però una cosa molto interessante, che potrebbe risolvere un po' di problemi. Vedremo.

Librerie per Shell Scripting moderno

2008-01-10T14:45:00.000+01:00

Oggi ho scoperto le seguenti due librerie:

Si tratta di due librerie molto utile per scrivere shell script basati su Bourne Shell (es. bash). Si tratta rispettivamente di una libreria per fare unit test e una libreria per fare logging, simili a junit e a log4j del mondo java.

Partizionamento e performance

2007-12-19T18:25:00.000+01:00

Breve esperienza sul partizionamento di architetture pSeries.

Per il progetto su cui lavoro da ormai una vita, l'ambiente di certificazione è stato migrato da una partizione di un IBM pSeries P5 595 condiviso con altre applicazioni (un bestione che può montare fino a 64 cpu e 2 TB di RAM), a un IBM pSeries P5 550 dedicato (una bestiolina che può montare fino a 4 cpu e 64GB di RAM).

Il numero di CPU e la quantità di RAM dedicate alla partizione prima e montati sul server fisico dopo sono esattamente uguali (4 CPU e 24GB di RAM). L'unica differenza è che sulla P5 550 le CPU sono a 2.1Ghz invece che a 1.9Ghz (com'erano sul P5 595).

Lo storage è rimasto lo stesso, così come le connessioni Fibre Channel.

L'applicazione effettua elaborazioni molto complesse, tra cui il caricamento di un Data Mart.
Questa operazione sull'ambiente partizionato impiegava oltre 32 ore. Sulla macchina dedicata 23 ore.

Anche altri test hanno confermato questo dato.

Interessante, vero?

Forse il partizionamento non è così ottimale nel riservare risorse dedicate a ciascuna partizione. Forse rimangono delle risorse condivise (canali di I/O?) tra le partizioni, che comportano una lotta per le risorse tra le partizioni.

Fatto sta che su hardware dedicato si viaggia molto meglio.

Metodo CONNECT HTTP: abbattere le barriere delle reti aziendali

2007-11-23T10:19:00.000+01:00

Normalmente i client connessi alle reti aziendali hanno accesso solamente al Web, attraverso un proxy che magari chiede pure l'autenticazione.

Questo è un problema nel caso sia necessario da una rete aziendale raggiungere servizi diversi dal web di un'altra rete aziendale: ad esempio, se sono da un cliente, come faccio a collegarmi al mio server di sviluppo?

Il modo c'è, grazie al metodo CONNECT del protocollo HTTP. Questo metodo viene comunemente implementato dai Proxy HTTP. La sua funzionalità è quella di facilitare le comunicazioni cifrate SSL (HTTPS), permettendo a un client di fare una connessione sicura di cui il proxy non sarà in grado di registrare nessuna informazione in chiaro.

In pratica il metodo CONNECT effettua una connessione TCP ad un server remoto. Da quel momento in poi tutto il traffico sulla connessione HTTP è gestito tra il client e il server remoto, ed in pratica il metodo CONNECT permette di utilizzare il Proxy come un semplice tunnel TCP/IP. Quindi è possibile veicolare attraverso un Proxy HTTP qualunque protocollo TCP!

Ovviamente non sono l'unico a sapere questa cosa e chi configura i proxy cerca di arginare il problema. L'unico limite che normalmente viene impostato è che il metodo CONNECT è abilitato solamente sulla porta 443 (porta standard HTTPS). Nessuno vieta però di pubblicare un qualunque servizio sulla porta 443 di un server... ad esempio un server SSH.

SSH poi è un servizio/protocollo fenomenale, che già include nativamente la possibilità di effettuare tunneling verso qualunque altro servizio. Quindi se si pubblica su internet un server SSH sulla porta 443, configurandolo opportunamente può essere utilizzato come testa di ponte per arrivare a qualunque altro servizio, ad esempio un database Oracle.

Tecnicamente le cose da fare sono abbastanza poche.

Configurare il server ssh per accettare connessioni anche sulla porta 443. Per farlo è sufficiente aggiungere la direttiva Port 443 nel file di configurazione sshd_config. Se si specificano più direttive Port, allora il server rimarrà in ascolto su tutte le porte specificate (è utile ad esempio se si vuole anche mantenere in ascolto SSH sulla porta standard).
Pubblicare il servizio su internet (es. ssh.miodomain.it:443).
Scaricare PuTTY. L'ultima versione disponibile (0.58) include la possibilità di effettuare una connessione attraverso un proxy HTTP.
Aprire PuTTY e configurare una connessione:

Session:

Specificare l'host name del server remoto (es. ssh.miodomain.it)
Specificare la porta (ovviamente la 443!)
Specificare il protocollo SSH

Connection->Proxy:

Specificare il tipo di proxy: HTTP
Specificare l'hostname e la porta del proxy
Se necessario, specificare username e password per l'autenticazione sul proxy

Su come configurare ssh per il port forwarding vi rimando alla documentazione di SSHD (AllowTCPForwarding) e a quella di PuTTY (vedi anche il menu Connection->SSH->Tunnels).

Non fate troppi danni, eh!

Oracle 9.2 su Windows, 32bit o 64bit?

2007-10-30T10:42:00.000+01:00

Oracle 9.2 era stato a suo tempo rilasciato anche in versione 64bit per Windows. Ma attenzione! Questa versione funziona solamente sui processori Itanium. Per cui non può funzionare sui processori Intel x86 64bit, come gli Xeon! Su questi processori è necessario installare la versione di Oracle a 32bit.

Dalla versione 10.1 invece Oracle ha rilasciato tre versioni per Windows: a 32bit, a 64bit per Itanium e a 64bit per processori x86 con estensioni a 64bit.