Data Base Blog

Ulteriori esempi per effettuare la compressione di tabelle partizionate

2013-06-18T10:00:00.000+02:00

In this post we see a lot of examples on how to create and how to alter the compression settings for partitioned tables.

In questo post vedremo ulteriori esempi per creare e modificare la compressione di tabelle partizionate.
In particolare, vedremo come modificare la compressione solo di alcune partizioni contigue o non contigue della tabella mediante un unico passaggio.

•    Esempio1
Creazione di una tabella partizionata compressa per pagina

CREATE TABLE Tabella1(col1 int, col2 varchar(max))
REBUILD PARTITION = ALL
WITH (DATA_COMPRESSION = PAGE) ;

•    Esempio2
Creazione di una tabella con la prima partizione compressa per riga e le rimanenti partizioni compresse per pagina

CREATE TABLE Tabella2 (col1 int, col2 varchar(max))
ON PartitionSchema2 (col1)
WITH(DATA_COMPRESSION = ROW ON PARTITIONS (1),
DATA_COMPRESSION = PAGE ON PARTITIONS (2 TO 4));

•    Esempio3
Creazione di una tabella con compressione diversa su partizioni non contigue

CREATE TABLE Tabella3 (col1 int, col2 varchar(max))
ON PartitionSchema3 (col1)
WITH( DATA_COMPRESSION = ROW ON PARTITIONS (1,3),
DATA_COMPRESSION = NONE ON PARTITIONS (2,4));

•    Esempio4
Modifica della compressione di una determinata partizione di una tabella partizionata

ALTER Tabella1
REBUILD PARTITION = 1 WITH (DATA_COMPRESSION = NONE) ;

•    Esempio5
Modifica della compressione di tutte le partizioni di una tabella partizionata

ALTER TABLE Tabella2
REBUILD PARTITION = ALL
WITH (DATA_COMPRESSION = PAGE) ;

•    Esempio6
Modifica della compressione di determinate partizioni di una tabella partizionata, le partizioni non specificate manterranno le impostazioni di compressione correnti

ALTER TABLE Tabella3
REBUILD PARTITION = ALL
WITH ( DATA_COMPRESSION = PAGE ON PARTITIONS(1),
DATA_COMPRESSION = ROW ON PARTITIONS(2 TO 4)) ;

Tatiana.

Compressione di tabelle partizionate

2013-06-04T10:00:00.000+02:00

The compression technology is available for partitioned tables as well. In this post an example of compression is provided.

In questo post ci occuperemo della compressione di tabelle partizionate.

E’ possibile scegliere di :
-   comprimere con lo stesso tipo di compressione tutta la tabella
-   comprimere con lo stesso tipo di compressione solo determinate partizioni
-   comprimere in modo diverso le varie partizioni della tabella

Quando viene specificato un elenco di partizioni, il tipo di compressione può essere impostato su ROW, PAGE o NONE per ogni singola partizione. Se l'elenco di partizioni non è specificato, tutte le partizioni vengono impostate in base alla proprietà di compressione dei dati specificata nell'istruzione.

Quando si utilizza la compressione di tabelle partizionate, occorre tenere presente le seguenti considerazioni:

Split di una partizione: Quando le partizioni vengono suddivise utilizzando l'istruzione ALTER PARTITION, entrambe le partizioni ereditano l'attributo di compressione dei dati della partizione originale.
Merge di due partizioni: Quando due partizioni vengono unite, la partizione risultante eredita l'attributo di compressione dei dati della partizione di destinazione.

Vediamo in pratica come comprimere una tabella partizionata.

Esempio 1

Dopo aver creato partition function PF2_Right e partition schema PS2_Right come illustrato nel post di Giulia creiamo una tabella partizionata:

CREATE TABLE [dbo].[TAB_partizionata](
part int not null,
col int not null,
desc nvarchar(10) null
)ON PS2_Right(part)

CREATE CLUSTERED INDEX CI_PartitionedTable
ON TAB_partizionata(part) ON PS2_Right(part);

Attualmemte gli intervalli di partizionamento sono i seguenti :
{min … -1}, {0 … 9}, {10 … 19}, {20 … max}

Comprimiamo ciascuna partizione della tabella per pagina

ALTER TABLE [TAB_partizionata]
REBUILD PARTITION = ALL
WITH (DATA_COMPRESSION = PAGE ) ;

Verifichiamo la compressione di ciascuna partizione della tabella

Per farlo, seleziono l’object_id associato alla tabella
select * from sys.tables where name='TAB_partizionata' -- object_id 839674039
select * from sys.partitions where object_id='839674039'

Modifichiamo la compressione della partizione numero 3 e verifichiamo lo stato di compressione delle varie partizioni della tabella.

ALTER TABLE [TAB_partizionata]
REBUILD PARTITION = 3
WITH (DATA_COMPRESSION = ROW ) ;

select * from sys.partitions where object_id='839674039' order by 4

Aggiungiamo una partizione alla tabella

ALTER PARTITION SCHEME PS2_Right NEXT USED [PRIMARY];
ALTER PARTITION FUNCTION PF2_RIGHT() SPLIT RANGE (15);

In questo modo gli intervalli di partizionamento passano da :
{min … -1}, {0 … 9}, {10 … 19}, {20 … max}
a :
{min … -1}, {0 … 9}, {10 … 14}, {15 … 19}, {20 … max}

Verifichiamo lo stato di compressione della nuova partizione
select * from sys.partitions where object_id='839674039' order by 4

Eliminiamo una partizione dalla tabella

ALTER PARTITION FUNCTION PF2_RIGHT() MERGE RANGE (20);
In questo modo gli intervalli di partizionamento passano da :

{min … -1}, {0 … 9}, {10 … 14}, {15 … 19}, {20 … max}
a :
{min … -1}, {0 … 9}, {10 … 14}, {15 … max}

Verifichiamo lo stato di compressione delle partizioni
select * from sys.partitions where object_id='839674039' order by 4

Nel prossimo post vedremo ulteriori esempi per comprimere tabelle partizionate.
Alla prossima,
Tatiana.

Implementazione compressione di pagina in SQL Server 2008

2013-05-21T10:00:00.000+02:00

In this post we see step by step how we can implement page compression for tables in SQL Server.

In questo post vedremo passo dopo passo come effettuare la compressione di una tabella.

E’ possibile effettuare la compressione per pagina tramite script SQL, al momento della creazione della tabella

CREATE TABLE [Sales].[CreditCard](

[CreditCardID] [int] IDENTITY(1,1) NOT NULL,

[CardType] [nvarchar](50) NOT NULL,

[CardNumber] [nvarchar](25) NOT NULL,

[ExpMonth] [tinyint] NOT NULL,

[ExpYear] [smallint] NOT NULL,

[ModifiedDate] [datetime] NOT NULL,

CONSTRAINT [PK_CreditCard_CreditCardID] PRIMARY KEY CLUSTERED

(

[CreditCardID] ASC

) WITH(DATA_COMPRESSION=PAGE);

o successivamente, se si desidera modificare il tipo di compressione di una tabella, tramite l’istruzione seguente:

ALTER TABLE Sales. CreditCard REBUILD WITH (DATA_COMPRESSION = ROW);

E’ inoltre possibile comprimere una determinata tabella tramite SQL Server Management Studio.

Il primo passo è selezionare con il tasto destro la tabella che si vuole comprimere, scegliere “Storage” e successivamente “Manage Compression”.

A questo punto si aprirà una finestra del “Data Compression Wizard”, dalla quale, dopo aver cliccato su “Next”, sarà possibile scegliere il tipo di compressione da utilizzare e visualizzare una stima dello spazio risparmiato in caso si scelga di effettuare un determinato tipo di compressione sulla tabella.

Nel nostro caso, scegliendo una compressione di riga e premendo il tasto “Calculate” otteniamo che si risparmierebbe circa il 2,8% di spazio.

Scegliendo invece una compressione di pagina, otteniamo un risparmio di spazio di circa il 31%.

Infine, è possibile scegliere se eseguire immediatamente, creare lo script SQL o schedulare il partizionamento della tabella.

Nel prossimo post ci occuperemo della compressione di tabelle partizionate e lavoreremo tramite script.

Tatiana

Compressione di pagina in SQL Server 2008

2013-05-07T09:58:00.000+02:00

In this post we talk about page compression in SQL Server 2008 Enterprise edition.

In questo post parleremo di come teoricamente lavora la compressione di pagina per una tabella in SQL Server.

La compressione di pagina per tabelle si svolge in tre step:
1. Compressione di riga
2. Compressione basata sul prefisso
3. Compressione basata sul dizionario

Quando si crea una nuova tabella con compressione di pagina, man mano che i dati vengono aggiunti alla prima pagina di dati, viene applicata la compressione di riga. Quando la pagina è completa, la successiva riga da aggiungere avvia l'operazione di compressione di pagina. La pagina intera viene rivista, ad ogni colonna viene effettuata la compressione basata su prefisso e successivamente quella basata su dizionario.

Vediamo in dettaglio questi due ultimi passi.

Compressione basata su prefisso
Per ogni pagina da comprimere, si analizzano i valori contenuti in ciascuna colonna della tabella e si sfruttano le ridondanze nei prefissi dei dati.
In particolare, per ogni colonna viene identificato un valore che può essere utilizzato per ridurre lo spazio di archiviazione.
Tali valori vengono memorizzati in una riga che mi rappresenta le informazioni di compressione.
Infine, i valori che erano presenti nelle varie colonne, vengono sostituiti con puntatori al prefisso corrispondente.

Pagina di una tabella prima della               Pagina di una tabella dopo la
compressione basata su prefisso.                  compressione basata su prefisso.

Compressione basata su dizionario

A differenza di quella basata su prefisso, la compressione basata su dizionario non è limitata ad una colonna e può sostituire valori ripetuti presenti in qualsiasi punto di una pagina. Anche in questo caso, i valori individuati verranno archiviati nell'area relativa alle informazioni di compressione.

Pagina di una tabella prima della                         Pagina di una tabella dopo la
compressione basata su dizionario.                     compressione basata su dizionario.
(già compressa per prefisso)

Nel prossimo post vedremo passo dopo passo come implementare la compressione di pagina.

Tatiana

oracle vm 3.2.2: impressioni sul campo

2013-04-23T10:00:00.000+02:00

New Oracle VM 3.2.2 features and bug resolution

Oracle VM 3.2.2 si presenta con una veste grafica rinnovata e con numerose variazioni under the hood tra le quali l'adozione del kernel uek per gli hypervisor o il clone a caldo in caso di storage iscsi o fiberchannel.

Da nostri test le prestazioni risultano comparabili a quelle di VMWare 5.1 e praticamente le stesse funzionalità, a parte lo storage vmotion.

D'altro canto qualche piccolo bug si riscontra:

1) durante lo spegnimento dei server del hypervisor, in una fresh install con mysql come db di repository, darà un errore jdbc su una tabella mancante nel database OVS del Mysql MGR_SERVERSTOPPINGEVENT

a cui si può ovviare con il seguente workaround , ovvero è sufficiente crearla:

use ovs;

create table mgr_serverstoppingevent
(

m_id bigint ,

m_data longblob,

primary key (m_id)

);

2) un bug randomico sulla console remota, ovvero che dopo una migrazione di nodo, la console della macchina appare connessa, ma nulla appare nella console.

Al di là di questo gli aspetti positivi sono molti, come la velocità sull'i/o (170mb/s)

o il basso carico dell'hypervisor sulla cpu, o la quasi trasparenza di una livemigrate anche nel caso del icmp, e della trasparenza assoluta in una sessione ssh o SQL*Net.

Se avete altri dubbi ovviamente, basta che chiediate qui nel blog,

Ciao

Matteo

MoSQL - streaming MongoDB to PostgreSQL

2013-04-09T10:00:00.000+02:00

MoSQL is a Ruby application which streams the changes in a MongoDB cluster and reformats them into a stream of SQL which can be sent to a more traditional SQL-based relational database.

Normalmente chi lavora con database NOSQL si trova di fronte ad un problema non banale. Come analizzare con la stessa facilità di un RDBMS i vari dati non strutturati tipici di un qualunque NOSQL.
Da questa necessità nasce il progetto opensource MoSQL che integra con una replicazione streaming uno dei più diffusi nosql MongoDB con il più avanzato database OpenSource PostgreSQL.
In questo modo per chi sviluppa applicazioni su db MongoDB o sfrutta tale tecnologia per analisi massive tipo map reduce etc etc , può integrare tale architettura con una classica RDBMS
in cui eseguire tipici report realtime e sfruttare tecnologie avanzate di indicizzaione (funzionale o text search).

Qui trovate il progetto :
https://github.com/stripe/mosql

Per ora il progetto non gestisce cluster sharded di mongodb, anche se è possibile avere più demoni mosql che da una istanza mongodb ad una istanza postgres ( o ad un cluster sharded di postgres) .

Ciao
Matteo

Compressione di tabelle ed indici in SQL Server 2008

2013-03-19T10:00:00.000+01:00

In this post we introduce SQL Server 2008 compression for tables, indexes and table partitions.

We explain the types of compression and how this technology can be useful to manage large amount of data. Note that this technology is available only in Enterprise edition.

Dopo aver parlato del partizionamento delle tabelle, in questo post ci occuperemo della compressione dati.
La compressione è disponibile in SQL Server 2008 e 2008 R2 Enterprise Edition e Developer Edition ed il suo scopo è contenere la dimensione del database, o più precisamente dei file di dati.

Avvertimenti:
-       Non è possibile ripristinare un database con oggetti compressi su un’istanza la cui edition non supporta la data compression.
-         La compressione implica una riduzione del numero di pagine di cui si compone una tabella, quindi un minor numero di I/O con conseguente minor utilizzo di CPU. Di contro però, SQL Server decomprime il dato in memoria prima di aggiornarlo o prima di restituirlo in risposta a una query e questo comporta un maggiore utilizzo di CPU.
Prima di implementare tale procedura, occorre quindi fare attenzione e valutarne gli aspetti positivi e negativi.

La compressione dati può essere configurata per:

● Un'intera tabella senza indice cluster.
● Un'intera tabella archiviata come indice cluster.
● Un intero indice non cluster.
● Un'intera vista indicizzata.
● Per tabelle ed indici partizionati.

Esistono due tipi di compressione dei dati:
·         La compressione di riga: opera a livello di riga, ottimizzando la registrazione dei dati definiti con data type a lunghezza fissa, il cui formato di registrazione viene convertito in lunghezza variabile dalla compressione.
·         La compressione di pagina: opera a livello di pagina ottimizzando la registrazione delle righe contenute in una singola pagina minimizzando i valori di colonna ridondanti.

DATA_COMPRESSION è un’opzione che specifica il tipo di compressione dei dati per una determinata tabella o, nel caso in cui sia partizionata, di determinate partizioni della stessa.

Sono disponibili le seguenti opzioni:
·         NONE - nessuna compresse
·         ROW - compressione di riga
·         PAGE - compressione di pagina

Nella stessa tabella possono coesistere diversi tipi di compressione, quindi si può avere una tabella con elementi non compressi, altri compressi in riga e altri ancora in pagina.

Nel prossimo post vedremo in maggior dettaglio la compressione di pagina.

Tatiana

Il partizionamento su Sql Server: -3- tabella e indici

2013-03-05T10:30:00.000+01:00

To partition a table, you must place the table on a partition scheme. You can do this by creating the table on the partition scheme, or by creating the table's clustered index on the partition scheme. Moreover the partiotion column has to be included in all the indexes of the partitioned table.

In questo post creeremo la tabella partizionata, che seguirà la struttura del Partition Schema PS2_Right precedentemente creato.
CREATE TABLE PartitionedTable
(PartitionColumnID int not null,
Name varchar(100) not null)
ON PS2_Right(PartitionColumnID);
Nella clausula ON va specificato il Partition Schema da usare e la colonna di partizionamento.

La colonna di partizionamento va inclusa nel clustered index, anche perché in ogni caso Sql server la aggiungerebbe.
Anche creando la tabella non partizionata e aggiungendo il clustered index partizionato:
CREATE CLUSTERED INDEX CI_PartitionedTable ON PartitionedTable(PartitionColumnID) ON PS2_Right(PartitionColumnID);
si ottiene lo stesso risultato, ovvero la tabella viene partizionata.

Inoltre è buona norma aggiungere dei vincoli (check) che non permettano l’inserimento di valori fuori range nella colonna di partizionamento.
Supponiamo che la tabella partizionata sia la tabella Fatture, partizionata sulla colonna data_fattura, probabilmente non dovrebbero essere inserite fatture prima del 01/01/1950 e non dopo il 31/12/2030.
Quindi creeremo due check
ALTER TABLE Fatture WITH CHECK ADD CONSTRAINT [chk_Fatture_1950]CHECK ([data_fattura]>’31/12/1949’)
ALTER TABLE Fatture WITH CHECK ADD CONSTRAINT [chk_Fatture_2030]CHECK ([data_fattura]<’01/01/2031’)

Questa procedura si può eseguire anche con il wizard che si trova cliccando sulla tabella col tasto destro, Storage e parte il wizard Create Partition che aiuta nella creazione del partition function, schema e nel partizionamento della tabella.

Consideriamo ora come trattare gli indici di una tabella partizionata.
E’ buona norma allineare tutti gli indici presenti su una tabella partizionata con la partizione sottostante, non solo il clustered index, inserendo la colonna di partizionamento come included column. Inolte la colonna di partizionamento dovrebbe appartenere sia alla eventuale primary key, che a tutti i vincoli unique.

create index idx_PartitionedTable on PartitionedTable (
column10 asc
)INCLUDE (PartitionColumnID)
ON PS2_Right(PartitionColumnID)

Ora che la tabella è partizionata, nel prossimo post vedremo come fare inserimenti massivi, con le opzioni switch in e switch out.

Alla prossima

Giulia