Qualidade de Dados / Data Quality

Analise de necessidades

2014-10-15T15:55:00.000+01:00

O que é feito?
Juntamente com o cliente, elaboramos uma lista dos sinais da má qualidade dos dados e analisamos os sintomas. A análise das necessidades ajuda-nos a decidir como é que os dados principais da empresa devem ser, para que possam usá-los da forma mais eficiente possível. Porque estes sinais e sintomas são muitas vezes "imaginados", vamos submetê-los a uma análise de dados para estabelecer se eles são relevantes e, ao mesmo tempo, estimar o tamanho e o grau do desafio potencial.

Por que é feito?
É necessário um conhecimento preciso de seus dados para a criação de um catálogo de medidas individuais para a sua empresa (e seu nível de qualidade no que diz respeito às exigências feitas sobre eles). A análise dos dados fornece uma visão objectiva e transparente da situação actual de seus dados.

Como é feito?
Durante um seminário conjunto é tomada uma decisão sobre quais os dados que vão ser objeto uma análise precisa e mais tarde aperfeiçoados com a nossa ferramenta de criação de perfil Data Analyzer. Várias análises baseadas em cada um dos sintomas de má qualidade dos dados são realizadas. Se considerarmos que existem mais desafios nos seus processos de negócio, a análise desses processos é possível também. Tomamos as revindicações específicas dos seus departamentos especializados em conta e verificamos se suas necessidades individuais sobre os dados já estão ancoradas em processos relevantes. O facto é que o processo determina o nível de qualidade de dados! Após a conclusão da análise é fornecida documentação completa sobre os resultados. Com esses resultados em mãos, o desenvolvimento de medidas individuais para optimizar e manter a qualidade dos dados podem ser elaboradas.

Sintomas de falta de qualidade de dados

2014-10-03T11:02:00.000+01:00

Sintomas semelhantes de má qualidade dos dados surgem repetidamente durante as nossas discussões com os clientes e com os funcionários das filiais especializadas e departamentos. Essencialmente relacionam-se com baixos padrões de informações de contacto. Nós também achamos que os processos de negócio (ou seja a utilização prevista dos dados) são muitas vezes desconhecidas; e que estes apresentam novos desafios.

Outro problema comum que é mencionado é que os campos não são preenchidos corretamente com a informação desejada. A tabela abaixo dá uma visão geral dos sintomas típicos da má qualidade dos dados, juntamente com suas causas, medidas de optimização e o valor adicional de longo prazo resultante para sua empresa.

Sintomas	Causa	Medidas Correctivas	Como fazer*	Valor acrescentado
Vários registos de clientes e parceiros de negócios aparecem no sistema	Antes de criar um novo registo, nenhuma verificação é feita para ver se o mesmo cliente já existe em outros lugares.	Limpe todos os dados existentes de duplicados. Crie um Golden Record e implemente um processo de pesquisa de duplicados em tempo real.	T: DQ Cleansing, DQ Protection D: Fazer os ajustes para pesquisa de duplicados E: Consolidar conjuntos de dados para um Golden Record.	Itens redundantes em conjuntos de dados são reduzidos a um mínimo. Todos os conjuntos de dados são definitivos e únicos.
O cliente por norma não sabe o seu código postal completo	O sistema não tem qualquer forma de devolver automaticamente o código postal correcto nem corrigir a morada	Implementar funções em tempo real apropriadas. De preferência corrigir todos os dados existentes	T: DQ Cleansing, DQ Protection E: Ter forma de pesquisar o código postal correcto rapidamente e eficazmente	O tempo poupado e os devolvidos evitados pela correção de moradas e códigos postais, trazem inúmeras vantagens para a empresa
Chave saudação pessoal ausente ou incorreta	As entradas nos campos do formulário são opcionais, ou o valor padrão (entrada) não é alterado.	Examine os dados para estabelecer a chave saudação correta. Implementar análise nome em tempo real.	T: DQ Cleansing, DQ Protection - Ou - E: Faça a entrada de uma chave obrigatória saudação correta.	Os endereços podem ser personalizados para campanhas de marketing directo de acordo com saudação de gênero específica apenas com o pressionar de uma tecla.
Taxas de retorno elevadas	Os detalhes da pessoa de contacto estão desatualizados, ou o endereço incompleto ou incorreto.	Corrigir e atualizar todos os endereços e contactos nos dados existentes. Implementar funções em tempo real apropriadas.	T: DQ Cleansing, DQ Protection - Ou - E: Realizar pesquisas para determinar a pessoa de contacto actual (por exemplo, usando Linkedin, ou similar).	Diminuir as taxas de retorno e taxas de resposta aumentará. As campanhas de marketing vão ter aumentos de sucesso tal como o volume de negócios.
Pessoa de contato desactualizada	Os conjuntos de dados de parceiros de negócios existentes não são verificadas para ver se eles estão atualizados ou não são atualizados automaticamente.	Criar medidas anti-envelhecimento, i.e., compare dados da empresa com um bases de dados de negócios atualizadas. Estenda o processo de atualização.	T: DQ Cleansing, DQ Protection - Ou - E: Detalhes de Pesquisa da pessoa de contacto actual (por exemplo, usando Linkedin ou similares)	O contacto pessoal directo é possível. Esforço para atualizar a pesquisa é mínima, e relações comerciais permanecem ativas.
Os funcionários queixam-se processos de trabalho ineficientes	Os processos internos não são definidos, não são conhecidos, ou simplesmente não são utilizados.	Analisar e optimizar processos de negócio. Fornecer treino a funcionários. Estender o processo de optimização.	T: DQ Analyzer D: DQ Audit, oficinas de processos e treino. Dê apoio durante o processo de implantação - Ou - E: análise de processos, treinamento, roll-out.	Processos de trabalho melhoram e a eficiência aumenta. Satisfação dos funcionários melhora.
Os funcionários reclamam do esforço de pesquisa manual que é necessário	Dados não estão atualizados ou os empregados têm pouca confiança na sua precisão. Isso resulta num maior esforço individual necessário para executar tarefas.	Conferir todos os dados procurando erros, integralidade, precisão, actualização das informações. Corrigir quaisquer erros ou inconsistências encontradas com medidas de optimização direcionadas.	T: DQ Analyzer, DQ Cleansing, DQ Protection D: DQ Audit E: Definir medidas de melhoria direcionadas.	Ao reduzir esforço de pesquisa, a satisfação do funcionário aumenta e as tarefas são tratadas de forma mais eficiente.
Oportunidades de cross-selling são perdidas ou não identificadas em operações de venda	O sistema contém dados redundantes ou informações complementares especificas do cliente que não são atuais, correctas ou estão incompleta.	Definir medidas individuais de optimização de acordo com o tipo de dados e os produtos afectados por oportunidades de cross-selling perdidas.	T: DQ Analyzer, DQ Cleansing, DQ Protection D: DQ Audit E: Definir medidas de melhoria direcionados.	Aumento de volume de negócios da empresa, como resultado de cross-selling bem sucedido.
Baixas taxas de resposta para campanhas de marketing	Os critérios de seleção estão faltando para campanhas de marketing eficazes. Os grupos de clientes errados estão a ser alvo.	Dependendo do tipo de campanha de marketing envolvida, as bases de dados são enriquecidas com dados de fornecedores externos adequados. Campos apropriados devem ser configurados nos sistemas.	T: DQ Cleansing, DQ Protection - Ou - D: Cuidado manual dos critérios de selecção E: Configurar campos para critérios de seleção na base de dados.	As campanhas de marketing obtêm as taxas de resposta mais elevadas. A empresa aumenta o volume de negócios.
Equipe de atendimento ao cliente reclama dos pobres padrões dos dados mestre de produtos	Informações sobre os produtos já vendidos não é atualizada, ou pelo contrário não representa a situação atual.	Definir um catálogo de medidas para corrigir e actualizar informações. Faça uma verificação duplicados de dados mestre de clientes e crie um Golden Record.	T: DQ Analyzer, DQ Cleansing, DQ protection D: DQ Audit E: Consolidar conjuntos de dados para um Golden Record.	Melhoria no suporte ao produto e clientes. A satisfação do Cliente e funcionário é incrementada.
Clientes e funcionários queixam-se de dados de endereços incorretos	Erros de ortografia / digitação / audição ocorrem durante a entrada de dados.	Limpe todos os dados existentes. Implementar uma função de verificação de endereço em tempo real para assegurar que apenas os dados de endereços correctos são transferidos para o sistema.	T: DQ Cleansing,, DQ Protection E: Processar manualmente endereços incompletos ou ambíguos.	Taxa de devolução mais baixa significa clientes e funcionários satisfeitos.
Diferentes departamentos têm diferentes pontos de vista sobre o uso dos dados	Os dados são usados de maneiras diferentes por diferentes departamentos; portanto, devem também cumprir exigências diferentes.	Estabelecer a utilização prevista para os dados e fazer uma avaliação qualitativa.	T: DQ Analyzer D: DQ Audit. Workshops para determinar o uso de dados - Ou - E: Esclarecer o uso pretendido de dados.	Alto nível de satisfação dos funcionários. Uso eficiente de dados em todos os diferentes departamentos.
A empresa não pode satisfazer certos requisitos legais	Procedimentos necessários para o cumprimento das exigências legais estão em falta. Possibilidades técnicas de aplicação de directivas (por exemplo, provisões anti-terrorismo) são insuficientes.	Comparar dados mestre com listas de sanções. Implementar correspondência em tempo real. Definir medidas para lidar com todos os dados correspondentes encontrados.	T: DQ Cleansing,, DQ Protection E: Decidir sobre medidas posteriores.	O cumprimento prevalecente de directivas e disposições jurídicas. Os riscos do negócio são minimizados.
Falta de planeamento de Segurança; decisões estratégicas são feitas com grande incerteza	Há pouca ou nenhuma confiança nos dados devido a padrões de dados de baixa qualidade (real ou imaginário).	Determinar medidas de optimização individuais e implementar um scorecard DQ para a monitorização da qualidade dos dados.	T: DQ Analyzer, DQ Cleansing,DQ Protection D: DQ Audit, DQ Scorecard E: Implementar medidas DQ.	A administração pode confiar nos dados da empresa e com confiança tomar decisões estratégicas. Os riscos do negócio são minimizados.
Análise feita internamente dos campos de dados selecionados não fornece quaisquer resultados úteis	Os campos são preenchidos com informações diferentes das previstas.	Análise o conteúdo do campo e sua finalidade. Adaptar os processos e modelos de entrada. Implantação de novos campos e processos.	T: DQ Analyzer. Além disso DQ Cleansing e DQ Protection, se necessário. D: DQ Audit E: Adaptar os sistemas e processos. Fornecer treino aos funcionários	Informação correta é inserida nos campos como previsto. Análises fornecem resultados significativos.

* T: Tools D: Datalab consultadoria E: Medidas realizadas pela Empresa

Esta tabela pode ser usada para estabelecer pontos de referência na tomada de decisões sobre firmes medidas de DQ. Ela fornece as primeiras ideias para um catálogo de medidas, porque cada sintoma tem uma causa que deve ser tratada individualmente com uma iniciativa de DQ. A escolha e o tipo de componentes DQ aplicáveis são decididos em estreita colaboração com o cliente no âmbito de um projeto de DQ.

Quão bons são os seus dados?

2014-09-29T17:47:00.002+01:00

Conhece realmente o seu cliente, o Sr Silva? Ou é talvez a Maria Catarina Silva, ou talvez Catarina Silva? Pode ser até que os três nomes se refiram ao mesmo cliente.

Dados desactualizados ou duplicados e registos imprecisos são muitas vezes a raiz dos problemas que surgem durante o dia de trabalho. Mesmo os melhores sistemas de CRM e as mais elaboradas campanhas de marketing são de pouca utilidade quando têm como base dados de má qualidade. Mas não são apenas os dados mestre de cliente que causam problemas. Quaisquer dados mestre de baixa qualidade representam um risco para toda a empresa.

Os dados são a matéria-prima para a informação, e é a informação que cria conhecimento. É precisamente este conhecimento que mais tarde formará as bases para para as suas decisões estratégicas de negócio e para o desenvolvimento de metas da empresa, bem como à modelação dos processos de negócio. Dados de alta qualidade, actualizados são essenciais para uma participação de sucesso nos mercados de hoje, e são o foco central do trabalho diário da Uniserv, dos seus produtos e dos serviços que oferecemos. O Serviço Data Quality Hub da Uniserv permite criar e manter altos níveis de qualidade de dados por toda a empresa, mesmo a nível internacional. Todos os departamentos e organizações locais estão incluídos na iniciativa de QD. O nosso modelo flexível permite-lhe usar software instalado e adicionalmente uma solução baseada na cloud, dando-lhe acesso global aos dados mestre de qualidade da a sua empresa. Faça dos seus dados um factor de sucesso para a sua empresa! Vamos mostrar-lhe como!

A IMPORTÂNCIA DA QUALIDADE DE DADOS

- Dados de endereço correctos (também a nível internacional) asseguram que a correspondência escrita chega aos devidos endereços.
- Endereços actualizados para refletir as mudanças de nomes das cidades e das ruas.
- Registo de deslocalização assegura que a correspondência chega aos endereços numa nova localização.
- Registo de fusões e outras mudanças nas estruturas das empresas.
- Desactivação de contacto ou eliminação quando o contato com o cliente não é mais possível, como no caso de falecimento.
- Conjuntos de dados únicos significam dados sem duplicados - cada registo de cliente na base de dados é completo e aparece apenas uma vez.

INICIATIVAS DE QUALIDADE DE DADOS

Os dados mestre da empresa podem ser optimizados com diferentes iniciativas de QD tanto para ganhos rápidos como para ganhos a longo prazo.

Nós identificamos diversas iniciativas a partir das quais um catálogo de medidas individuais pode ser compilado.

Estas iniciativas incluem:

limpeza inicial dos dados existentes com processamento em batch
a criação de um firewall de qualidade de dados para garantir que apenas os conjuntos de dados de alta qualidade entram no sistema
medidas de otimização individuais
adaptação dos processos e reorganização do sistema até que todos os dados estejam disponíveis na forma exigida
treino de funcionários para desenvolver uma consciência para ter dados sustentáveis de alta qualidade

Estes pontos mostram que a qualidade dos dados não pode ser optimizada exclusivamente com soluções de software. Os processos, sistemas e funcionários desempenham, conjuntamente, papeis fundamentais para a manutenção da qualidade de dados.

No próximo post vou detalhar estes erros e as suas correcções.

Qualidade dos dados: Como melhorar:

2014-03-11T11:35:00.000+00:00

Qualidade de dados a cem por cento é um mito. Comecei mais uma vez com uma afirmação que faço muitas vezes e poderá ser perturbadora, mas considero ser um principio fundamental para conseguirmos obter a melhor qualidade de dados possível. E é essa mesma percepção que deve ser o ponto de partida que precisamos para realmente alcançar uma melhor qualidade dos dados. A segunda percepção é que, sem o compromisso de toda a empresa, a qualidade dos dados fica quase uma causa perdida. A terceira percepção é que é necessário ter e usar todas as ferramentas disponíveis para melhorar os níveis de qualidade dos dados e continuar sempre a usá-las.

Porque é que a qualidade dos dados é importante?

Um pouco ciclicamente vamos ouvindo que a qualidade dos dados é importante porque é fundamental para o CRM, porque é fundamental para o BI, porque é fundamental para o BIG DATA, porque é fundamental para o MDM, ... mas na realidade, muitas vezes opta-se pela implementação destes grandes projectos sem a ajuda de ferramentas de qualidade de dados. Sem estas ferramentas é quase o mesmo que querer entrar em competição, mas não querer gastar dinheiro em preparadores físicos. Existe quase tudo para ganhar, a técnica, o conhecimento, a táctica, agilidade e até muita vontade. Mas quando se inicia a competição as coisas até se iniciam bem, mas passado algum tempo começam a notar-se as dificuldades.

Na utilização dos dados das empresas é precisamente a mesma coisa. Se olharmos para os dados do ponto de vista do "treinador" dos dados, normalmente eles até estão bem, o pior é quando os dados são necessários para o envio por exemplo das declarações do IRS. Aí as coisas começam a não parecer já tão bem assim, porque foram devolvidas muitas cartas. Ou quando tentamos saber quantos cliente únicos existem na realidade. Com algumas perguntas facilmente chegamos à conclusão que o CRM não está a ter is resultados esperados, que os relatórios do BI não são bem iguais à percepção existente pelo negócio, que quando necessitamos de Small data do Big Data não se consegue ter os dados pretendidos, ou que o MDM afinal tem vários dados mestre em vez de ter apenas um Golden Record.

Tal campanhas de marketing para os clientes e prospects existentes são sempre apenas tão boas quanto os dados em que elas se baseiam. Por exemplo, se os seus dados estão desactualizados, as suas campanhas serão incorretamente endereçadas e enviadas para a pessoa errada dentro de uma organização. Isto não só desperdiça tempo e dinheiro, mas também tem o potencial de prejudicar a sua reputação comercial. O que pensaria se já estivesse num cargo há mais de um ano e ainda estivesse a receber convites dirigidos à pessoa que substituiu? O que pensaria se recebesse esses convites em duplicado ou triplicado?

Com os dados de negócios a mudar a um ritmo rápido e com taxas de redução de negócios, manter os seus dados limpos e actualizados pode ser difícil. No entanto, se poder manter essas taxas de decomposição, no mínimo, será recompensado com campanhas mais direcionadas, reduzindo custos e melhorando o retorno sobre o investimento.

1 . Seja realista

A chave para melhorar a qualidade dos dados é entender antes de tudo que os seus dados nunca vão ser tão bons quanto pensa que são. Não existe tal coisa como 100 por cento de dados precisos. Depois de ver a verdade sobre os dados, pode ver os pontos fracos e entender quais os passos que precisa tomar para melhorar os seus níveis de qualidade dos dados.

2 . Defina a propriedade

Se a qualidade dos dados é de responsabilidade do marketing, vendas , atendimento ao cliente ou mais ou menos toda a gente dentro de sua organização, então não existe nenhuma responsabilidade - está a faltar compromisso.

Para a qualidade de dados ter hipótese real de vingar, o compromisso tem de vir de cima e de ser atribuído a um indivíduo nomeado - quanto mais alto da "cadeia alimentar" melhor. Mais que um projecto a qualidade de dados deveria ser um departamento, com um responsável.

3 . Receba os processos correctamente

Já ouviu o "ditado" "entra lixo, sai lixo"? Quando se trata de qualidade de dados, precisa para ter os melhores processos para garantir que todos os dados capturados são recolhidos e armazenados de forma consistente.

Normalmente os dados vêm de muitas fontes diferentes, por isso é essencial que esta informação seja sempre adicionada nas suas base de dados num formato correcto. Isso pode ser tão simples como garantir que todos os campos relevantes são inseridos, como o nome do contacto, o endereço, incluindo o código postal correto e número de telefone. Se houver informação em falta, deve ser verificada e adicionada. Este é sempre o ponto fundamental onde se pode com menores custos assegurar a qualidade dos dados. É nesta fase que ao estar em contacto com o cliente, podemos dissipar duvidas, evitando que entrem no sistema, porque depois desta fase, já só com custos muito elevados poderemos reverter a falta de qualidade dos dados.

4 . Gerir as interações com clientes

Todos os contactos que ocorrem dever ser tomados em consideração quando uma empresa considera esses contactos de negócios como parte dos processos de negócios regulares. Estes contactos proporcionam oportunidades para a aquisição de novos dados, para a qualificação dos contatos existentes, adicionando informações complementares aos seus registos, a verificação ou atualização dos dados existentes. Eles oferecem uma proteção importante contra o atrito dos dados. Deve considerar todos esses contactos dentro dos seus processos de negócios, onde eles ocorrem e como a oportunidade pode ser maximizada.

5 . Auditoria aos seus dados

Auditorias de dados são uma boa maneira de verificar se os dados que tem, como actualizar e que lacunas precisa para preencher. A auditoria de dados também ajuda a identificar que partes dos seus processos de dados estão a funcionar e quais precisam de atualização. Por exemplo, onde estão a ser criados os erros? É quando as informações estão a ser introduzidas, ou os erros resultam da falta de formação?

De qualquer forma, é importante identificar onde os erros ocorrem, de modo que os processos possam ser corrigidos para evitar os erros que ocorrem em primeiro lugar - de modo que os dados estejam correctos logo na primeira vez que são adicionados.

Auditorias de dados podem ser realizadas tanto interna como externamente, e em combinação. Por exemplo, fornecemos "exames de saúde" gratuitos de dados para que possa verificar a qualidade dos dados. Com o relatório do "exame de saúde" completo poderá entender algumas das questões que estão presentes nos seus dados, pode então, utilizar fontes de dados internas e externas para melhorar a formatação dos seus dados e para combinar e melhorar os seus dados.

6 . É melhor prevenir do que remediar

É mais rentável e eficiente para manter seus dados logo no ponto de entrada ao invés de efectuar uma revisão a cada dois anos, quando eles já vão estar completamente desactualizados, obrigando assim a um esforço humano e financeiro muito grande para a sua actualização.

Também é importante compreender a qualidade dos dados no contexto de como os dados são para ser usados e como eles são recolhidos em primeiro lugar. Qualidade para uma finalidade não significa qualidade para outra. Por exemplo, a recolha e uso de endereços de uma sede de uma companhia só pode ser útil num contexto, mas não se os detalhes que realmente interessam são os de algum departamento especifico que está fisicamente em outro local.

Nos próximos posts irei detalhar cada um dos diferentes problemas e formas de os resolver.

CMDM em conjunto com a qualidade de dados: factor essencial para o sucesso

2014-01-21T17:49:00.000+00:00

Para muitas empresas o seu processo actual de Vendas e Marketing é um processo operacional que tem muita despesas que são contidas ao máximo, que têm tempos de resposta e desempenho imprevisíveis, que são difíceis de acompanhar e reportar, de difícil alavancagem para outros produtos e serviços e muitas vezes ineficientes, caras e de recurso intensivo.

O principal objectivo do CMDM (customer master data management) é precisamente transformar esta despesa operacional num diferenciador e inestimável gerador de recitas, para que as empresas possam adquirir e fidelizar clientes, que seja um poderoso veiculo de cross-sell e up-sell, que o cliente possa ter maior satisfação com o serviço prestado, com custos de "aquisição" de clientes mais reduzidos.

Como podemos atingir isto? E como pode a qualidade de dados ajudar nesta transformação, não sendo apenas um custo.

Ao construir um CMDM, vamos construir uma plataforma onde vão constar TODAS as informações que estão espalhadas por muitos sistemas dentro das empresas, como por exemplo o sistema de vendas, de facturação/financeiro, o CRM, o Website, o ERP, o apoio ao cliente, o call center, .... todos os sistemas que existem em muitas empresas e que na maior parte das vezes não comunicam entre si, fazendo com que uma pessoa que se vá queixar do serviço, vai falar com alguém no call center que não tem noção do resto das informações dessa mesma pessoa na sua relação com a empresa.

Com todas estas informações agregadas, poderemos ter campanhas de marketing mais eficientes, uma melhoria na lealdade do cliente, aumento do valor total do cliente e maior satisfação geral do cliente.

A pergunta que se faz quando se usam estes chavões é como é que conseguimos chegar a estas conclusões. Para alem das conclusões que se vão tirando através dos projectos executados, existem ainda situações que facilmente compreendemos através da nossa experiencia do dia a dia. A quem não aconteceu já que depois de indicar uma alteração de morada, continuem a enviar cartas para a morada anterior? Caso existisse interligação entre sistemas isto seria evitado. Com isso se evitaria custos com o envio da carta, se calhar com a tentativa de contacto telefônico, e pior que isso tudo o desconforto do cliente com o serviço que isso por vezes conta mais que todos os outros custos somados.

Onde entra a qualidade de dados? Em tudo o que estivemos a falar entra a qualidade de dados, desde a normalização de moradas, à deduplicação de registos, passando pela verificação de NIF's (a sua existência ou não e a sua validação), entre muitos outros aspectos, tudo isto é qualidade de dados.

MDM e Qualidade de Dados

2014-01-13T15:53:00.003+00:00

Depois de um interregno demasiadamente longo, vamos tentar retomar o ritmo de colocação de post's.

Há um sem número de tópicos que quero abordar, mas para iniciar este novo ciclo, optei pelo MDM, logicamente em conjunto com a Qualidade de Dados.

Primeiro que tudo o que é o MDM? Se formos ver a definição da Wikipédia, teremos: "master data management (MDM) compreende um conjunto de processos e ferramentas que definem consistentemente e gerenciam os dados mestres (i.e. não transacionais) de uma organização (que pode conter dados referenciais). MDM tem o objetivo de prover processos para coletar, agregar, combinar, consolidar, garantir a qualidade, persistir e distribuir estes dados a toda a organização para garantir a consistência e o controle nas futuras manutenções e uso desta informação."

Logo de seguida temos uma explicação mais simples: "Basicamente, MDM procura garantir que uma organização não utilize múltiplas (potencialmente inconsistentes) versões de um mesmo dado mestre em diferentes partes de sua operação, o que ocorre normalmente em grandes organizações."

Acrescento um exemplo que todos já devem ter tido, que é a alteração de uma morada num fornecedor de serviços que continua a enviar a correspondência para a morada anterior, com todos os problemas que daí podem advir. Mas o MDM não se fica apenas pelo chamado CMDM (customer master data management).

Existem mais domínios em que podemos ter necessidade um MDM, aqui ficam alguns dos principais:

- MDM para Dados repartidos (Party Data)
Gerir e controlar hierarquias complexas de várias fontes.

- MDM para Dados do Produto
Gerir e controlar informações complexas sobre o produto

- MDM para Recursos Humanos
Gerir e controlar os dados dos seus empregados e as hierarquias de RH

- MDM no sector Financeiro e Contabilidade
Gerir e controlar hierarquias financeiras

No próximo post abordarei o CMDM em conjunto com a qualidade de dados, como factor essencial para o sucesso.

*Por opção do autor, este artigo não foi escrito de acordo com o novo Acordo Ortográfico

Qualidade de dados: uma corrida constante

2012-11-30T10:59:00.000+00:00

Depois de ter assistido este fim de semana ao final do campeonato de F1, fiz uma associação entre esse universo e o universo da qualidade de dados, que acho ter alguma razão de ser.

Existem muitos aspectos que juntos (ou não) permitem fazer uma equipe vencedora (ou não). Para uma equipe ter sucesso na F1 é necessário ter um bom motor e do lado da qualidade de dados vamos fazer a analogia com os softwares. Em ambos os casos se não houver potencia suficiente nesse "motor" dificilmente se consegue ter bons resultados.

Temos a equipe de mecânicos nas boxes que pode igualmente atrasar irremediavelmente um carro que fará com que não seja possível ganhar uma corrida. Mas pode haver casos em que os problemas com o material e não seja "culpa" dos mecânicos que os estão a manusear, mas sim dos outros funcionários que não estando tão visíveis são igualmente importantes, que são os que fazem, testam e verificam todas as peças que são colocadas pelos mecânicos em box. Aqui podemos fazer precisamente uma ponte e ir buscar o post anterior do Filipe Almeida especialmente nos "owners" da informação. Se até aqui era o departamento de TI o responsável pela qualidade dos dados, agora já se vai percebendo que existem outros a criar inputs para o sistema e que são tão responsáveis por esses inputs, como os que são os "guardiões" desses inputs. Se não houver um esforço combinado para melhoria dos dados, será impossível ter um sistema vencedor. Logicamente que aqui podem existir ajudas e as ferramentas de verificação online em tempo real, são importantíssimas para que se possa ter uma melhor uniformização de dados, tanto na vertente de moradas, como na vertente de deduplicação de registos. Ou seja, há ferramentas disponíveis para toda a cadeia de criação de informação, mas logicamente que no final se não existir uma consciencialização que os dados são o activo mais importante de qualquer empresa, será sempre complicado ter uma equipe vencedora.

Por ultimo, mas não menos importante, temos o piloto que estando ao comando, se cometer um erro pode atrasar irremediavelmente o carro, mas também pode ser e é muitas vezes quem faz a diferença entre ganhar e ficar fora dos pontos. Se por um lado depende de todos os outros que o rodeiam, será sempre ele que ao indicar o que está menos bem pode conseguir aquele segundo a menos que irá fazer ganhar a corrida. Aqui o responsável pela qualidade de dados seria a pessoa que estando à frente do "volante" tem de identificar quais as peças que não estão a trabalhar de forma "afinada" e com essa identificação e correcção sempre que possível, irá trazer esse segundo que pode fazer com que se tenha melhores resultados. Um bom piloto pode fazer um bom resultado mas se a equipe não estiver toda centrada no objectivo, dificilmente se ganha um campeonato.

Sobre a Datalab

A Datalab é uma empresa Portuguesa que actua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt

Big Data: Será a qualidade dos dados um requisito ?

2012-11-29T21:31:00.001+00:00

Desta vez trago-vos uma reflexão sobre um tema de que muito se fala na atualidade. O "chavão" é o termo "big data".

Podemos atribuir-lhe muitas definições, defini-lo do ponto de vista tecnológico, do ponto de vista conceptual, etc. Não pretendo compilar aqui uma sua definição. No meu entendimento, refiro-me ao "Big Data" como um conceito que tem como foco o armazenamento de um grande volume de dados, promovendo, apesar do volume, velocidade na sua utilização.

A primeira dúvida que me ocorre é tentar diferenciar este conceito do chamado "mundo relacional" que conhecemos e no qual estruturamos e mapeamos o nosso negócio. As plataformas relacionais visam o armazenamento e uso de informação estruturada em modelos bem definidos e têm um limite na quantidade de dados que armazenam. Falo em limite não no sentido da quantidade que podem armazenar mas sim no equilíbrio entre volume e performance. Também, as plataformas relacionais não são, definitivamente, ideais para armazenamento e consulta de informação não estruturada e, neste aspeto, todos sabemos que se produzem todos os dias Petabytes (notem que já nem sequer falamos em Gibabytes) de informação não estruturada. Vejamos o caso da chamada "Social Media". Sites como o Facebook, Twitter e outros são disto o perfeito exemplo. Por curiosidade, já quantificamos a importância de um evento social em TPS (Tweets per second - Nº de tweets por segundo). Em 2011, quando a famosa cantora Beyonce anunciou a sua gravidez durante os MTV Video and Music Awards, produziram-se mundialmente 8.868 TPS! São números impressionantes!

Definitivamente, plataformas como o Hadoop vieram alavancar a importância do "Big Data" com a sua escalabilidade, capacidade de armazenamento de informação não estruturada em grandes volumes e alta disponibilidade na consulta da mesma.

Mas, se estas plataformas são tão boas, como fica o "mundo relacional" ? Não se iludam os que pensam que as plataformas relacionais estão condenadas. Eu acho que não. Vieram para ficar e cá continuarão por muitos anos. Vejo o "Big Data" como um irmão mais novo do "mundo relacional". Quando este irmão mais novo crescer, vão trabalhar os dois em equipa e serão imbatíveis. Seguramente, as empresas que melhor os souberem combinar terão grandes vantagens competitivas.

Diz-se que, nas empresas, se aplica a regra dos 20-80 no que toca ao uso de informação, ou seja:

Do volume total de dados gerados por todos os sistemas de suporte ao negócio, apenas 20 % destes são, de alguma forma, utilizados em sistemas de BI que visem o suporte á decisão. Os restantes 80% são desprezados, quer porque não trazem valor á tomada de decisão, quer porque não há capacidade de os processar em tempo útil;
Na empresa, apenas 20 % de toda a "informação" gerada e em circulação se apresenta num formato estruturado. Os restantes 80% apresentam-se sob uma forma não estruturada (Email's, Folhas de cálculo, etc.). Se aqui ainda contarmos com toda a informação gerada pelo normal funcionamento dos sistemas (ficheiros de log, ficheiros de erros, alertas, etc.) tipicamente numa forma semiestruturada ou não estruturada, facilmente compreendemos que, no "mundo relacional" não há capacidade de armazenar e tratar todo este volume. Mesmo que haja tal capacidade, tentem convencer o vosso director de IT a fazer esses investimentos e verão do que falo!

Os mais atentos perguntarão: "Mas porquê guardar esta "tralha" toda?" e a minha resposta é "Porque um dia poderemos precisar dela!!!". Notem que sublinhei a palavra "poderemos", porque, se realmente precisarmos deles, nessa altura essa informação valerá ouro!

Escrevi, em ar de graça, o último parágrafo com o intuito de vos passar uma ideia. A "tralha" que nos é difícil guardar / processar e que duvidamos que nos seja útil pode "valer ouro" algum dia se soubermos quando procurar e "o que" procurar nela, por isso mais vale começarmos a guardá-la e analisá-la. É precisamente aqui que uma plataforma de "Big Data" é útil. Armazenar grande volume de dados não estruturados e permitir-nos a capacidade de "cavar" neles na tentativa de acharmos algo de útil.

Deixemos o "mundo relacional" continuar a alimentar-nos os sistemas de Suporte ao negócio, de suporte á decisão e outros de uso comum e comecemos a guardar e analisar aqueles dados que não usamos.

Suponhamos que a nossa empresa lança uma campanha para o mercado, com o intuito de vender um novo produto ou serviço. Na era da web, não faz sentido não promover o produto / serviço no nosso site, nas nossas páginas do Facebook ou do Twitter. Porém, lanço as seguintes perguntas:

Temos capacidade de saber o que pensam de nós ?
O nosso produto será bom ? tem aceitação ?
Quantas pessoas dizem bem ? quais são as críticas para melhorarmos ?

Tudo isto lá está, sob a forma de posts, de "like's" de "share's". Apenas não temos forma de tratar tanto volume (ou potencialmente tanto volume) e muito menos a capacidade de os guardar num formato estruturado. Mas não será essa informação vital para quem decide ? Não serão as opiniões dos nossos "amigos" a forma mais eficaz de "tomar o pulso" ao sucesso da campanha? Eu acho que sim. É por este caminho que o mundo empresarial caminhará e estou convicto que a Qualidade dos dados será um "tema quente" nas plataformas de "Big data".

Quanto maior o volume de dados que guardamos e trabalhamos maior será a procura de soluções que garantam a qualidade dos mesmos. Se já nos é difícil endereçar temas de falta de qualidade dos dados no "mundo relacional" entendo que mais difícil será validar dados em massa em formatos não estruturados ou semiestruturados. Acho que, nos próximos anos, haverá grandes progressos neste tipo de ferramentas e estaremos a falar em garantir a qualidade dos dados em áreas inimagináveis até agora.

Este será um tema a acompanhar nos próximos anos. De uma coisa estou certo: Ainda agora estamos a dar os primeiros passos...

Sobre a Datalab

A Datalab é uma empresa Portuguesa que atua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt

Iniciativas para melhorar a qualidade dos dados: Muito mais do que tecnologia...

2012-11-13T16:23:00.001+00:00

Qualidade dos dados. Muito se escreveu e continua a escrever sobre o tema. Trabalho como Consultor nesta área já faz 13 anos. Recordo-me que, nessa altura, falar do tema numa reunião com um cliente ou potencial cliente era quase um trabalho de evangelho. Pouco se sabia sobre o tema e, mesmo para os mais sensíveis á problemática, não havia argumentos que convencessem alguém a gastar dinheiro com isto. Felizmente, 13 anos depois, o "mercado" aprendeu sobre o tema e, nos nossos dias, abordá-lo numa reunião provoca respostas diferentes. Hoje, mesmo os mais sépticos sabem reconhecer as vantagens destas iniciativas, mesmo que continue a ser igualmente difícil convencer os clientes a gastar dinheiro nisto e, acima de tudo, justificar o retorno do investimento deste tipo de iniciativas.

Do lado de quem tem por missão "vender" ou convencer alguém a empreender iniciativas nesta área, o discurso também mudou. Na altura, limitávamo-nos a um discurso maioritariamente técnico, tentando demonstrar a maravilha que a ferramenta X ou Y conseguia fazer com as suas funcionalidades de parsing ou com os seus algoritmos de matching. Hoje, estas funcionalidades tornaram-se um standard de qualquer ferramenta moderna na área, por isso o nosso discurso tornou-se mais tático. Falamos em Master Data Management, em Data Governance e em outros tantos "chavões" mais atuais e mais virados para negócio.

Pretendo, com este texto, transmitir uma ideia fundamental baseada na minha própria experiência ao longo deste tempo: Melhorar a qualidade dos dados é muito mais do que tecnologia. É um processo (bastante penoso) de mudança de mentalidades que poucos têm a capacidade, visão e coragem de tentar liderar e levar a cabo. Demora tempo, custa dinheiro e trás esforço. Mas, no final e a longo prazo, esta aposta pode bem ser uma enorme vantagem competitiva na empresa.

Enquanto consultor, não duvido que a componente tecnológica é importante. Porém, sem uma estratégia e metodologias adequadas, não é suficiente para garantir o sucesso das iniciativas.

De facto, a "estratégia" de que falo vai bem além do plano tecnológico necessário: passa por um processo de mudança organizacional, de mudança de hábitos e costumes na forma e processos de trabalho da organização. Como sabemos, gerir esta mudança é um processo complexo. Superar este desafio torna qualquer organização mais ágil, mais apta para enfrentar as inevitáveis e rápidas mudanças na conjetura dos mercados.

Liderar uma iniciativa de sucesso passa, na minha opinião, pela capacidade de conseguir mobilizar toda a empresa na procura da excelência de serviço, excelência essa que não se consegue sem que todos se unam na recolha, tratamento e uso de informação verdadeira, válida ,coerente e atualizada: Em duas palavras, informação "de Qualidade".

Abraçar esta estratégia passa, na minha opinião, por endereçar eficazmente os seguintes vetores basilares:

Definir claramente quem são os "owners" da informação

Temos vindo a assistir a uma mudança de paradigma: o ownership dos dados está a transitar do departamento de TI (tradicionalmente apontado como "dono" dos dados ou responsabilizado pelas suas inconsistências) para as unidades de negócio. São elas os "consumidores" da informação, quem beneficia (ou sofre) com a boa (ou fraca) qualidade dos dados que utiliza e dos quais depende. Entendemos que, se são as áreas de negócio o público-alvo dos dados, deverão, também, ser estas a assumir para si o papel de donos da informação. Ser "dono" da informação não implica assumir mais uma responsabilidade. Implica, também, ter os meios (orçamento, calendário e recursos) para gerir as ações sobre os mesmos, garantindo que se gere a qualidade dos dados exatamente da mesma forma como se gere qualquer projeto: Definindo prioridades de atuação, possuindo um orçamento, calendário e recursos afetos e funcionando coordenado com os outros departamentos da empresa. Numa frase, pretendo transmitir a ideia de que devem ser os departamentos com funções de negócio os dinamizadores das iniciativas e não só os "clientes" destas. Deverão ser estes os responsáveis pela execução das mesmas, possuir um orçamento, elaborar o calendário e afetar recursos, com uma coordenação perfeita com todos os departamentos "de suporte" na empresa;

Definir os segmentos de informação a controlar e implementar os mecanismos de monitorização periódica da qualidade desses dados

Sabemos que ninguém em nenhum departamento da empresa é levado a sério quando aponta inconsistências nos dados ou explica o quanto os seus processos de negócio "sofrem" com essas inconsistências. Se, numa reunião com decisores, não formos munidos dos números que quantifiquem essas inconsistências, é certo e sabido que aquele tema que nos levou a reunir depressa cairá no esquecimento. Mais... Nem conseguiremos o objetivo de captar a atenção de quem decide.

É óbvio que, de uma forma qualitativa, devemos entender as causas e os impactos que um menor nível de qualidade dos dados nos impõe. Porém, esta nossa análise deve estar fundamentada pelo aspeto quantitativo: Sermos capazes de "medir" eficazmente a extensão dos problemas. Selecionar a informação a controlar e implementar os processos de medição periódica dos níveis de qualidade desses mesmos dados é fundamental. Superado este objetivo, o passo lógico seguinte será a definição de objetivos a atingir e a classificação da qualidade da informação como "suficiente" ou "insuficiente" para utilização no processo de negócio A ou B da empresa;

Gerir a qualidade dos dados de forma ativa

Uma significativa parte das empresas é reativa no que toca a assuntos relacionados com a qualidade dos seus dados. Quando o fraco nível de qualidade dos mesmos já afetou (em grande parte dos casos, grandemente) as operações da empresa, quando nos vimos perante impactos consumados, reagimos com a tentativa de correção desses mesmos dados. Entendo que esta tendência tem de mudar do capítulo reativo para o capítulo ativo: Aprender que a qualidade dos dados deve passar a ser um processo gerido onde, o mais possível, é a empresa que tem o controlo e que é capaz de determinar e prioritizar o que deve ser corrigido e quando se devem levar a cabo tais intervenções.

Criar um centro de competências na área da qualidade dos dados

Criar, internamente, as competências de "know how" técnico e metodológico reunidas em torno de uma equipa de profissionais que assume a responsabilidade de liderar a implementação dos mais variados processos de auditoria e limpeza dos dados da empresa. Essa equipa deverá misturar as variadas competências técnicas necessárias para estes trabalhos e atuar como veículo de divulgação metodológica, definindo "Boas práticas" de desenvolvimento, formando outras áreas da empresa, etc.;

Implementar e fomentar uma cultura de responsabilização

Por fim, mas não menos importante, é preciso fomentar uma cultura de excelência nos "produtores" dos dados, premiando quem gera informação de qualidade e fomentando um maior nível de exigência nos restantes. Este é, na minha opinião, um dos aspetos mais difíceis de atingir mas, a longo prazo, dos objetivos mais críticos: Sensibilizar quem gera informação para deixar de ser "parte do problema" para passar a ser "parte importante da solução". Globalmente, todos os intervenientes beneficiam com a existência de informação de qualidade. Todos deverão ser parte ativa na melhoria e proteção de um dos mais preciosos activos da empresa: Os seus dados.

Sobre a Datalab

A Datalab é uma empresa Portuguesa que actua no mercado das tecnologias de Informação, especializada em Soluções de Qualidade de dados. Saiba mais em www.datalab.pt

Qualidade de dados em Tempo Real

2012-11-05T12:53:00.000+00:00

Está documentado que a falta de confiança é um dos maiores problemas associados à fraca qualidade dos dados. Muitas organizações têm reconhecido isso e dado passos significativos para limpar seus dados. Mas mesmo estas organizações ainda enfrentam grandes problemas de qualidade de dados. Num mundo cada vez mais em tempo real e 24x7 já não é aceitável que haja um desfasamento entre a criação dos dados e a sua validação - o que resulta em decisões de negócios importantes com base em nada mais do que conjecturas.

Defendemos que uma abordagem mais gradual e generalizada à qualidade dos dados é necessária - quando é melhor prevenir do que remediar. Trata-se de uma clara estratégia de compromisso, numa mudança de cultura com o "foco na qualidade dos dados", expandindo para além das TI's para incluir mais pessoas que realmente usam os dados do dia-a-dia, e para que os funcionários em todos os níveis dentro da organização estejam conscientes da importância de ter boa qualidade dos dados. Esta maior participação resulta numa maior consciência e uma maior atenção - o efeito final serão dados em que todos possam confiar e uma redução de custos.

Os benefícios da adopção de uma abordagem de qualidade generalizada de dados incluem: - Tomar decisões mais inteligentes com base em dados consistentes, limpos e precisos. - Dados em que pode confiar. - Elimine os dispendiosos erros operacionais e atrasos enquanto diminui a dependência de recursos de TI limitados. - Assegure que os dados permanecem limpos e compatíveis com as regras e processos reutilizáveis. - Atrair e manter clientes com a máxima qualidade de serviço e apoio em todos os pontos de contacto do cliente. - Descobrir rapidamente novos mercados e oferecer novos produtos de forma mais eficiente. - Eliminar falhas de comunicação entre negócios e TI. - Produzir de forma eficiente os dados dos relatórios de cumprimento de que estão correctas e precisas - eliminando o risco de sanções devido a dados incorrectos ou incompletos.

Dicas sobre Qualidade de Dados na Cloud

2012-10-10T15:37:00.000+01:00

Encontre a nuvem certa para seus dados mestre de clientes no céu de Qualidade de Dados. Estes pré-requisitos básicos vão ajudar a fazer a escolha certa:

1. Os requisitos reais: Os requisitos reais são o principal critério de selecção para a solução de nuvem correcta. Os custos, desempenho e conforto de operação têm que formar um todo coerente para uma extensão maior do que em modelos convencionais, a fim de ser capaz de assumir as suas exigências e recursos precisamente em consideração.

2. Taxa fixa ou por utilização: Modelos de longo prazo de aluguer não têm lugar na nuvem. O serviço deve ser facturado apenas de acordo com a "utilização" e não como uma taxa fixa, de modo que uma solução de informática na nuvem pode ser usada da forma mais flexível em termos de custos como o leque de funções proporcionadas.

3. Transparência de custos: Como é o caso de todos os outros serviços, o volume utilizado deve ser facturado de forma transparente. Como resultado, pode ver o custo de uma acção individual de qualidade de dados num piscar de olhos e também os itens individuais que compõem o valor total da factura.

4. Dados correctos: A solução deve incluir as funções mais importantes para a limpeza de dados. A correcção e optimização dos endereços, incluindo a correcção de endereço e deduplicação, formam a base de todos os conceitos de gestão da qualidade de dados e de forma a garantir dados de alta qualidade ao cliente.

5. Dados actuais: A fim de manter os dados de seus clientes up-to-date, as aplicações na nuvem devem ser fornecidas com serviços de deduplicação de dados.

6. Valor acrescentado: Funções de enriquecimento de dados, por exemplo, anexar dados geográficos, também são práticos. Isso aumenta o valor dos dados para as actividades de vendas ou facilita a busca de clientes específicos.

7. Capacidade de integração: a possibilidade de integrar a solução de QD na nuvem em outras aplicações, a fim de ter acesso imediato às funções de qualidade de dados a partir da interface operacional actual e para monitorizar e optimizar a qualidade de dados logo na entrada, é particularmente útil.

8. Solução híbrida: a combinação de software instalado e Qualidade de Dados on Demand tem a vantagem de que as tarefas de grande volume são realizadas pelo software instalado enquanto que as tarefas especiais ou não-recorrentes ou trabalhos ad hoc podem ser executados na nuvem.

9. Interface do utilizador: A solução deve ser estruturada de forma clara e fácil de entender. Isto significa que todas as funções básicas e os custos / uso deve ser exibido na página inicial após o login pessoal. Todas as outras funções, as configurações de conta de utilizador e ajuda global deverá ser acessível através da página inicial com um único clique.

10. Protecção: Os dados só podem ser transferidos de forma criptografada. Além disso, o fornecedor de nuvem deve ser obrigado a manter o sigilo e receber os dados, seja num centro de processamento de dados in-house ou num centro de processamento de dados certificado de um fornecedor de serviço conhecido.

Custos da falta de qualidade de dados - 2ª parte

2012-07-17T10:18:00.001+01:00

Depois de ter intercalado com o "placebo", volto ao tema dos custos com a qualidade dos dados, tal como prometido.

Numa simulação simples, continuando com o universo de 1 milhão de registos, e mantendo os mesmos pressupostos anteriores, ou seja:
- 15% de duplicados
- 5% de moradas em falta e
- 20% de moradas incorrectas.

Tendo como base um o custo de 0,25€ por cada peça enviada e um custo de envio de 0,25€, nestes 400.000 registos que são enviados "indevidamente", existe um custo total de 200.000€ por cada envio. Se nestes conseguirmos uma redução de 25% (presumivelmente, valor fácil de atingir) teremos uma redução de custos de 50.000€. Mas se tomarmos em consideração que com o tratamento de moradas, conseguimos assinalar as moradas que podem não estar totalmente correctas, poderemos ainda ter reduções mais significativas.

Como se pode ver pelos valores da taxa de leitura automática para descontos nos CTT os valores "normais" rondam os 60 e os 70%. Dos 70% para cima já é considerado um valor bom, tendo já direito ao desconto máximo, no caso em análise estamos com um erro de moradas a rondar os 25% ou seja já com o desconto máximo logo à partida. Mas em muitos casos certamente que não é esta a realidade, sendo possível aqui ter uma poupança considerável porque o desconto é de 1% entre os 60 e os 70% e de 3% acima dos 70%.

Relembrar apenas que o valor que considerei está longe dos 0,47€ que custa o envio de uma peça em formato normalizado até 20g. Seria necessário um desconto de quase 50%.

Juntando estes valores com os valores anteriores e a questão que fica é apenas porque é que a qualidade dos dados continua em muitos casos a ser negligenciada.

A cura para a qualidade dos dados

2012-06-06T12:23:00.001+01:00

Ao ler um post "humorístico" do Jim Harris, demonstra quanto é verdadeiro a utilização do placebo no tratamento dos dados. Acrescentando a isso a origem da palavra, Placebo (do latim placere, significando "agradarei").

Existem tratamentos de dados que não fazem mais nada menos do que isso... agradam, porque não fazem nada aos dados. Quando muito melhoram a percepção da qualidade dos dados, mas a "doença" continua activa e a minar todos os dados novos e os existentes, durante o dia a dia.

Em alguns tratamentos temos a possibilidade de através de um processo de ETL, colocar os códigos postais actualizados, mas os que sejam inseridos nos dias seguintes a esse processo de ETL? Têm de esperar um ano, ou mesmo em alguns casos mais tempo para que possam ser validades e/ou corrigidos. O mesmo se passa relativamente aos duplicados. Existem muitos duplicados em BD, faz-se um processo de qualidade de dados com uma deduplicação, mas no dia seguinte aparece um novo registo e como não existe forma de automaticamente ter acesso a uma lista de possíveis duplicados, são criados novos registos e o Single View of Customer é apenas uma miragem.

As ferramentas online são por isso essenciais para resolver a doença, porque trabalham lado a lado com todos os intervenientes, a todo o momento na inserção/alteração de dados, impedindo assim validar e corrigir quando necessário todos os dados.

Custos da falta de qualidade de dados

2012-05-17T12:51:00.000+01:00

Desta vez vou colocar alguns números provenientes da falta de qualidade dos dados.

Para ser mais simples vou dividir em dois grandes grupos, um apenas com os custos directos que podemos associar à falta de qualidade dos dados e um outro em que juntamos campanhas de marketing directo sobre os dados.

Para este cenário de custos directos e por uma questão de simplificação vamos adoptar um universo de 1 milhão de registos.

Neste 1.000.000 de registos estimamos a existência de um universo de 15% de duplicados, a existência de 5% de moradas em falta e 20% de moradas incorrectas (em muitos casos estes valores até são bastante conservadores).

Por fim vamos assumir um custo de 6€ por hora por trabalhador que até é um valor bastante baixo, porque o calculo dos custos com o trabalhador devem contemplar para alem dos vencimentos e dos custos com segurança social, os custos do "posto de trabalho", como a electricidade, o custo da infraestrutura e todos os outros custos associados directa e indirectamente. Este valor pode assim ser quase que considerado como um valor mínimo.

Se por cada criação de duplicado foram perdidos 2,5 minutos, nos 150.000 registos que foram criados indevidamente, foram gastos 37.500,00€ desnecessariamente. Juntando a este valor o tempo perdido em busca de uma morada correcta, o tempo de correcção de erros de morada, o tempo perdido com queixas de clientes, temos um valor final que facilmente justifica a existência de ferramentas de qualidade de dados. Somando tudo com muita facilidade de consegue chegar às centenas de milhares de €uros. Como tal o ROI de um projecto destes é facilmente comprovado e justificado. Em muitos casos no final do primeiro ano já temos esse retorno.

No link do titulo abre uma página com alguns cálculos, mas tenho um template que com facilidade se conseguem ter valores concretos adaptando aos valores reais de cada companhia.

No próximo post vamos abordar a segunda parte que será o envio de peças por correio, quer sejam peças promocionais, quer sejam peças de envio regular, como extractos ou facturas/recibos.

Como medir a qualidade dos dados

2012-05-07T10:09:00.004+01:00

Muitas vezes é colocada a questão "Como posso medir a qualidade dos dados?"

Logo à partida a qualidade de dados não pode ser medida numa só dimensão, porque é multidimensional, existem inúmeras métricas que devem ser contempladas.

Se por um lado temos a validade dos dados, por outro temos a completude dos dados ou até mesmo a consistência desses dados entre outros aspectos.

Depois temos outro factor que entra na equação. Se tivemos a falar de moradas poderemos dizer que todos os registos têm os 7 dígitos do código postal, ou seja, supostamente existe 100% de completude nos códigos postais, mas quantos são válidos? Quantos são consistentes? Olhando muitas vezes para os dados, sem ser sequer necessário o recurso a qualquer aplicação, notamos que uma boa parte deles terminam em 000, ou mesmo em 999. Quando estes dois já foram "proibidos", detectamos uma grande numero de ocorrências de registos terminados em 001. Ou seja numa dimensão (completude) até temos valores bastante bons, mas se formos ver em termos de validade e consistência dos dados, a realidade é um pouco diferente. Se juntarmos a isto a consistência entre as ruas e as localidade indicadas, os valores finais relativos ao address management, vão ficar bem abaixo dos 100%.

Mas depois temos ainda os valores relativos aos nomes, aos duplicados entre muitos outros factores. Quantos nomes existem que não estão correctos? Quantos nomes existem que não têm sexo atribuído? Quantos registos existem que devido a algum dos erros anteriormente referidos não estão identificados como duplicados?

Pode haver algum numero final que diga qual a percentagem de qualidade de dados? Dificilmente esse numero será um numero aceitável, porque o que pode e deve existir é uma métrica para cada uma das dimensões a cada um dos factores.

Como conclusão, sim pode ser medido em percentagem o valor de cada uma das dimensões.

Limpeza de dados 2

2012-05-03T10:56:00.000+01:00

Quanto à normalização é um processo que requer cuidados específicos, especialmente se estivermos a tratar registos sensíveis. Quando digo sensíveis, refiro-me a registos de clientes e/ou de fornecedores, que não devem ser confundidos com outros, apenas porque têm um nome parecido ou porque moram por vezes na mesma casa, mas são pai e filho. Se tivermos na nossa BD dois registos com ligeiras diferenças, mas que não sejam diferenciadoras para ficarmos com a certeza se são realmente dois registos distintos, ou que são realmente duplicados, na grande maioria dos casos o melhor é deixar os dois duplicados assinalados, para que o departamento competente possa fazer a respectiva validação.

Mas existem casos em as duvidas na deduplicação são aceites como duplicados, como por exemplo, se tivermos um envio de uma peça publicitária, mas apenas existem peças suficientes para 75% dos clientes, uma das soluções pode ser a remoção do envio precisamente destas registos duvidosos. Os softwares de deduplicação, têm precisamente esta capacidade de ajustar conforme o necessário com aumento/diminuição dos pesos, para que se possa ter a deduplicação pretendida. Existem deduplicações predefinidas, mas cada BD tem as características próprias e são essas características que muitas vezes têm de ser contempladas nos ajustes para que se consiga os melhores resultados. A perfeição nestes casos não existe, quando estamos a tratar milhões de registos, porque se por um lado podemos estar a deixar duplicados não identificados, se alterarmos os ajustes poderemos estar a dar como duplicados registos que não são duplicados, como tal, o que recomendo é ter uma deduplicação que seja "segura", que não esteja a identificar falsos duplicados e deixar a indicação da deduplicação mais apertada, alertando assim para deduplicações mais duvidosas, mas que podem ser resolvidas num posterior contacto com o cliente.

Uma deduplicação sempre importante é a deduplicação por household.

Limpeza de dados

2012-03-27T15:05:00.002+01:00

Para que se possa ter uma boa qualidade de dados é necessário em muitos casos fazer uma limpeza regular a esses dados. Se por um lado existem campos que facilmente conseguimos verificar a sua validade e qualidade, outros há em que é quase impossível tal tarefa.

Iniciando pelos nomes temos um bom exemplo da simplicidade e da dificuldade na limpeza dos dados. Em termos gerais tanto o nome, como o campo sexo são facilmente verificáveis, validados e corrigidos se necessário. Existem listas de referência com os nomes e com os respectivos sexos, fazendo o cruzamento entre estas listas de referência e os dados existentes e temos o tratamento executado. Depois temos as excepções. Desde nomes que simplesmente estão escritos de uma forma tão distorcida que impede a sua correcção, as abreviaturas não standartizadas, até nomes totalmente estranhos, não sendo necessário sequer dar como exemplo as famosas filhas de um casal do nosso burgo. Estes casos são os que têm se ser validados manualmente. Felizmente que estes casos são sempre casos residuais e por vezes nem sequer existem.

Depois temos os valores que derivam de regras existentes e que os utilizadores acabam por tornear inserindo outros valores, como nos 3 últimos dígitos do código postal serem em muitos casos "999", porque anteriormente já tinha sido impossibilitada a inserção do "000". Ou então no numero de porta porque é um campo que tem obrigatoriedade de preenchimento e como já se colocou a morada completa no campo do arruamento, voltam a colocar um valor no campo numero de porta. No final temos como resultado registos como:

Morada	Numero Porta	Adicional	Localidade	CodPostal	EndPostal
Rua Poder Local, 16 7 Z	16		Pontinha	1675-99	Pontinha
R Poder Local, 16 7 Z	9999		Pontinha	1675-001	Pontinha
Rua do Poder Local	16	7 Z	Pontinha	1675-157	Pontinha

Embora sejam problemas resolúveis é sempre arriscado simplesmente retirar o 9999, porque pode haver casos em que o 9999 é realmente o numero de porta.

No próximo post passamos à fase de deduplicaçaão.

Customer Data Integration

2012-03-16T12:29:00.000+00:00

Uma das grandes dificuldades das empresas é a integração de dados por haver diferentes integrações de dados, especificas para cada uma das empresas.

Um exemplo simples são os receios que existem aquando da transferência de dados entre sistemas e em eventuais alterações que possa haver nos dados. Essa transferência poderá esmagar alguma alteração que tenha sido efectuada no sistema de destino. Com o software de deduplicação isso pode ser facilmente evitado, criando inclusive níveis de alerta, conforme as diferenças entre os sistemas.

Conforme esses níveis de alerta são criados diferentes tratamentos para os dados. Esta abordagem permite facilitar e acima de tudo assegurar que os processos automatizados de transferência de dados entres sistemas são fiáveis e confiáveis, permitindo igualmente a automatização de praticamente todos os processos.

Por outro lado, caso existam chaves que tenham de ser criadas antes do processo de integração é assim igualmente possível a criação automática dessas chaves permitindo a sua criação previamente ao processo de integração, impedindo assim que haja problemas. Existe ainda a possibilidade de complementarização de registos, caso seja necessária dentro desse processo de integração de dados, que mais uma vez estas aplicações ajudam a simplificar.

A criação de trabalhos pré-definidos com horários de arranque e com encadeamento de acções, permite automatizar totalmente a integração de dados.

A Qualidade dos dados em Portugal

2012-03-09T15:32:00.003+00:00

Nos dias que correm a qualidade dos dados está cada vez mais presente, porque quando as coisas correm bem, não se olha muito para o que corre menos bem, as coisas continuam o seu rumo sem qualquer problema. O pior é quando em fases como a que infelizmente estamos a enfrentar e qualquer pequena dificuldade que até aqui era considerada um pequeno incidente, passa a ter um impacto maior.

Explicando um pouco melhor, se até uma morada errada que gerava um devolvido era considerado um "incidente", agora alguns desses devolvidos são cartas que infelizmente "informam" o incumprimento de alguns clientes e se essa carta é devolvida, significa que a pessoa não foi notificada da sua "falta". Ou seja, se até aqui o que foi devolvido foi uma carta informativa, que tem um custo, mas que era negligenciado, a mesma devolução agora toma uma outra dimensão.

Pior ainda quando estamos a falar não da devolução de uma carta, mas da devolução de 10.000 ou de 100.000 cartas. Algumas empresas estão neste momento a perceber que existem moradas falsas e que não se consegue contactar aqueles clientes. E como agora tudo conta até o custo da devolução dessas cartas é valorizado. Muito rapidamente existe um ROI positivo de ferramentas de address management.

Torna-se por isso importantíssimo, urgente mesmo, a validação das moradas, dos duplicados e de outras acções de qualidade de dados que até agora tinham sido negligenciadas. Mais do que acções pontuais de qualidade de dados é necessário que seja feita a integração de soluções que melhorem, não apenas os dados, mas que impeçam a entrada de "lixo" para o sistema. Quando falo em "lixo" falo em moradas incorrectas ou inválidas, falo em registos duplicados, falo em registos que são erradamente atribuídos por troca de id's e com a não validação do resto da informação.

Acordo ortográfico vs Qualidade de dados

2012-01-09T12:03:00.000+00:00

Depois de um interregno demasiado prolongado devido a falta de tempo, vou tentar voltar à cadencia anterior de colocação de posts, começando por desejar a todos um excelente 2012!

E para recomeçar, nada melhor que falar no novo acordo ortográfico e do impacto que certamente irá ter na qualidade dos dados. Se até aqui a introdução / alteração de dados já era um problema porque cada vez as pessoas escrevem com mais erros ortográficos, com a entrada do novo acordo ortográfico será ainda pior.

Se pensarmos em termos de nomes e de moradas, poderemos estar perante uma receita perfeita para uma autentica "caldeirada". Vão certamente gerar a criação de muitos duplicados, porque vão aparecer muito mais dados inconsistentes que vão aumentar a falta de qualidade nos dados. Nada melhor que dar alguns exemplos dos erros que se podem antecipar.

Em termos de moradas temos um exemplo que é muito frequente e que certamente vai trazer problemas, especialmente quando estivermos a falar na deduplicação, não existindo um programa que consiga contornar estas dificuldades, que é o "c" antes do "t". E são muitos os exemplos, aqui ficam alguns:
Arquitecto <-> Arquiteto
Projectada <-> Projetada
Inspector <-> Inspetor
Recta <-> Reta
Actor <-> Ator
Actriz <-> Atriz
Colectividade <-> Coletividade

Para juntar a estes temos ainda outros que presumo que se mantenham, porque não se vai mudar o nome às pessoas, ou seja um Octávio, não vai ser "renomeado" e passar a ter o nome escrito como Otávio o mesmo acontecerá ao Victor, ao Octaviano e mais alguns. Como tal um "Find Replace" para trocar todos os "CT" por "T" não deve ser de todo a melhor opção.

Se a falta de qualidade dos dados já se fazia notar em algumas bases de dados, esta será certamente a melhor altura para agir, porque daqui para a frente as coisas só podem piorar.

Revista Semana Informática com Tema de capa "Qualidade de Dados"

2011-12-16T17:18:00.000+00:00

Ainda antes de libertar os novos posts, que estão a ser ultimados depois deste interregno, por manifesta falta de tempo, vou partilhar o link para o artigo da Semana Informática, que esta semana tem como assunto principal de capa a Qualidade dos Dados.

Podem ver aqui o artigo

Falta de qualidade de dados II

2011-10-24T12:06:00.000+01:00

Parece que agora que os dados são mais requeridos a falta de qualidade e de ferramentas de controle de qualidade dos mesmos está a vir ao de cima. Aqui fica mais um exemplo da falta de qualidade, neste caso num banco.

Provavelmente, o que aconteceu foi que o Steve Smith se inscreveu numa campanha e como não estava para dar o nome coloca a expressão "F*** Off". O nome não aparece do nada, não é o "sistema" que coloca um nome. Caso tivesse havido trocas de nomes, não seria apenas ele a queixar-se mas provavelmente vinham as cartas todas devolvidas. Os nomes não iriam corresponder com as moradas.

Mas o que isto mostra é que a qualidade dos dados não foi assegurada e só assim se compreende que tal aconteça. Se por um lado ter qualidade nos dados tem custos, os custos directos e indirectos de não se ter qualidade nos dados é sempre muito superior como se pode ver neste caso.

Como custos directos há um futuro cliente que deixou de o ser, não se sabe se com ele vai arrastar mais clientes seus amigos e qual o "custo" que isto vai trazer para a empresa, é impossível saber. Mas para alem desses custos, há os custos de imagem, que esses são ainda mais difíceis de estimar.

Neste caso, para alem do impacto nos relacionamentos directos e indirectos da pessoa lesada, teve impacto em todos os que leram o jornal e eventualmente em muitos dos relacionamentos destes.

Como se pode evitar que isto aconteça? Simplesmente com normais procedimentos de qualidade de dados, que permitem identificar palavrões nos nomes e moradas. Esta é uma das funcionalidades que um projecto de qualidade de dados deve contemplar.

Juntando este post com o anterior podemos ver que a qualidade de dados engloba muitas vertentes, a verificação, a correcção, a deduplicação

Falta de qualidade de dados

2011-10-21T10:52:00.000+01:00

Ao ler uma noticia lembrei-me do post inicial onde falava num problema de qualidade de dados na Dinamarca.

O assunto continua em cima da mesa porque muitas pessoas não sabem o que fazer, nem fazem ideia qual é o seu problema. Sabem que existe, sabem que têm de o resolver, mas como... não se faz a mínima ideia.

Neste caso da noticia a informação certamente que existe, os dados estão é espalhados por diferentes sistemas/ plataforma/ ficheiros e ninguém sabe o que fazer para resolver o problema. É supostamente uma operação herculana e com custos enormes para resolver. Nada mais errado.

Em primeiro lugar os dados não devem ser assim tantos quanto isso, estão é duplicados, triplicados... Segundo, depois de reunidos os dados todos (essa sim deve ser a operação mais complicada), em menos de uma semana certamente que os dados estão tratados e um problema que agora tem um custo que nem se consegue quantificar fica resolvido, por uma ínfima parte desse custo.

Quantos sistemas têm registos duplicados com custos enormes para as empresas e que continuam no dia-a-dia a alimentar as bases de dados com mais e mais duplicados? Há bases de dados em Portugal que devem ter mais registos que a população Portuguesa. É suposto? Dificilmente se consegue justificar que tal aconteça, mas há sempre quem consiga.

É sempre fácil dizer que não se faz porque os custos... mas em muitos casos logo após a implementação dos processos de qualidade de dados o investimento já está pago.

Relativamente à noticia em questão, pelo que mostra podem haver pessoas a usufruir de duas ou mais casas e ter até uma delas sub-arrendada e todos nós a pagar. Pode haver um sem numero de casos que apenas depois de se conseguir "arrumar a casa" é que se consegue ter uma noção mais concreta. Mas tal como disse anteriormente este é um dos casos que assim que o processo de qualidade de dados estiver em funcionamento já haverá retorno.

Deduplicação, desduplicação, identificação de duplicados - Listas e registos

2011-10-10T10:21:00.001+01:00

Para terminar vamos desenvolver um pouco o output e como obter esse output.

O resultado final, dependendo do fim pretendido, pode ter várias "formas". Pode ser apenas um ficheiro com os registos duplicados e respectivos masters, pode ser um ficheiro apenas com os limpos ou um ficheiro apenas com os duplicados.

O que o software faz é a criação de grupos de duplicados que com uma chave comum que permite o posterior tratamento das bases de dados como por exemplo, com a alteração dos históricos de todas as tabelas dos registos duplicados para o registo master.

Outro ficheiro final de output é um ficheiro apenas com os "limpos", ou seja todos os registos únicos, sem duplicados e com os masters, ou seja apenas um dos duplicados, que pode ser "eleito" tal como nas prioridades das listas.

Por fim temos o ficheiro final apenas com os duplicados.

De todos estes ficheiros e logicamente salvaguardando usos específicos, o mais importante é sem duvida o primeiro que contém todas as informações fundamentais para tratamento dos dados. Com este ficheiro temos os elementos que nos permitem: complementar um registo, alterar tabelas de históricos entre outros.

Com este post fica completo finalmente o tópico da deduplicação.

Deduplicação, desduplicação, identificação de duplicados - Fine Tuning

2011-10-06T10:25:00.002+01:00

No fine tuning da deduplicação temos de ter em consideração o inicio, para encontrarmos o meio de alcançarmos o fim pretendido. Ou seja, temos de saber de onde vamos e para onde vamos. Tipicamente existem 3 tipos de deduplicação a Standard, Overkill e Underkill.

Se falarmos de uma deduplicação normal, a deduplicação standard, depois vamos afinar conforme os resultados que vamos obtendo. Mas podemos ter uma campanha para fazer em que à partida temos 1 milhão de registos, mas sabemos que apenas temos material para enviar para metade desses registos. Como tal poderemos optar por uma deduplicação overkill e dessa forma vamos de forma aleatória ou não, remover registos que à partida não deveriam ser considerados como duplicados, mas como temos excesso de registos, podemos "correr o risco".

Por outro lado, temos uma base de dados que deve ser enviada uma comunicação mesmo para todos os indivíduos, mesmo que um individuo receba mais que uma comunicação, é preferível que haver algum que não receba. Optamos por uma deduplicação underkill, que desta forma a segurança dos duplicados é de 100%.

Em qualquer uma destes tipos de fine tuning, podemos ajustar parâmetros de forma a conseguirmos os melhores resultados, ou aqueles que mais se ajustam ao nosso objectivo final.

Esses parâmetros são as comparações executadas nos campos que podem ser comparações Fonéticas, de Similaridade, Equalização (Código Postal), Proximidade (Numero de porta) e Sinónimos.

Fonéticas o próprio nome é esclarecedor, de similaridade é tomada em conta uma série de factores como por exemplo um V e um U, se estivermos a visualizar algo manuscrito pode facilmente ser similar. Como tal, neste campo podemos aumentar ou diminuir o valor conforme a origem dos dados.

Equalização é usado especialmente no código postal. Temos em Lisboa códigos postais que vão do 1000-001 ao 1990-999, e muitas vezes como não se sabe o código exacto coloca-se simplesmente 1500-000. O que vai acontecer aqui é que todos os registos de Lisboa vão ficar com o mesmo código postal: 1000-000. Desta forma ajuda a encontrar duplicados, mesmo que não tenha sido possível fazer a normalização de algum registo.

Relativamente à proximidade um dos exemplos são os números de porta ou números de telefone. Pode haver pequenas diferenças por exemplo no numero de telefone e assim é possível também encontrar esses registos independentemente de pequenas diferenças nos números que possam existir.

Finalmente temos os sinónimos cujo nome também é esclarecedor.

Está complicado acabar este tema, mas está quase.