Análisis BI

Nuevo Podcast sobre Inteligencia Artificial

2019-05-13T09:02:00.002-07:00

Hace mucho tiempo que no blogueo! últimamente he estado enviando mis artículos al blog de ODSC Blog mis artículos son sobre Data Science y Big Data pero en inglés.

Pero tengo buenas noticias! esta semana hemos comenzado un nuevo Podcast sobre Inteligencia Artificial, Data Science y Big Data junto a Simón Smith, amigo e investigador en temas de AI.

El podcast se llama EscuchAI y nos aprovechamos de la terminación en "chileno" que hacemos de las paralabras al agregar "AI", que se refiere a Artficial Intelligence o Inteligencia Artificial.

Pueden encontrar el podcast en Spotify y SoundCloud puedes comentarnos en twitter en @escuchAI.

Esperamos les guste y estaremos subiendo un capítulo semanalmente.

Data Science for Good

2018-04-13T11:34:00.001-07:00

En el blog de Open Data Science finalicé recientemente una serie de tres artículos explicando qué es el uso de los datos para el bien público.

Dejo a continuación los link en inglés:

Parte 1: Qué es Data Science for Good y cómo ser parte.
Parte 2: Instituciones y Proyectos en el mundo de Datos para el Bien.
Parte 3: Personas, Investigación, y Recursos como sitios web y fuentes de datos.

Además incluí este repositorio con un resumen de los links disponibles.

Espero esto sirva a la difusión del uso de análisis de datos para el bien común.

Datos del presupuesto público de Chile entre 2013 y 2016

2016-09-06T07:54:00.001-07:00

Este post contiene una visualización de los datos de la Ley de Presupuestos entre los años 2013 y 2016. Los datos fueron descargados desde el sitio de la Dirección de Presupuestos.

Los datos en los archivos xml, csv, pdf y xls están presentados en forma jerárquica por lo que la suma directa de cada registro no aplica, se desarrolló un proceso para presentar los datos en forma tabular.

Se tomaron los archivos del Resumen Presupuesto de Programas en formato xml para hacer la integración. Datos desde más de 300 archivos por año según el detalle de Programas se integraron con un script en Python que envía los datos a una base PostgreSQL donde luego con código SQL se hace el traspaso a formato tabular para poder visualizar los datos.

Disclaimer: Los totales brutos cuadran en todas las Partidas. Sin embargo, el total neto no cuadra en algunas Partidas debido a la dificultad de identificar los montos correspondientes a la columna de Transferencias en los archivos de Partidas de que se presentan en Resumen Presupuesto de Partidas. Esta columna de Transferencias sólo se presenta en esos archivos y no en el desglose por Capítulo o por Programa.

Si sabes cómo cuadrar los montos de la columna Transferencias en los archivos de Partidas envíame un mail o deja un comentario.

Puedes solicitar los códigos fuente (Python y SQL) dejando un comentario o enviándome un email.

La visualización de los datos la puedes revisar en el siguiente link.

El conjunto de datos formato tabular se pueden encontrar en el siguiente link.

Artículos en medios

2016-03-02T10:33:00.002-08:00

A continuación links de algunos artículos de opinión publicados tanto en Infogate.cl, Decideo.com y OpenDataScience.com en el último tiempo. Sugerencias son bienvenidas.

Open Data Science Blog

27/05/2017 - Introduction to Evaluating Classification Models
18/04/2017 - [Podcast] Wading into Deep Learning, a 30 minute query
13/04/2017 - A Data Technologies implementation to avoid turbulence United Airlines
21/02/2017 - Containers for Data Science
09/10/2016 - Scala, the language for Data Science.
21/09/2016 - Data Science, I Choose You!

Infogate.cl

04/03/2016 - El problema de los silos de información.
21/01/2016 - Qué podemos esperar del 2016 del mundo de los datos.
14/01/2016 - El desafío en data science no es la tecnología.
10/12/2015 - Avanza la Inteligencia Artificial.
10/11/2015 - Por qué hacer modelos predictivos.
03/11/2015 - Qué es Data Science.
19/10/2015 - Conoce a tus clientes en 3 pasos.
13/10/2015 - Hadoop o DBMS esa es la cuestión.
01/10/2015 - Dispositivos wereables.
22/09/2015 - Inteligencia Colaborativa.
14/09/2015 - Internet of Things y Big Data.
01/09/2015 - Redes sociales y Análisis de Sentimiento.
25/08/2015 - Open Data.
18/08/2015 - La última fase de Business Analytics.
11/08/2015 - Cinco habilidades para trabajar con Datos.
01/08/2015 - Presente y Futuro de Big Data.
29/07/2015 - Cómo mejorar la toma de decisiones en las empresas.

Decideo.com

02/03/2016 - Roles del científico de datos.
05/01/2016 - Las 7 tendencias en el mundo de los datos que se perfilan en el 2016.
11/12/2015 - El desafío en data science.
16/10/2015 - Qué entendemos cuando decimos Data Science.

La última fase de Business Analytics

2015-10-19T15:37:00.003-07:00

Este artículo La última fase de Business Analytics fue publicado en Infogate.cl el 18 de agosto de 2015.

Se conocen generalmente dos ramas en la aplicación de minería de datos. La primera son los Modelos Descriptivos, y la segunda los Modelos Predictivos. Son también dos fases dentro del amplio concepto de Business Analytics; el cual incorpora una tercera fase, Prescriptive Analytics, entendida como el paso natural después del modelamiento predictivo.

La Minería de Datos aplicada en Inteligencia de Negocios puede ser usada en diferentes formas como, por ejemplo, perfilar a los clientes actuales, estudiar su comportamiento de compra, predecir si dejará la compañía o simplemente anticipar necesidades para ofrecer lo necesario en el momento preciso.

Los Modelos Descriptivos o Descriptive Analytics permiten entender qué ha sucedido. Ejemplos de este tipo de modelos son las segmentaciones de clientes para conocer los distintos perfiles de clientes que cada organización acoge y desde allí conocer sus necesidades. Otro ejemplo es el análisis de canasta para conocer patrones de compra y uso de productos y servicios. Permite la venta oferta conjunta de productos o servicios y desarrollar el potencial del mercado.

La segunda rama o fase son los Modelos Predictivos o Predictive Analytics. Modelos que pretenden aprender patrones latentes en los datos. El objetivo es predecir un resultado basado en la historia conocida. Por ejemplo, si los clientes responderán positiva o negativamente a acciones comerciales determinadas. Predecir la probabilidad de un cliente de abandonar el servicio o producto basado en el estudio de las características de los clientes que ya abandonaron. Otro ejemplo, es poder determinar qué clientes se interesarán en determinadas campañas que se quieren ofrecer, poder determinar la mejor oferta para cada cliente, esto es conocido como cross selling y up selling.

Un problema frecuente al interior de las organizaciones que cuentan con análisis descriptivos y predictivos, es que éstos no se traducen en acciones comerciales concretas o tardan tiempo en ejecutarse. Hay una pérdida de valor de la Inteligencia de Negocios cuando no existe una gestión asociada al análisis.

Entonces, ¿Cuál debiera ser el siguiente paso para las empresas que usan Data Mining para el soporte a la toma de decisiones? La respuesta es Prescriptive Analytics. Así como los doctores prescriben medicamentos a sus pacientes basados en los síntomas y antecedentes; el análisis prescriptivo se encarga de recomendar mejores acciones, basado en los resultados de modelos predictivos y descriptivos; y además presentando el potencial impacto de los resultados de las acciones recomendadas.

El análisis prescriptivo es la tercera fase de Business Analytics, luego de análisis descriptivo y análisis predictivo. Aúna e integra conceptos de Big Data ya que se hace cargo de la ejecución y funcionamiento mediante reglas y sugerencias de acciones posibles y evaluando el resultado final de realizar estas acciones. El conocimiento generado por medio de los modelos descriptivos y predictivos se puede capitalizar implementando análisis prescriptivo optimizando el proceso de toma de decisiones.

Finalmente, organizaciones interesadas en optimizar el proceso de toma decisiones, interesadas de utilizar procesos de vanguardia entendidos como beneficiosos para la empresa, integrar tecnologías como Big Data y procesamiento masivo de datos desde diferentes fuentes; debiera mirar el desarrollo de este tipo de propuestas analíticas para sus procesos internos.

5 Habilidades para trabajar con Datos

2015-09-30T16:36:00.002-07:00

Este artículo 5 Habilidades para trabajar con Datos fue Publicado en Infogate.com el 11 de Agosto de 2015.

Además de las habilidades técnicas necesarias para el manejo de datos e información, se requiere un conjunto adicional de habilidades en los miembros del equipo dedicado al trabajo con datos. Estas 5 habilidades aplican tanto jefes como a analistas.

En los últimos 5 años se ha generado gran interés en Big Data y herramientas de Minería de Datos son cada vez más comunes al interior de las organizaciones, por esto es importante considerar las siguientes 5 habilidades en los miembros de los equipos de trabajo que utilizan estas herramientas y tecnologías:

Curiosidad intelectual: Deben ser buenos respondiendo preguntas a través de los datos pero más importante aún es ser capaces de formular sus propias preguntas a los datos y proponer análisis pertinentes de acuerdo a las necesidades de los proyectos en los que participa. La capacidad de “hacer sentido” de gran volúmen de datos y “hacer hablar” a los datos mediante la curiosidad y creatividad al servicio de su trabajo.
Pensamiento crítico y analítico: Al mirar una película podemos tener dos posturas: ser meros espectadores del desarrollo o podemos inferir las siguientes escenas con la información conocida. Este mismo tipo de pensamiento se debe aplicar al análisis de datos, cuestionar los resultados que se van obteniendo y buscar el por qué sucede lo que sucede. Así se genera el conocimiento tan valioso para las empresas que se embarcan en proyectos de Business Intelligence.
Conocimiento del negocio: Todo análisis debe ser hecho dentro de un contexto conocido; un espacio y tiempo ajustado a las capacidades reales de la empresa. Este conocimiento del negocio hace la diferencia en la efectividad de los aportes de los equipos que trabajan en datos.
Comunicación de ideas: Sobre todo a usuarios no técnicos. Se debe ser capaz de traducir conceptos abstractos a conceptos entendibles por el resto de la organización, y además ser capaces de transmitir la utilidad de lo realizado sin entrar en tecnicismos.
Organización bajo un marco de trabajo: Finalmente, la capacidad de organizar bajo una secuencia lógica de pasos para alcanzar los resultados esperados, cumpliendo con las necesidades de información y requisitos del proyecto es clave en proyectos de Data Mining y Business Intelligence, que la mayor parte del tiempo no se ajustan a las metodologías tradicionales de desarrollo de software o gestión de proyectos. Esta capacidad de organizar las actividades dentro de un marco de trabajo es una habilidad requerida tanto para analistas como para gerentes a cargo de estas áreas.

Evaluar estas 5 habilidades en los miembros de los equipos de trabajo permite a las organizaciones direccionar y desarrollar a las personas; además permite hacer eficiente la búsqueda de prospectos a incorporar a los equipos.

La demanda de profesionales calificados en el análisis y uso de información es creciente y presenta una oportunidad de desarrollo interesante para los próximos 10 años. Es importante destacar que estas 5 habilidades pueden desarrollarse con estudios y experiencia. ¿Qué otras habilidades añadirías?

Presente y Futuro de Big Data

2015-08-10T09:12:00.000-07:00

Presente y Futuro de Big Data en Infogate.

Cómo mejorar la TD en las Empresas

2015-08-06T07:15:00.002-07:00

Cómo mejorar la TD en las Empresas en Infogate.

Frase BI 009

2015-06-16T13:54:00.002-07:00

"Remember that all models are wrong; the practical question is how wrong do they have to be to not be useful."

"Essentially, all models are wrong but some are useful."

Recuerda que todos los modelos (predictivos) están equivocados; la pregunta es cuán equivocados están para dejar ser útiles.

Esencialmente, todos los modelos (predictivos) están equivocados pero algunos son útiles.

George Box respecto a la calidad de los modelos predictivos en su libro "Empirical Model Building and Response Surfaces".

Open Data y Ley de Presupuesto 2015

2015-01-13T00:13:00.000-08:00

Comienzo el primer post de este 2015 con lo que espero sea un aporta a la visualización de datos y Open Data; se trata de la visualización de la Ley de Presupuestos del sector público de mi país Chile.

Hace algún tiempo publicaba un análisis de la Ley de Presupuesto para el año 2014, dada la baja cantidad de visitas a la visualización armada pensé en otras alternativas para visualizar los datos correspondientes a 2015.

Los datos correspondientes al año 2015 se encuentran en el portal de datos del gobierno de Chile en el siguiente link: Presupuesto 2015. Y si quieres los datos correspondientes al año 2014 están en Presupuesto 2014. En ambos años utilicé el archivo correspondiente a la ley y no al proyecto de ley.

Los archivos tienen 6 columnas de códigos numéricos (partida, capitulo, programa, subtitulo, item y asignación) 1 columna string llamada denominación y 2 campos numéricos (monto_pesos y monto_dolar).

Cargué el archivo a una base MySQL.

Al revisar el contenido te puedes dar cuenta que con la columna denominación es posible denominar los subtítulos, los ítems y las asignaciones; pero las partidas, capítulos y programas quedan solo en códigos.

Buscando las descripciones de estas columnas se llega a la página de la Dirección de Presupuestos o DIPRES y en el siguiente link se puede encontrar la descripción de cada programa... por separado!

Lo bueno es que puedes elegir entre formatos abiertos como xml y csv y otros formatos como xls y pdf. Para el año 2015 son 318 archivos, puedes elegir descargarlos con curl o con la extensión de Firefox DownThemAll.

Lo que hice fue descargar los archivos en xml, luego dejarlos todos en un mismo archivo y mediante expresiones regulares en sublime-text o cualquier otro editor de texto que lo permita, limpiar el archivo hasta que quedó un archivo de 318 registros con tres columnas de códigos y 3 columnas descriptivas para partidas, capítulos y programas.

Luego mediante consultas simples en MySQL se puede construir la tabla final en formato tabular con las descripciones para las seis columnas de códigos numéricos y sin repetir los montos.

Mediante observación noté que cuando Subtítulo es menor que 21 se trata de Ingresos y al contrario de Gastos, con esta información se puede armar la tabla final.

Por tiempo no alcancé a dejar los códigos en un repositorio pero si estás interesado escribe o deja un comentario y los puedo enviar o avisar cuando los publique.

El resultado de la visualización final del archivo se construyó en Tableau Public y está en el siguiente link.

Visualización Ley de Presupuesto 2015.

Los comentarios son siempre bienvenidos.

Customer Intelligence

2014-12-22T13:14:00.001-08:00

La Inteligencia de Clientes (IC) está tomando relevancia al interior de las organizaciones, simplemente porque tanto si los resultados son positivos como negativos siempre resulta de interés conocer a nuestros consumidores.

Podemos entender IC como la focalización y centralización de los esfuerzos de Inteligencia de Negocios y Analíticos de la organización, en el cliente o consumidor de nuestros servicios o productos.

El recién pasado 11 de diciembre fui invitado a exponer acerca de IC en un seminario organizado por alumnos de pregrado de Ingeniería C. Industrial de la Universidad de Talca en Curicó, a continuación comparto la presentación realizada.

Las consultas son siempre bienvenidas.

Customer intelligence from Diego Arenas

Los 23 Blogs más influyentes de Business Intelligence

2014-11-07T13:23:00.002-08:00

La selección fue hecha por el sitio BI Software Insight. Debo reconocer que fue una sorpresa y una gratificación estar entre los 23 blogs más influyentes de Business Intelligence, además de ser el único en español.

Conozco twitteralmente a la mayoría de los que están en esta lista y es un gran honor para mí compartir el listado con tan respetados personajes e individuos del mundo Business Intelligence; los sigo y respeto, leo sus contenidos que son un constante aporte original. Si bien hay nombres que podría agregar al listado de bloggers influyentes me parece que la selección está basada en contenidos originales e independencia de marcas y tecnologías; porque quienes podría agregar representan o trabajan para determinadas empresas o tecnologías de BI.

El espíritu de AnálisisBI es el de compartir conocimiento y generar contenido original, los posts que encuentras en este blog representan la opinión y análisis de su autor. Este no es un blog de noticias que repite el contenido de otros sitios, las noticias publicadas son, según el autor del blog, de relevancia y se publican con datos y comentarios para complementar el valor de la noticia. Disfruto escribiendo posts de opinión acerca del futuro y tendencias de corto y largo plazo que espero lentamente se van convirtiendo en hechos o datos en BI.

Últimamente he dedicado poco tiempo a la manutención de este blog pero espero retomar la publicación periódica de contenidos, por lo menos el backlog de contenido ya está preparado pero los comentarios son siempre bienvenidos.

El listado original lo pueden encontrar en el siguiente link.

Datos abiertos Presupuesto 2014

2014-05-13T14:44:00.002-07:00

En un post anterior comenté sobre lo que es Open Data, la idea de este post es mostrar un ejemplo de análisis de datos públicos utilizando el conjunto de datos publicados correspondiente a la ley de presupuestos del sector público para el año 2014 de Chile.

Los datos se encuentran disponibles en el portal de datos datos.gob.cl desde donde se pueden descargar.

Los datos disponibles están publicados con una estructura jerárquica lo que implica que no es posible generar resúmenes directamente porque los datos están autocontenidos en diferentes líneas dependiendo de la jerarquía. Para poder usarlos se pueden cargar como una tabla de una base de datos como MySQL por ejemplo con lo cual mediante un código sql se puede llevar a un formato tabular.

En la imagen se puede el porcentaje del total y la cantidad de pesos por chileno por mes, como una medida inventada para poder dimensionar el gasto en cada ítem.

El resultado del análisis está publicado en prezi en el siguiente link.

Los comentarios son bienvenidos.

Qué es Open Data

2014-03-31T10:09:00.001-07:00

Hace unos años ya que quería dedicar un post para hablar de Open Data o Datos Abiertos en español, me parece un tema de lo más importante que no justifica postergación, sin embargo, el término se ha dado a conocer poco a poco desde que aparece como un concepto y pasa a acciones concretas y desarrollos específicos.

¿Qué es Open Data? en términos simples, es la idea de que ciertos datos sean de acceso libre para cualquier individuo sin restricciones de patentes u otros mecanismos de control.

Quiero hacer incapié en que la importancia de Open Data no radica en la publicación de los datos, que es el primer paso, si no en la utilización de éstos por parte de los individuos o comunidades para explorar y generar información y conciencia.

Open Data no es solo la publicación de los conjuntos de datos, también se hace necesario una serie de requisitos que es recomendable seguir como por ejemplo:

Publicación de los datos en formatos o estándares abiertos. Ya que la publicación con archivos con extensiones propietarias fuerza a tener el software de publicación o alguna herramienta para transformar los datos algo con lo que no siempre podemos contar. Formatos como CSV, XML o linked data son algunas recomendaciones utilizadas.
Catálogo con el diccionario del conjunto de datos publicados.
Catálogo con el vocabulario utilizado en los datos.
Certificación de que los datos publicados son correctos, indicando las fechas de validez, y cuándo han sido publicados. Esto facilita el uso de los datos y generación de artefactos derivados desde los datos sin problema con la validez de los datos.
Responsable de los datos. Un organismo o individuo al cual poder contactar por dudas, recomendaciones o correcciones a los datos publicados.
Clarificar las restricciones en el uso de los datos. Tanto licencias como alcance de los datos. Lo que se puede y NO se puede hacer con los datos.

Desde 2011 varios países se han involucrado en la publicación de algunos de sus conjuntos de datos y hoy podemos tener acceso a éstos.

Como decía el primer paso es la publicación de estos catálogos o conjuntos de datos públicos, el siguiente paso es por parte de la comunidad de utilizarlos y generar información necesaria desde los datos y divulgar y compartir la información y conocimiento adquirido. Los productos derivados son diversos, algunas ideas de divulgación:

Publicación de la información con la adecuada referencia a los datos públicos, en estudios en formato de presentación, documentos o blogs.
Infografías o posters con la información generada.
Aplicaciones móviles o de escritorio con la finalidad de divulgar la información que resulta de interés.
Publicación de catálogos enriquecidos gracias a la integración con otros datos públicos o agregando inteligencia a los datos.
Publicación del conjunto de datos original o resultante en plataformas compartidas de análisis de datos para el uso de la comunidad de éstas.

Hay muchas formas de compartir la información generada, pero resulta de importancia comenzar a hacer esto y con una frecuencia regular, lo que enriquecerá la información de nuestro entorno con el objetivo de aportar con datos a una solución real.

A continuación una lista de 7 pasos para hacer uso de Datos Abiertos:

Identificar un problema.
Plantearse de un objetivo de análisis en función del proble.
Buscar catálogos de datos relacionados al problema.
Elegir las herramientas tecnológicas y teóricas para hacer el análisis.
Analizar los datos teniendo en mente el objetivo.
Elegir la forma de compartir la información generada o los hallazgos.
Publicar la forma o estructura utilizada para que pueda ser reutilizada o aplicada a otro problema de similares características.

Espero este post sea de utilidad ahora y en el futuro en el uso y explotación de datos abiertos. Los comentarios son bienvenidos.

42

2014-03-21T06:38:00.002-07:00

Datos en todas partes. Pueden servirnos o no, tenemos acceso cada vez a más cantidad de datos así como también a almacenar cada vez más historia y con más detalle.

No podemos darnos el lujo de esperar 7 mil millones de años para conocer la respuesta al universo, la vida y todo lo demás si no tenemos idea cuál es la pregunta que se está respondiendo.

Hacer la pregunta correcta se vuelve imperativo, los datos pueden respondernos muchas preguntas si tan solo supiéramos qué preguntarles.

SQL Server 2014 CTP2

2014-01-02T08:54:00.001-08:00

Primer post del año y es para comentar que pueden descargar SQL Server 2014 CTP 2. CTP es el acrónimo de Community Technology Preview y es la segunda versión porque antes habían sacado el CTP 1. Es una versión lanzada con el solo fin de testeo por los usuarios de la herramienta. Se puede descargar gratuitamente, esta versión no se debiera instalar en producción ni ser usada como ambiente de producción.

SQL Server 2014 CTP 2 es completamente funcional pero no viene con el Data Tools para Business Intelligence en el instalador pero se puede descargar por separado.

Para quien está familizarizado con versiones anteriores como 2005, 2008 y 2012 no debiera tener problemas para el uso y funcionalidad en 2014, el Data Tools Business Intelligence tiene un look and feel moderno y más intuitivo que 2012 y versiones anteriores.

Los links de descarga:

SQL Server 2014 CTP2. Se puede descargar en format ISO e instalar con algún software de unidades virtuales, les recomiendo usar DaemonTools en su versión Lite que es gratuita y fácil de usar.
SQL Server 2014 Data Tools Business Intelligence para Visual Studio 2012, CTP2. Se descarga como instalador ejecutable y lo instalas a continuación de SQL Server 2014 CTP2.

¿Qué les parece? Quedo atento a los comentarios con el uso de esta herramienta.

Para terminar comparto links de buenos blogs y recursos acerca de SQL Server para quienes lo usan, están evaluando adquirir o quieren aprender más:

Amby.net Business Intelligence con SQL Server y más.
SQL Server Sí! Blog de Salvador Ramos Microsoft MVP.
Microsoft Business Intelligence y más... blog de Alan Koo.

Próspero 2014 en BI!

2013-12-31T07:44:00.004-08:00

Último post del año y es para desear un excelente 2014 a los lectores de AnalisisBI y los individuos inmersos en el mundo del BI. Para terminar bien el año dejaré mis resoluciones para el 2014 en BI:

Escribiré al menos 2 post mensuales y con contenido de interés en el blog.
Difundiré BI y Data Mining en la medida de lo posible.
Evaluaré cada solución de BI / Data Mining / ETL / Base de Datos además de metodologías y algoritmos que resulte de interés y publicaré mis comentarios y recomendaciones (se reciben propuestas de softwares, metologías o algoritmos).
Publicaré noticias relacionadas al BI desde este rincón.
Mantendré contacto con los portales y sitio de BI. Así es que Expect me en los comentarios!

Que sea un 2014 muy bueno! con buenas soluciones y muchas novedades!

Trabajar con Data

2013-01-23T10:18:00.001-08:00

Meme de qué significa trabajar con Data, la que más me gusta es lo que yo pienso que hago... alta apreciación de uno mismo ¿no crees?. También posteo el mismo meme pero en inglés.

El Data en modo Sherlock me gusta mucho porque trabajar con Data implica muchas veces investigar, plantear hipótesis a priori, e interrogar a los datos hasta la última información que podamos obtener para gestionar nuestra organización.

Para difundir por supuesto!

Colección de ebooks gratuitos sobre Big Data

2012-06-13T13:16:00.001-07:00

Este es un post para aquellos afortunados lectores del siglo XXI que trabajan en BI y analíticos y que por supuesto usan lectores electrónicos. Sucede que O'Reilly Media no se cansa de hacer las cosas bien. En amazon (no se por cuánto tiempo más) tienen disponibles libros acerca de Big Data y Data Science a cero dolares, sí gratis en teoría.

Este es un excelente negocio, el generar y distribuir contenido original de alto valor es una apuesta rentable, lo que haces en realidad es esparcir tu visión del tema en donde te haces de adeptos y/o retractores pero que circundan alrededor de tus propuestas.

Los libros están disponibles en formato kindle para aquellos suscriptores de una de las primeras empresas de Jeff Bezos.

Los libros disponibles están en lengua inglesa y los temas son de lo más interesante, los links a continuación:

Big Data Bibliograph.
What is Data Science? de Mike Loukides.
Planning for Big Data de Edd Dumbill.
Designing Great Data Products de Jeremy Howard, Mike Loukides y Margit Zwemer.
Big Data Now.
The Evolution of Data Products de Mike Loukides.
Building Data Science Teams de DJ Patil.
Data for the Public Good de Alex Howard.

Qué disfruten esta difusión de contenido. Me cuéntas qué libro te resultó más útil e interesate.

Descarga Microsoft SQL Server 2012 (RC0)

2011-11-24T05:51:00.001-08:00

Desde el 18 de noviembre de 2011 está disponible el iso del Release Candidate 0 (RC0) de la última versión del motor de bases de datos SQL Server de Microsoft.

RC (Release Candidate) quiere decir que es una versión candidata a ser la versión final, y no es en ningún caso la versión definitiva, sin embargo, la versión final será muy similar pero con mejoras gracias a los reportes de aquellos que bajen el RC para probarlo y reporten bugs, errores y posibles mejoras.

Sacar un RC tiene beneficios como acercar y familiarizar la nueva versión a los potenciales usuarios, recibir feedback temprano de una comunidad ~~de potenciales clientes~~ más extensa que el equipo de desarrollo y sondear la llegada y uso de la nueva versión.

Los RC son incrementales esta es la versión cero y pueden en el futuro sacar el RC1 y RC2 perfectamente, una vez que la etapa de los RC está completa viene la versión RTM o Ready To Manufacture (Listo Para Fabricar/Manufacturar) que es la versión que irá en las versiones digitales a los clientes finales.

SQL Server se ha caracterizado por ser una solución de principio a fin de Business Intelligence, desde el almacenamiento de los datos (MSSS), integración de datos (SSIS), análisis y modelado de datos (SSAS) y reporting (SSRS) en un mismo entorno de desarrollo; intentando incorporar lo necesario para una gestión de información básica sin exigir muchos conocimientos técnicos para la implementación. La relación costo/beneficio/cobertura es atractiva y se acomoda bien a pequeñas y medianas empresas, sin excluir claro a las micro ni a grandes empresas.

Así es como el proyecto Denali (nombre interno del proyecto) tiene el primer RC, abajo dejo los links de descarga:

- SQL Server 2012 RC0 en inglés.
- SQL Server 2012 RC0 en español.

Si lo descargas me cuentas cómo te fue!

Frase BI 008

2011-01-24T17:09:00.000-08:00

What is a Dashboard?

A dashboard is a visual display of the most important information needed to achieve one or more objectives; consolidated and arranged on a single screen so the information can be monitored at a glance.

¿Qué es un Dashboard?

Un dashboard es una representación visual de la información más importante requerida para alcanzar uno o más objetivos; consolidada y dispuesta en una sola pantalla para así poder monitorear toda la información en un vistazo.

Stephen Few, "Dashboard Confusion," Intelligent Enterprise, March 20, 2004.

Metología para construir un Data Warehouse

2010-10-08T11:41:00.001-07:00

Un Data Warehouse (DWH) es conocido en castellano como un repositorio de datos o almacén de datos, difícilmente puede ser traducido como repositorio o almacén de información, debido a que desde el DWH provienen los datos que son transformados en información para el apoyo a la toma de decisiones. La información que proviene de los datos es un mensaje que provoca un cambio en el conocimiento del que recibe el mensaje.

La decisión de construir un Data Warehouse (DWH) depende de varios factores. Hay muchas variables anexas a esta decisión como:

madurez de la organización en cuanto a sistemas de información,
cantidad de sistemas de información existentes,
cantidad de fuentes de información existentes,
cantidad de usuarios que consumen información a diferentes niveles (recordemos que en todo nivel de una organización se toman decisiones),
calidad de datos de los sistemas operacionales,
necesidades de información actuales / futuras,
planes de crecimiento de la organización,
desafíos de análisis y entrega de información,
etc.

Desde luego existen más factores, puedes dejar en los comentarios aquellos que se te ocurran.

Luego de decidir si construir o no un DWH ya sea con enfoque Kimball que recomienda construir data marts para los diferentes procesos de negocio de la organización, sobre una arquitectura tipo bus y dimensiones compartidas, con un modelado altamente dimensional podemos decir que tenemos un DWH en nuestra organización; o con el enfoque de Inmon quien recomienda llevar el modelo de datos de información a tercera forma normal, en un sólo modelo corporativo y desde donde se puedan generar diferentes sub-modelos de datos para satisfacer necesidades específicas a un determinado proceso de negocio de la organización. Resumiendo, Kimbal dice que la suma de los data marts generan el DWH e Inmon dice que el DWH (modelo único de datos en 3NF) genera los diferentes data marts.

Tener un DWH es requisito para construir un sistema de BI? por supuesto que NO. Sin embargo si estás evaluando o has empezado un proyecto de DWH un poco de ayuda y guía es bienvenido. Por eso quería compartir este valioso recurso que en Dataprix ponen a disposición de quienes quieran acceder a él, hace 2 años posteaba sobre HEFESTO Datawarehousing, hoy está disponible la versión 2.0 y además en formato ePub. Felicitaciones por la difusión y la calidad del material. (Fuente: TGX - HEFESTO.)

Suerte con el proyecto de data warehouse que estás emprendiendo, por supuesto las consultas, dudas y comentarios son bienvenidos en AnalisisBI.

Links:
- Formato on-line.
- Formato ePub.

Base de datos ejemplo de Pentaho en MySQL

2010-01-23T07:40:00.000-08:00

Cuando intentaba cargar datos en la base de datos de ejemplo de Pentaho en MySQL en ambiente windows, aparecieron errores en la inserción de ciertos registros en tablas con columnas de tipo timestamp, específicamente con los valores'2003-10-11 00:00:00.000000' y '2004-10-09 00:00:00.000000'.

Luego de pensar un momento (tal como en la foto), se me ocurrió una posible explicación a este fallo debido a la zona horaria de la base de datos y he aquí la explicación...

Primero hay que saber que MySQL tiene soporte de hora por zonas, al instalar el servidor MySQL en windows, por defecto toma la zona horaria de la máquina, con "select @@global.time_zone, @@session.time_zone;" se puede obtener la hora del sistema, si retorna SYSTEM es porque tiene la misma zona horaria de la máquina donde está instalado el servidor, como en mi caso.

Y segundo se debe considerar la fecha y horas locales, si bien las fechas parecen ser correctas en el formato, de acuerdo al país donde vivo (Chile) esas fechas no existen debido a que en Chile se hacen cambios de horario 2 veces al año:

el segundo sábado del mes de octubre se adelanta 60 minutos la hora y,
el segundo sábado del mes de marzo donde se retrasa 60 minutos la hora.

Al revisar las fechas que arrojan problemas efectivamente corresponden al segundo sábado de octubre de 2003 y 2004. El cambio de horario quiere decir que un segundo después de las '2003-10-10 23:59:59.000000' de esos días fueron las '2003-10-11 01:00:00.000000' por lo que '2003-10-11 00:00:00.000000' nunca existió.

Soluciones a esto puede ser cambiar la zona horaria al inicio del script con "SET time_zone = timezone_value;" pero antes se deben actualizar los datos de las tablas de zonas horarias que están en la base mysql que vienen sin datos en la instalación por defecto o simplemente agregando la siguiente línea al principio del archivo:

"SET time_zone = '+0:00';"

Con lo cual se asegura la correcta inserción de los datos de ejemplo.

Es interesante el manejo de zonas horarias por parte de los motores de bases de datos, y de MySQL en particular ya que mejora la calidad de los datos y simplifica ciertas validaciones en los datos.

PS: Debo agregar que la costumbre local es cambiar la hora el sábado a media noche, es decir, a las 23:59:59 horas del sábado se pasa a las 01:00:00 horas del domingo.

Predicciones BI 2010 - 2012

2010-01-11T11:15:00.000-08:00

Como es de costumbre al comenzar el año dejo algunas predicciones e ideas sobre BI para este año y los que vienen:

Proyectos pequeños de alto impacto (PPAI): En los ultimos años hemos visto proyectos ambiciosos de BI, implementaciones que se planifican a varios años y que luego se extienden por más años. El énfasis será conseguir proyectos de alcance acotado pero de alto impacto en las organizaciones. Principalmente en áreas donde se busca la reducción de costos, tiempos y esfuerzos. Estos PPAI entregan soluciones a los consumidores de información en forma simple y entendible sin necesidad de realizar análisis, estos proyectos involucran un desarrollo flexible y un diseño ajustado a cada necesidad, no son proyectos genéricos sino a medida. Esto no quiere decir el abandono de proyectos de gran tamaño, por el contrario, los PPAI son la entrada para continuar con implementaciones maduras de BI en las organizaciones. Esto tiene dos consecuencias importantes, primero mantener el apoyo y la confianza de la alta dirección de las organizaciones para implementaciones mayores de BI y segundo es que ajusta las espectativas de los usuarios al conocer los beneficios de una implementación exitosa.

Integración y calidad de datos: Cuando las organizaciones tienen varios motores de bases de datos soportando el ambiente operacional con varios sistemas transaccionales y se embarcan en iniciativas BI de cualquier índole, deben considerar como punto importante la integración de datos, y si se trata de los primeros proyectos BI entonces hay que enfocarse en la calidad de datos. La integración de datos será un punto aparte en los próximos años debido a la necesidad de entregar datos e información confiable y consistente para el negocio. Los vendedores son cada vez más concientes de esto y tienden a ofrecer soluciones integrales de tratamiento de datos, con capacidades de administración de metadata y MDM (Master Data Management).

Reduccion de costos de capacitación en soluciones BI comerciales: Una posible estrategia por parte de las soluciones comerciales de BI, es reducir el TCO (Costo Total de Adquisición) de sus soluciones a través de una reducción del costo de capacitación en sus soluciones, sobretodo para no perder clientes principalemente PyMEs. Generalmente la capacitación en una herramienta específica se realiza por partners y consultores externos al vendedor y serían estos actores los que podrían evaluar esta alternativa.

Aumento de webinar por parte de soluciones BI comerciales: Para las soluciones Open Source es un recurso conocido organizar webinar sobre tópicos relacionados y uso de sus herramientas, no tanto así para soluciones comerciales, los webinar son un excelente canal para llegar a clientes y potenciales clientes.

Soluciones hechas a medida: Los proyectos grandes y de largo alcance son necesarios, pero si se trata de primeros proyectos lo que conviene es resolver el problema con soluciones acotadas y a la medida de las necesidades de información. Para esto creo que las soluciones a medida predominarán por sobre las soluciones por rubro o soluciones genéricas. Por ejemplo si 2 empresas de telecomunicaciones compran el mismo proyecto BI para empresas de telecomunicaciones no significa que obtendrán los mismos beneficios o que tendrán el mismo ROI; el resultado depende del alineamiento a los objetivos estratégicos de la empresa y el ecosistema de información. Por esto las soluciones a medida tienen más valor como primera iniciativa BI en una organización y esto será lo que demandarán los clientes.

Cambio en el paradigma de mantención de los ambientes BI: Por el lado de investigación y desarrollo aparte de la visualización de datos y rendimiento (performance) que son grandes puntos y lo que hace atractiva a una suite de BI, la administración de la plataforma ofrecerá adelantos significativos en los próximos años. La tarea es y será en los próximos años de reducir la complejidad del proceso de mantención de las plataformas BI. El resultado será disminuir el tiempo dedicado a mantenciones, hacer el proceso más simple, ofreciendo por ejemplo recomendaciones y alternativas a la configuración, disminuir los riesgos de errores en el proceso por intervención manual (esto también disminuinuye el TCO debido a que no requiere mucha expertiz en estas labores y por menos tiempo). Además es un punto a mejorar en las soluciones on-premise ya que con soluciones tipo SaaS, por lo general, no nos preocuparnos demasiado por la mantención del ambiente, no así con las soluciones instaladas en nuestros servidores. La competencia por quién ofrece una mejor plataforma con buen rendimiento y sin complejos proceso de mantención es un tema para los próximos años.

Performance Management y Balanced Scorecard: En un escenario post-crisis las organizaciones demandarán soluciones tecnológicas de acuerdo a su nivel de madurez en BI, su cultura organizacional y a la necesidad de seguimiento y cumplimiento de los objetivos estratégicos. Se puede decir que viene un auge de proyectos relacionados con PM, ya sea de planificación, presupuestación y pronósticos o cuadros de mango integrales pero las necesidades existen y las soluciones no se harán esperar durante los próximos años.

Discusión sobre términos y nomenclatura BI: Desde los inicios de la inteligencia de negocios es común usar terminlogía poco clara, para cada término BI se pueden encontrar varias definiciones; incluso es poco claro el límite de cada concepto, por ejemplo ¿dónde termina BI y comienza PM? y viceversa, o ¿qué quiere decir el término "business analytics"? todo depende de quien tenga o haga la opinión. La terminología se da generalmente por tres actores principales: los vendedores, los analistas de mercado y por los expertos en temas BI. La tendencia es que sigan apareciendo nuevos términos para dar nombre a un conjunto de elementos que antes se nombraban por separado, y también a buscar un mejor definición de cada nomenclatura, creo que falta todavía por trabajar en la metadata de BI.

Uso de SaaS por pymes: La alternativa existe, cada vez más empresas pequeñas optan por soluciones tipo SaaS como ERP y CRM. BI no será la excepción en mi opinión, veremos cómo aumenta la oferta y la participación de mercado de este tipo de soluciones, y también el movimiento de las soluciones on-premise a este tipo de servicio.

ERP y CRM open source: Las aplicaciones de tipo ERP y CRM Open Source más antiguas son cada vez más estables y con más funcionalidades en cada versión, además de ofrecer integración con soluciones OSBI, son un mercado nuevo en desarrollo y con señales de crecimiento por varios años más.

Adopción fuerte de BI en sector financiero: La situación actual y reciente del sector financiero a nivel mundial nos muestran la necesidad de tener información oportuna para tomar decisiones. El interés de las áreas usuarias a todo nivel repercute en un mayor involucramiento de los usuarios mejorando la calidad de los proyectos, y el resultado es poder tomar decisiones con información oportuna. Las organizaciones necesitan tener una administración flexible y ser capaces de reaccionar y saber en todo momento donde se encuentra la organización en el contexto mundial. Las soluciones BI para el sector financiero es una realidad que se mantendrá por años hasta tener empresas guiadas por BI.

Crecimiento mercado BI en Brasil y Perú en latinoamérica: La inversión en tecnologías de información fue una de las pocas que no se vio afectada durante la crisis económica mundial y la inversión en BI ha sido prioridad para las organizaciones por varios años consecutivos, podemos asumir que se han aplazado proyectos pero no se han dejado de hacer. Brasil por el tamaño del mercado presenta una demanda creciente para soluciones de sistemas de información y Perú por el crecimiento que ha tenido el último tiempo es otro foco de crecimiento BI.

Mejora en la calidad de los proyectos BI por cultura BI: Dicen que la práctica hace al maestro, y es precisamente lo que sucede en organizaciones con varios años de experiencia en proyectos BI, ganan en conocimiento y cada nueva implementación se aplican mejores prácticas y lecciones aprendidas de proyectos anteriores, esto permite que mejore la calidad del desarrollo y de la solución final. Mientras más personas en la organización estén involucradas con el desarrollo de los proyectos más valor adquiere la solución final para esa organización.

Adquisiciones: Este tema da para un post por separado, pero se puede adelantar que las adquisiciones apuntarán por el lado de analíticos (motores de decisión en línea) y visualización de información y en segundo lugar mejorar el performance. Las empresas se fortalecerán para ofrecer soluciones analíticas cada vez más simples de usar. Seguirán las asociaciones entre vendedores para ofrecer soluciones conjuntas.

Esperemos que las organizaciones generen valor a partir de sus datos y tengan la habilidad de explotar los sistemas de información con los que cuentan. En cuanto a BusinessAnalytics.cl será un año, espero, con mucho contenido original y difusión de temas relacionados a los Sistemas de Información.

Los comentarios y críticas serán bien recibidas. Si quieres proponer algún tema para tratarlo en BusinessAnalytics.cl puedes enviarlo en la sección de Contacto.

Sistemas ETL

2009-10-15T09:00:00.000-07:00

De acuerdo a Kimball, podemos encontrar 4 componentes principales para definir un sistema de BI o componentes en un sistema de información:

1. Los sistemas fuentes, o fuentes de datos

2. Los sistemas ETL

3. Las áreas de datos (de Stagging y de Presentación)

4. Aplicaciones de acceso a los datos

Este post se enfoca en el punto número 2 que son los sistemas ETL, en post futuros se desarrollarán con más detalle los otros 3 puntos.

ETL significa Extraer, Transformar y Cargar (Load por su sigla en inglés) los datos, una variante puede ser ELT que propone traspasar los datos primero y luego realizar todas las transformaciones en el destino.

En términos simples ¿qué es ETL? (definición personal y genérica): "son todas las actividades necesarias relacionadas a la administración de datos y metadatos para satisfacer las necesidades de información".

A ver si se entiende... entonces de acuerdo a esta definición ¿el traspaso de datos es parte del proceso ETL? R: Sí. ¿Y las transformaciones de datos, la agregación de nombres a los códigos inentendibles, y las consolidaciones de los números por cliente? R: También es parte de ETL. ¿Y cuando se requiere enviar los reportes corporativos para el quinto día del mes con la información de cada sucursal en cada región? R: También es parte de ETL ya que requiere el traspaso de los datos de las bases de datos locales de cada región a un repositorio para así procesar los datos y enviar los reportes; es misión del proceso ETL cumplir en tiempo y precisión la carga de los datos.

Imaginemos nuestro plan de BI como un gran reloj, en donde en los procesos ETL encontramos la mayor cantidad de engranajes grandes y pequeños que se encargan de que todo lo planificado funcione precisa y eficientemente. Cualquier desperfecto propaga el error.

La arquitectura ETL debiera pensarse como un servicio independiente a la presentación y consulta de datos, es decir, dedicar hardware y software para esto y en la implementación seguir las mejores prácticas recomendadas por cada vendedor y aquellas que la experiencia indican.

El proceso de ETL, desde el punto de vista tecnológico es un FCE (Factor Crítico de Éxito) de una solución BI, permite automatizar y simplificar procesos muchas veces complejos o demandantes en tiempo, sobre todo de mantención de las soluciones. La mayoría de los proyectos de data warehousing incorporan procesos de ETL, es común ver en más del 80% de estos proyectos un ítem para ETL; no así los sistemas operacionales los cuales aun prevalece el movimiento de datos por código o a través de las mismas aplicaciones.

El proceso ETL no es percibido desde el punto de vista usuario final de los sistemas de información (salvo en determinados casos de minería de datos o análisis específico), sin embargo, los usuarios tienen una participación importante en la concepción y el desarrollo de éstos procesos. Es el negocio el que plantea sus necesidades de información y los requerimientos iniciales del sistema. Esto plantea dos requisitos importantes en los datos que deben ser cumplidos por el proceso ETL:

- el primero, las necesidades de información determinan las fuentes de los datos y dicen dónde se deben buscar, recolectar, transformar e integrar los datos.

- y segundo, las necesidades de información determinan el diseño de la base de datos analítica, es decir, el repositorio de los datos que el proceso de ETL se encargará de integrar y traspasar los datos para lograr el objetivo de la solución final.

Para cumplir con estos objetivos se indica lo que se espera cuando el sistema esté terminado (alcance), las expectativas (funcionalidades), lo que existe y cómo se genera actualmente y esto sirve de input para la definición de las fuentes y destinos de datos.

Lógicamente el diseño de una base de datos analítica no se debe acotar a una necesidad particular, se diseño de tal forma de hacerla flexible de incorporar nuevos elementos al modelo, para eso se diseñan dimensiones que permiten analizar diversas problemáticas de negocio.

Por eso es bueno hablar de la Estrategia ETL que debe tomar en cuenta fuentes y destinos de datos; ventanas de disponibilidad de las bases de datos; rendimiento de los motores operacionales de información y motor del servidor ETL para elegir dónde realizar las operaciones y sacar el máximo provecho al rendimiento.

Cuando se analizan las necesidades de información que serán cubiertas por la solución BI se debe evaluar la factibilidad (¿tengo lo necesario para cumplir lo requerido?), materialidad (¿vale la pena el esfuerzo en hacerlo de esta manera?) y costos (recursos, tiempo y esfuerzo) de éstas. A su vez, inmediatamente podemos identificar requerimientos para el sub-proyecto de ETL (dentro del proyecto global de la solución completa) los cuales en una etapa siguiente deben definirse de mejor forma; como por ejemplo:

Fuentes de los datos: Tablas de bases de datos operacionales, archivos externos, identificar dónde se encuentran físicamente los datos que quiero mostrar en la solución final.
Validación y aprobación de los datos a cargar: Alguien se hace responsable de certificar que la data a ser cargada al sistema es válida y precisa y no contiene errores que lleven a tomar decisiones basadas en datos malos.
Disponibilidad de la fuente de datos: Cuando los datos fuente se encuentran en sistemas operacionales que soportan el día a día de las empresas se tienen ciertas restricciones, sólo accesibles durante la noche ya que en el día no puede sobrecargar el día a día, conocer los horarios de respaldo de los datos para no consultar o programar traspasos mientras la base de datos está abajo, o rechaza las conexiones.
Destino de los datos: Considerar que el modelo final será un modelo analítico especialmente diseñado para la solución de BI (punto 3 que detallaremos más adelante), considerar también la zona de stagging o zona intermedia donde antes de cargar el modelo final dejo los datos para realizar las transformaciones necesarias.
Transformaciones necesarias a los datos: el 99,9% de las veces no será un simple extraer e insertar (copiar y pegar) los datos desde los sistemas operacionales hasta los sistemas de información, se definen las transformaciones necesarias, como los pasos de limpieza de datos, corrección de mala calidad de datos, traspasar datos consolidados en vez de datos en detalle, etc.
Frecuencia de acceso a los datos fuentes: Es importante conocer las "ventanas de tiempo" disponible para acceder a los datos fuentes en los sistemas operacionales.
Frecuencia de acceso a los datos finales: Debido a la demanda de información resultaría contraproducente realizar la actualización de los sistemas cuando tiene mayor demanda por parte de los usuarios. Se debe planificar la actualización en tiempos en que el sistema es poco usado como por ejemplo durante las noches, o primeras horas del día, etc.
Periodicidad de carga: Dependiendo del uso y la finalidad de las soluciones se definen periodos específicos de carga acotados a un rango de tiempo, definido por la disponibilidad. Se establecen acuerdos para la actualización de datos de acuerdo a las necesidades, para algunos sistemas puede ser mensual, semanal, diario, o incluso menos.

El diseño de la estrategia ETL debe tener siempre en consideración estos factores. Hay que tener en cuenta las transformaciones de los datos en el diseño del proceso completo debido al factor de rendimiento y aplicar las mejores prácticas en el traspaso de datos.

Los comentarios y aportes son siempre bienvenidos.