Business Intelligence y Big Data: ¡Aprende Gratis sobre Analytics!

Videotutorial: Usando R para Machine Learning con PowerBI

noreply@blogger.com (Unknown) — Tue, 19 Nov 2019 08:42:00 +0000

Si te gusta el Business Intelligence, Machine Learning y conoces algo de R, no te puedes perder este Videotutorial:

Temario del Videotutorial:

1º Posibilidades de R dentro de Power BI
2º Instalar R y RStudio
3º Matriz de Correlación para el sector Retail
4º Árbol Decisión Titanic
5º Clustering K-Means Estados Unidos
6º Clustering DBSCAN Estados Unidos para detectar Outliers
7º Forecasting Exponencial Smoothing Births Nacimientos
8º Descomposición de Series Temporales Nacimientos
9º Power BI R Visual con ggplot2

Para Saber más de PowerBI:

Big Data para PowerBI

mayo 31, 2018 big data, lincebi, open source, Pentaho, powerBi 3 comments

Power BI es un conjunto de herramientas Business Intelligence (BI) desarrolladas por Microsoft. De reciente aparición, gracias a su simplicidad y potencia se ha hecho un un hueco entre las grandes del mercado como Tableau, Pentaho o Microstrategy. Al igual que estas últimas, implementa la filosofía de Autoservicio para el usuario final (Self Service BI) llevada al extremo de la sencillez, pero con un gran número de características...

Working together PowerBI with the best open source solutions

enero 29, 2018 business Intelligence, Dashboards, futbol, lincebi, open source, powerBi 7 comments

Here you can see a nice sample combining PowerBI with open source based Business Intelligence solutions, like LinceBI, in order to provide the most complete BI solution with an affordable cost - Predefined Dashboards - Adhoc Reporting - OLAP Analysis - Adhoc Dashboarding - Scorecards More info: - PowerBI functionalities - PowerBI traini...

Comparativa de Costes Tableau vs PowerBI

octubre 15, 2017 comparativas, powerBi, tableau 1 comment

Os dejamos un documento listo para descargar, con una comparativa muy completa de costes entre Tableau y PowerBI (hay que decir que el informe ha sido encargado por Tableau, por lo que puede tener cierto sesgo). Por ejemplo, en cuanto al esfuerzo de este tipo de proyectos, si tenemos en cuenta que ambas son herramientas de Data Discovery (usuario final), no se tiene suficientemente en cuenta la parte más importante, el modelado,...

El martes 26 de Noviembre, no te pierdas AlicanteData

noreply@blogger.com (Unknown) — Mon, 18 Nov 2019 18:03:00 +0000

Toda una mañana, con un gran panel de ponentes sobre Datos y Analytics en Alicante, el martes 26 de Noviembre. No te lo pierdas

Tras los eventos en Madrid, Barcelona y Sevilla, ahora en Alicante!!

Para los 10 primeros seguidores de TodoBI que se registren con el código TodoBI321 os saldrá gratuito

Acceso y Registro

Temario completo. Una mañana muy bien aprovechada!!

Un gran panel de Ponentes

DESCUBRE LAS TECNOLOGÍAS BUSINESS INTELLIGENCE MÁS COMPLETAS Y QUE ESTÁN LIDERANDO LOS PROYECTOS HOY EN DÍA. ASÍ COMO SUS CARACTERISTICAS, DE LA MANO DE LOS GRANDES ESPECIALISTAS DEL SECTOR.

APRENDE SOBRE TALEND, Big Data, AI , Machine learning, VERTICA Y POWERBI (LA COMBINACION MÁS COMPLETA Y POTENTE) PARA BI, BIG DATA Y ANALYTICS.

Formacion Data Engineer: Machine Learning con Spark

noreply@blogger.com (Unknown) — Mon, 18 Nov 2019 09:18:00 +0000

Uno de los capítulos más interesante del curso 'Curso de Data Engineers', de nuestros compañeros de Stratebi es el 11. Machine Learning con Spark

Este curso incluye ejercicios prácticos sobre nuestro Cluster. Os dejamos unas pinceladas del contenido de este capítulo:

Cual es el orden correcto para hacer un proyecto de Machine Learning?

noreply@blogger.com (Unknown) — Fri, 15 Nov 2019 08:13:00 +0000

Muy de acuerdo con esto:

Tips y Tecnicas de optimización de Vertica con Talend

noreply@blogger.com (Unknown) — Thu, 14 Nov 2019 09:14:00 +0000

Os traemos unos cuantos trucos y recomendaciones sobre dos de nuestras herramientas favoritas: Vertica y Talend

Configuring Talend for Use with Vertica
To configure Talend for use with Vertica, you must understand:

Using Talend Components for Vertica

Talend provides a number of Vertica-specific components that you can use to manage your ETL jobs. Understanding the ETL flow and loading guidelines can help you determine which components to use, and how best to use them.

Understanding ETL Flow and Loading Guidelines

Understanding the basic ETL flows helps you decide which Vertica component and options to use. This section addresses the following load types:

Type of Load	Use this COPY Option	Results
Small Bulk Load COPY (<100mb font="">	AUTO	Writes to WOS. Spills to ROS when WOS overflows.
Large Bulk Load COPY	DIRECT	Writes to ROS. Each commit becomes a new ROS container.
Incremental Load COPY	TRICKLE	Writes to WOS. Errors when WOS overflows.

Follow these guidelines when loading data into Vertica:

Use COPY to load large amounts of data. Using COPY avoids fragmenting the WOS and doesn't require the overhead that using INSERT does.
If your row count is small (fewer than 1000 rows), use INSERT.
Load multiple streams on different nodes.

If you are using the INSERT INTO...SELECT...FROM syntax in ETL jobs with large volumes, be sure to use the following syntax.

=> INSERT /+*direct*/ INTO table SELECT…

Commonly Used Vertica Specific Talend Components

The following Talend 6.4.1 components are specifically for use with Vertica:

Component	Description
tVerticaInput	Extracts data from Vertica.
tVerticaBulkExec	Loads from a file.
tVerticaOutputBulk	Writes to a file.
tVerticaOutputBulkExec	Writes to a file and loads the data.
tVerticaOutput	Inserts or updates rows into a Vertica table.
tVerticaRow	Executes the SQL query stated against the Vertica database.

tVerticaInput

The tVerticaInput component allows you extract data from Vertica. Give special attention to the DATE and VARCHAR fields, as follows:

DATE fields—All DATE fields must be in MM-DD-YYYY format. Check your DATE fields and correct the format wherever necessary, as shown in the following dialog box.

VARCHAR fields—Talend examines a sampling of the data when determining the size of the VARCHAR field. If the table contains large VARCHAR values, consider increasing the default column size.

Note

You can also use the tMap component to transform or remap the data type.

tVerticaOutput

tVerticaOutput provides options that you can change, depending on the size and type of load. Specifically, you should change the Action on Data and Action on Table options, as described in the following sections.

Basic Settings for Trickle or Incremental Loads (Writing to WOS)

Set the Action on Table and Action on Data options according to your use case. For trickle or incremental loads, set Action on Data to INSERT.

Advanced Settings for Trickle or Incremental Loads (Writing to WOS)

When writing to the WOS, use the default values for Advanced Settings as follows.

To enable fields for INSERT, UPDATE, and DELETE, select the Use field options checkbox. The default settings in the previous graphic generate the following SQL statements:

2018-05-15 05:24:36.797 Init Session:7f17b3fff700 [Session]  [PQuery]
 TX:0(v_target_l1_node0001-40400:0x1091f) INSERT INTO public.VarChar4k_Table 
(DataTypeSet,ValueDesc,VarChar4k_Column) VALUES (?,?,?)

Note

These default settings do not generate a COPY statement.

Basic Settings for Large, Bulk Loads (Writing to ROS)

For large, bulk loads, use the DIRECT syntax to write to ROS. To do so, you must set the Action on data option to COPY.

Advanced Settings for Large, Bulk Loads (Writing to ROS)

When using COPY, use Advanced Settings to specify filenames and locations for exception files.

The settings in the preceding graphic generate the following SQL statements:

2018-05-15 05:19:44.584 Init Session:7f17fd7ca700-a0000000044bf8 [Txn] 
 Rollback Txn: a0000000044bf8 'COPY public.VarChar4k_Table 
(DataTypeSet,ValueDesc,VarChar4k_Column) FROM local STDIN UNCOMPRESSED WITH DELIMITER ';' 
RECORD TERMINATOR '' ENCLOSED BY '|' NULL AS '' EXCEPTIONS 'C:/data/except_file.txt' 
REJECTED DATA 'C:/data/except_records.txt' DIRECT NO COMMIT'

tVerticaOutputBulkExec

The tVerticaOutputBulkExec component writes to a file and then copies the data using standard input (STDIN).

Basic Settings

Advanced Settings

By default, tVerticaOutputBulkExec writes to the ROS.

The settings in the preceding graphic result in the following SQL statements:

2018-05-15 05:20:44.526 Init Session: 7f17b37fe700-a0000000044c10
[Txn]
 Starting Commit: Txn: a0000000044c2d 'COPY
datatype_ss.VarChar_Table FROM local STDIN DELIMITER ';' NULL 'null'
DIRECT returnrejected'

tVerticaRow

The tVerticaRow component allows you to specify any valid Vertica SQL statements, including COPY statements. Use tVerticaRow to load data into Vertica flex tables, or for other scenarios that require Vertica structures that are not supported with custom Talend components.

Example: High-Performance COPY

In the following example, the source file is on the Vertica server and uses the high-performance Vertica COPY (not COPY FROM LOCAL). Whenever the source files are on the Vertica cluster, load data using high-performance COPY.

"COPY talend.store_target FROM '/home/dbadmin/store.csv' DELIMITER ';' 
NULL '' DIRECT;"

Example: Loading into Flex Tables

This example shows how to run the Vertica flex example included in the Vertica package directory.
To create the flex table:

=> CREATE FLEX TABLE mountains();

To load data to the flex table:

=> COPY mountains FROM 
   '/opt/vertica/packages/flextable/examples/mountains.json' 
   PARSER FJSONPARSER();

To create the view of the flex table:

=> SELECT COMPUTE_FLEXTABLE_KEYS_AND_BUILD_VIEW('mountains');

Example: Performing Vertica-to-Vertica COPY

This example shows a Vertica-to-Vertica COPY:

“CONNECT TO VERTICA vmart USER dbadmin PASSWORD '' ON 
'VertTest01',5433;COPY customer_dimension FROM  VERTICA 
vmart.customer_dimension DIRECT;”

You can also use tVerticaRow to copy from Vertica to Vertica when no transformations are required. To do so, you need to perform additional steps to define the export addresses.
Connecting to a public network requires some configuration. For information about using this statement to copy data across a public network, see Using Public and Private IP Networks in the Vertica documentation.

Using Generic Talend ELT Components with Vertica

The ELT family of components group together database connectors and processing components for ELT mode, where the target DBMS becomes the transformation engine. When possible, SQL statements are combined and processed in a single query on the database. The following illustration shows how Talend supports ELT with Vertica. This example uses the generic components for the entire job.

When this job runs, Talend generates the following SQL statements:

=> INSERT  INTO store.regional_sales (store_name,store_city,store_region,sales_quantity,
sales_dollar_amount)

(SELECT Store.store_dimension.store_name , Store.store_dimension.store_city , 
Store.store_dimension.store_region , sum(store.store_sales_fact.sales_quantity), 
sum(store.store_sales_fact.sales_dollar_amount) FROM  Store.store_dimension INNER JOIN  
store.store_sales_fact ON

(  store.store_sales_fact.store_key = Store.store_dimension.store_key  )

group by Store.store_dimension.store_name,
Store.store_dimension.store_city,Store.store_dimension.store_region )

Other Components for Bulk Loading

The tVerticaOutputBulk and tVerticaBulkExec components are generally used together in a two-step process. First, an output file is generated. In the second step, the output file is used in the INSERT operation that loads data into a database.
You can also choose to do both steps at once using the tVerticaOutputBulkExec component. However, using tVerticaOutputBulk and tVerticaBulkExec allows the data to be transformed before it is loaded in the database.

Using the Talend SQL Builder

When using the SQL builder, be sure to include the schema name in the query:

=> SELECT * FROM store.store_dimension;

Enabling Parallelization in Talend

You can enable parallelized data flows. To do so, partition an input data flow of a Talend subjob into parallel processes and execute these processes simultaneously.

Enabling Parallelization in the Talend Enterprise Edition

If you are using the Talend Enterprise Edition, you can enable or disable the parallelization with a single click. Talend Studio then automates the implementation across a given job. For more information about this feature, click the following link:

How to automatically enable parallelization of data flows for better performance

Enabling Parallelization in the Talend Community Edition

If you are using the Talend Community Edition, add a WHERE clause to the original query to chunk the data. This example results in four chunks.

original_sql + " and hash(" + primaryKey + ") % " + noOfThreads + " = " + i

Example:

=> SELECT if.* FROM inventory_fact if, warehouse_dimension wd WHERE
   if.warehouse_key=wd.warehouse_key

The preceding query chunks the SELECT operation into the following four queries:

=> SELECT if.* FROM inventory_fact if, warehouse_dimension wd WHERE
  if.warehouse_key=wd.warehouse_key AND HASH(product_key, date_key) % 4=1;
=> SELECT if.* FROM inventory_fact if, warehouse_dimension wd WHERE
  if.warehouse_key=wd.warehouse_key AND HASH(product_key, date_key) % 4=2;
=> SELECT if.* FROM inventory_fact if, warehouse_dimension wd WHERE
   if.warehouse_key=wd.warehouse_key AND HASH(product_key, date_key) % 4=3;
=> SELECT if.* FROM inventory_fact if, warehouse_dimension wd WHERE
   if.warehouse_key=wd.warehouse_key AND HASH(product_key, date_key) % 4=4;

Choose keys that have equal distribution. For example, the two keys chosen in the preceding example provide the following counts:

Key : 235164 Value : product_key , Key : 50148 Value : date_key
count, chunk
7501441, 1
7500008, 2
7497028, 0
7501523, 3

STCard, a free license way to create powerful Scorecards

noreply@blogger.com (Unknown) — Wed, 13 Nov 2019 09:03:00 +0000

The improvements in this version of STCard, an open source based solution, are focused on user interface for panel and dashboard and also some enhancement in performance and close some old bugs:

- Import with ETL
- New KPIs always in red bug
- Tooltips and characters solved
- Export to PDF
- Modify colors of new scorecard
- Some other minus bugs...

It works with Pentaho and embeded in web applications

You can manage your organization with a powerful KPIs control with Balance Scorecard using STCard

You can see it in action in this Pentaho Demo Online and as a part of LinceBI suite

STCard doesn´t requiere anual license, you can manage unlimited users and it´s open source based.

STCard includes professional services (training, support and maintenance, docs and bug resolution - so, you have high enterprise level guaranteed -)

Interested? contact Stratebi or LinceBI

See a Video Demo:

About main functionalities:

STCard works on top of Pentaho, is the best tool for managing your KPIs (Key Performance Indicators), targets an keep track of your Balance Scorecard strategy

Fully integrated with Pentaho CE, you can leverage all the power of this Open Source BI Suite

STCard is an open source tool developed by StrateBI for the creation, management and analysis of Scorecards.
A Scorecard is a global management system within an organization that allows you to have a view of it based on a number of perspectives. All these as a whole define the vision and strategy of the organization.

To define a Scorecard you have to define a clear strategy:

Strategic Objectives for the units of the organization.
Indicators (KPI’s) that mark the fulfillment of the strategic objectives.

The main features of STCard are:

Flexibility: A Scorecard is always referred to an organization as a whole, but with STCard we can create a scorecard for a specific area of the organization. For example:Treasury Financial Area, Consolidation, Suppliers, etc. On the other hand, the concept of flexibility is applicable to the creation of a scorecard in terms of the number of strategic perspectives and objectives. As many as you like. The philosophy of Kaplan and Norton is not limited to 4 perspectives: customer, financial, internal business procedures and learning and growth. You can create as you need
Flexibility does not break with the original philosophy. A scorecard in STCAD consists of a weighted hierarchical structure of 3 levels:
- Perspective: from what point of view we will see our system. For example, financial, quality, customers, IT, etc.
- Strategic Objective: what is our goal. For example, increase profitability, customer loyalty, incentive and motivation HR, etc.
- Indicator (KPI): the measure or metric. Indicators can be quantitative or qualitative (confirmation / domain values), and these always have a real value and a target value.

For the launch of the ScoreCard we can consider three scenarios:

This scenario has a rapid implementation, and only requires the definition of a load processes to obtain the information of the indicators of the organization and adapt it to STCard.
The organization lacks a system / repository of indicators.
This variant requires more consulting work, because in the organization, first, a pure BI project must be carried out to obtain those indicators to be dealt with later in STCARD.
For example: data sources; ETL processes; System / repository of indicators; Load processes in STCard.
Immediate start-up:
It is the fastest alternative, only requires installation / configuration and training. Data management is done through Excel templates. No additional consulting work required.
Users set values through Excel templates, where data is filled. These values are loaded into STCARD and after this, it is the users who interact with STCARD.

These are the main features of STCard:

Como sacar todo el partido a los mapas en tus visualizaciones

noreply@blogger.com (Unknown) — Tue, 12 Nov 2019 08:47:00 +0000

Muy interesante lo que podéis encontrar en este enlace. Y todo Open Source. Descargar imagen en PDF

Como construir diversos tipos de mapas (incluye código)

Caso Practico: trabajando con APIs y Talend

noreply@blogger.com (Unknown) — Mon, 11 Nov 2019 09:14:00 +0000

En este ejercicio practico, vamos a enriquecer el flujo de datos con API de datos estadísticos.

Descargar Documento completo

1 Introducción

El propósito de este documento es demostrar como con un pequeño ejemplo se puede establecer un flujo de datos continuo entre la API Idescat y la herramienta Talend.

El Idescat expone parte de sus datos a través de una colección de API de tipo REST. Además, la API del Idescat ofrece métodos (GET principalmente) para que los programas de terceros puedan obtener información del Instituto de Estadística de Cataluña e integrarla en otros servicios.

Las peticiones sobre la API se componen siempre de un servicio, una versión, una operación, formato y parámetros opcionales.

Los servicios disponibles son:

Indicadores al día: proporciona información básica de una selección de indicadores de Cataluña.
Búsqueda de población: proporciona información de la población por sexo de cualquier entidad territorial de Cataluña.
Rectificaciones:da acceso a la información del registro de rectificaciones del sitio web del Idescat.
Municipio en cifras: acceso a información estadística básica comparativa de municipios, comarcas y Cataluña.
Calendario de difusión de resultados: información del calendario del Idescat de difusión de resultados.
Días Internacionales: Api desactivada en 2013.
Onomástica: información estadística de nombres y apellidos de la población y nombres de los recién nacidos.
Incrustaciones:proporciona contenido asociado que puede ser incrustado en páginas de terceros.

Cada uno de los servicios de la API tienen operaciones comunes y/o propias para la solicitud de las peticiones.

Para una mayor referencia sobre todo en términos de parametrización de la API suministramos el siguiente enlace: https://www.idescat.cat/dev/api/?lang=es, donde se encontrarán los servicios mencionados y una mayor documentación de la misma.

Por parte de Talend se dispondrá de un ejercicio que solicitará datos a la API, los cuales serán tratados y comparados con los documentos Excel suministrados.

Las 50 claves para aprender y conocer PowerBI

noreply@blogger.com (Unknown) — Fri, 08 Nov 2019 08:13:00 +0000

Si tenéis curiosidad por conocer sobre todas las posibilidades de PowerBI, como funciona, integración, costes, etc... no te puedes perder este documento.

Altamente recomendable!!!

Las 50 claves para conocer Futbol Analytics

julio 18, 2018 Analytics, big data, open source, Stratebi, Tablero Futbolero No comments

Os presentamos un estudio muy interesante sobre Fútbol Analytics, un área que está teniendo un crecimiento espectacular, gracias al uso de Big Data, Machine Learning, Internet of Things, etc... Temas que nos apasionan en este Portal. Nuestros compañeros de Stratebi, especialistas en este ámbito y que ya han colaborado con algún club de fútbol de Primera División, os dan las 50 claves para estar al día en Fútbol Analytics También...

Las 53 Claves para conocer Machine Learning

marzo 30, 2016 big data, data mining, machine learning, open source, R No comments

Si hace unos días os presentábamos las 69 claves para conocer Big Data, que ya lleva más de 2.500 visitas, hoy os traemos las 53 Claves para conocer Machine Learning. Que lo disfrutéis, si quereis conocer más o practicar, tenemos cursos Tambien os recomendamos: Una breve historia del Machine Learning ...

69 claves para conocer Big Data

febrero 08, 2016 big data, destacado, open source No comments

Presentación sencilla, útil y muy clarificadora... Quizás te interese también: Big Data para Dummies y 53 Claves para conocer Machine Learning...

Saber más sobre PowerBI:

Ejercicio practico de Machine Learning con Jupyter Notebooks, Anaconda y Python 3

noreply@blogger.com (Unknown) — Thu, 07 Nov 2019 10:57:00 +0000

Que mejor forma que aprender de Machine Learning, con algunas de las tecnologías mas potentes y completas, que mediante la realización de un buen ejercicio práctico.

Podéis seguir el tutorial práctico en el video y también utilizar la presentación.

Esperamos que os sea útil!!

Descarga Paper gratuito: Funciones avanzadas de Vertica para Machine Learning

noreply@blogger.com (Unknown) — Thu, 07 Nov 2019 10:56:00 +0000

Tenéis a vuestra disposición un paper con funciones avanzadas de Vertica para Machine Learning. Descárgalo

Funciones de Vertica para el Machine Learning. Ya vienen con Vertica, por lo que:

i), no requieren programación ni instalación,

ii), son más eficientes que otras opciones como la integración con Python/Pandas,

iii) se aplican sobre tablas o vistas,

iv) implementan los algoritmos más conocidos de Machine Learning. Además, son muy sencillas de usar y aprovechan la potencia de ejecución distribuida de un clúster Vertica.

En el siguiente diagrama se muestran las funciones nativas de Vertica para la analítica avanzada.

Estas cubren todas las fases de una aplicación de Machine Learning (Pipeline de una aplicación ML): Análisis de datos origen para entender mejor el negocio, preparación de los datos, Modelado, Evaluación de los modelos generados y puesta en producción para la aplicación del modelo.

Ejemplo de modelos explicados en el paper:

Las 50 claves para conocer Futbol Analytics

noreply@blogger.com (Unknown) — Wed, 06 Nov 2019 10:45:00 +0000

Os presentamos un estudio muy interesante sobre Fútbol Analytics, un área que está teniendo un crecimiento espectacular, gracias al uso de Big Data, Machine Learning, Internet of Things, etc...
Temas que nos apasionan en este Portal.

Nuestros compañeros de Stratebi, especialistas en este ámbito y que ya han colaborado con algún club de fútbol de Primera División, os dan las 50 claves para estar al día en Fútbol Analytics

También os incluimos abajo, información de otros documentos publicados y demos que os pueden ser de interés:

Aplicando Business Intelligence y Open Source a la analitica de datos en el Futbol

agosto 01, 2016 business Intelligence, open source, Pentaho No comments

Para todos los apasionados de las Estadísticas, del Futbol y del Open Source os presentamos la versión actualizada de Tablero Futbolero Incluye las estadísticas de las ultimas 9 temporadas. Algunas caracteristicas: - Creado con Business Intelligence Open Source: Pentaho, PDI Kettle, Mondrian, STPivot, MySQL... - Compatible con dispositivos móviles - Ficha de jugador, equipo, partido, arbitro - 11 ideal (simulación) - Comparativa Real Madrid...

Fútbol Analytics

enero 29, 2018 business Intelligence, Dashboards, futbol, lincebi, open source, powerBi 2 comments

Las 53 Claves para conocer Machine Learning

marzo 30, 2016 big data, data mining, machine learning, open source, R No comments

Mas de 20 Tecnicas y Tipos de Analisis Big Data

marzo 11, 2017 big data, machine learning 1 comment

A continuación, os detallamos las principales técnicas y tipos de análisis que se realizan en Big Data, muchas veces agrupadas bajo nombres como algoritmos, machine learning, etc.... pero que no siempre se explican correctamente Aquí os hemos creado algunos ejemplos online usando algunas de estas técnicas Si quieres saber más, puedes consultar también otros posts relacionados: - Las 53 Claves para conocer Machine Learning - 69 claves...

69 claves para conocer Big Data

febrero 08, 2016 big data, destacado, open source No comments

Presentación sencilla, útil y muy clarificadora... Quizás te interese también: Big Data para Dummies y 53 Claves para conocer Machine Learning...

Explicacion sencilla de arquitecturas Business Intelligence

noreply@blogger.com (Unknown) — Tue, 05 Nov 2019 09:02:00 +0000

En este post muy útil, se hace un repaso a las diferentes alternativas en que la información puede ser consumida por los usuarios y las diferentes formas de almacenamiento de la misma.

Habría que decir, que todas ellas son formas de analizar la información y tomar decisiones, esto es, Business Intelligence; aunque en rigor, sólo las más óptimas en cuanto a uso de Data Marts DW y optimización del acceso por los usuarios, se consideran de forma habitual como propias del BI.

Os muestro los gráficos de las diferentes alternativas y una comparativa.

Nuestra opinión, aparte de las buenas prácticas de diseño y arquitectura, es que debemos ser conscientes de los requerimientos, necesidades y condicionantes de las empresas y clientes, puesto que en muchas ocasiones se tratará de 'balancear' entre lo correcto desde el punto de vista teórico y lo factible desde el punto de vista práctico y real, que no siempre coinciden.

1. Sistema de Información Transaccional

2. Sistema de Información con transaccional replicado

3. Sistema de Información con Data Marts

4. Sistema de Información con un DataWarehouse empresarial

5. Comparativa de caracteristicas

Quizás te interese también:

Metodologias Agiles para Analytics (Business Intelligence, Big Data)

febrero 26, 2018 business Intelligence, data warehouse, metodologia, teoria No comments

En este post, os vamos a contar como hacer proyectos ágiles en Analytics (Business Intelligence/Big Data Analytics). Realmente, os vamos a contar unos tips o consejos que cada vez más usamos y que nos cuenta Emilio Arias de Stratebi. Tradicionalmente, este enfoque se ha aplicado más a proyectos en los que el componente de 'desarrollo' tiene un peso muy importante y se hace muy difícil aplicarlo al BI/DW, donde los requisitos,...

STPivot sigue mejorando

noreply@blogger.com (Unknown) — Tue, 05 Nov 2019 09:00:00 +0000

STPivot, el visor OLAP basado en open source que funciona sobre Pentaho en sus últimas versiones y en plataformas como LinceBI sigue avanzando, poco a poco, con todas las sugerencias y mejoras que nos aportan los usuarios

En este enlace tenéis un entorno de Demo para ir probando. Todo feedback es bienvenido!!

Las novedades son las siguientes

Añadidas descripciones

Ahora se permiten cargar descripciones desde el esquema de Mondrian mediante el atributo “description” para métricas, miembros calculados, dimensiones y cubos.
Además, también se permiten añadir y guardar descripciones realizadas por el usuario para objetos creados dentro de la vista. Estos se guardan en el fichero xpivot. Para facilitar la introducción de estas descripciones, se ha rediseñado la interfaz referente a dicho campo tanto en el editor de dimensiones como en el editor de fórmulas.

Ordenación BASC/BDESC

Se ha introducido este tipo de ordenación que permite romper jerarquías al ordenar.
Para dar algo de flexibilidad, se puede intercambiar entre ordenación normal (ASC/DESC) y este nuevo tipo de ordenación mediante un botón de la barra superior.

Filtro por propiedad

Se ha introducido en el editor de dimensiones una nueva funcionalidad que permite dar soporte al uso de Filter en sets creados:

SET [] AS Filter([Dimension<.jerarquia>].[].Members, ([Dimension<.jerarquia>].CurrentMember.Properties("") = ""))

Cuenta con las siguientes características:

Respeta el tipo de dato asociado a cada propiedad.

En datos numéricos, permite usar una variedad de operadores diversa (>, >=, <, <=).
En datos booleanos solo permite alternar entre true o false.
En datos tipo fecha, ofrece un selector (datepicker) de fecha, impidiendo la introducción de formatos de fecha no válidos.

En caso de que no existan propiedades en el nivel, dicha opción aparecerá deshabilitada.

Esquema XML

Se ha movido la edición del esquema XML del panel OLAP de STPivot a la ventana de selección de esquema y cubo. Este cambio surge de la necesidad de evitar que el usuario edite un esquema con cambios incorrectos que invaliden el mismo. Esto provocaba la salida de STPivot sin dar la posibilidad de editarlo nuevamente para subsanar los errores.

Asimismo, se ha introducido una validación mediante XSD sobre el esquema, informando al usuario de errores de especificación del XML.

Corregidos problemas de sincronización entre MDX y la tabla

La interacción con la tabla, ya sea para ordenar o hacer un drill, no produce resultados inesperados ni genera discrepancias con la MDX con la que se está trabajando.
Se ha recuperado el modo de ordenación natural y el tipo de ordenación aplicado al hacer drill.
La correcta sincronización que tiene lugar ahora entre ambos objetos, soluciona todas estas incidencias así como posiblemente otros fallos no detectados y difícilmente reproducibles.

Corrección de bugs y pequeñas mejoras de cara al usuario

STAgile, simple, just Dashboards in seconds

noreply@blogger.com (Unknown) — Mon, 04 Nov 2019 09:15:00 +0000

Now, you can create powerful Dashboards from excel for end users, with no single line of code. Just in seconds!! with STAgile, an open source based solution, with no licenses.

The best tool for non technical end users.

All the modules you can find in LinceBI are the right solution if you don´t want to pay licenses and you need profesional support

Besides, you have 'predefined industry oriented solutions', with a lot of KPIs, Dashboards, reports...

You can use STAgile, standalone or embed in your web application

Charla Introduccion Bases de Datos Analiticas (Vertica-MonetDB)

noreply@blogger.com (Unknown) — Thu, 31 Oct 2019 11:17:00 +0000

Si hace unos días, os dejábamos disponibles la charla de los Open Spaces sobre Real Time Big Data con Apache Storm y el de Apache Cassandra-NoSQL, hoy tenéis el video y la presentación del más que interesante de Bases de Datos Analíticas (orientadas a columnas).

Estas bases de datos nos proporcionan un gran rendimiento en tiempos de consulta para grandes volúmes de datos en entornos analíticos, como son los cubos olap

Si os es útil y os gusta, no dejéis de darnos feedback para continuar con nuevos materiales

También disponible en slideshare:

Data Lakes: Definiciones y Plataformas. Descarga gratuita del White Paper

noreply@blogger.com (Unknown) — Wed, 30 Oct 2019 09:09:00 +0000

Un gran estudio de más de 40 páginas por parte de Philip Russom, que puedes descargar gratuitamente desde aquí

Os dejo a continuación, un resumen de los contenidos y algunos de los principales hallazgos del estudio. Muy interesante.

Para saber más de Data Lakes:

Diferencias entre Data Lake y Data Warehouse

junio 07, 2017 Bases de Datos, data warehouse, teoria No comments

Let’s briefly take a look at each one: Data. A data warehouse only stores data that has been modeled/structured, while a data lake is no respecter of data. It stores it all—structured, semi-structured, and unstructured. [See my big data is not new graphic. The data warehouse can only store the orange data, while the data lake can store all the orange and blue data.] Processing. Before we can load data into a data warehouse, we first...

Sabes quién creó el término 'Data Lake'?

abril 13, 2018 data lake, data warehouse No comments

What is a data lake? A data lake is a repository designed to store large amounts of data in native form. This data can be structured, semi-structured or unstructured, and include tables, text files, system logs, and more. The term was coined by James Dixon, CTO of Pentaho, a business intelligence software company, and was meant to evoke a large reservoir into which vast amounts of data can be poured. Business users of all kinds can dip into...

Predictions: A Cynic’s Guide To BI In 2017

enero 05, 2017 humor 4 comments

Genial esta descripción de Timo Elliot (uno de los mayores especialistas en Business Intelligence). No tiene desperdicio!! Businesspeople Businesspeople will be dissatisfied with their BI systems (this is “Timo’s First Law of BI”) Executives will refuse to learn to use any other data tool than Excel (and not even the newer features of that). No matter how good the BI system, businesspeople will make bad decisions based on gut feel. Executives...

Talend Big Data

septiembre 06, 2016 big data, ETL, hadoop, Talend 1 comment

Download whitepaper An enterprise data lake provides the following core benefits to an enterprise: New efficiencies For data architecture through a significantly lower cost of storage, and through optimization of data processing workloads such as datatransformation and integration. New opportunities For business through flexible “schema-on-read” access to all enterprise data, and through multi-use and multi-workload data processing on...

OLAP for Big Data. It´s possible?

noviembre 10, 2016 big data, kylin, olap, Pentaho, stpivot 3 comments

Hadoop is a great platform for storing a lot of data, but running OLAP is usually done on smaller datasets in legacy and traditional proprietary platforms. OLAP workloads are beginning to migrate to the one data lake that is running Hadoop and Spark. Fortunately, there are a number of Apache projects that are starting to make OLAP possible on Hadoop. Apache Kylin For an introduction to this interesting Hadoop project, check...

Big Data, casos, tecnologias y aplicaciones reales

enero 11, 2018 big data, open source No comments

Os mostramos a continuación, una buena selección de ejemplos, tecnologías y casos aplicables de Big Data usando las principales tecnologías, con enfoque Data Lake, de la mano de los especialistas de stratebi ...

Tutorial de Introduccion a Talend Open Studio

noreply@blogger.com (Unknown) — Tue, 29 Oct 2019 10:37:00 +0000

En este VideoTutorial podréis ver como funciona y conocer las principales características, pasos y funciones de una de las mejores herramientas de integración de datos

Además, los próximos 13 y 14 de Noviembre, se celebra en Madrid un Curso sobre Talend, no os lo perdáis

Haciendo funcionar un Cluster Hadoop

noreply@blogger.com (Unknown) — Tue, 29 Oct 2019 09:38:00 +0000

Os mostramos un ejemplo de como hacer funcionar un Cluster Hadoop con ejemplos y aplicaciones prácticas:

Se trata de un clúster Hadoop con la distribución de Hadoop de Hortonworks HDP 2.6.5, la cual es 100% open source e incluye las últimas versiones de Apache Hive, Spark, Kafka, Superset, Zeppelin y Druid. Además hemos instalado la herramienta para OLAP con Big Data Apache Kylin con la que hemos implementado algunas de nuestras demos de Big Data Analytics disponibles en Big Data Demos

El clúster está compuesto de 3 máquinas de 32 Gb de Ram y 8 cores, es decir, un total de 96 Gb de Ram y 24 cores disponibles para ser usados por los usuarios de las formaciones que imparten nuestros amigos de StrateBI

Internet of Things (Timeline)

noreply@blogger.com (Unknown) — Mon, 28 Oct 2019 08:27:00 +0000

No dejéis de echar un vistazo a esta infografía. Muy útil!!

LinceBI, the best Analytics/BigData open source based solution!!

noreply@blogger.com (Unknown) — Mon, 28 Oct 2019 08:25:00 +0000

As powerful as an enterprise version, with the advantages of being Open Source based. Discover LinceBI, the most complete Bussines Intelligence platform including all the functionalities you need

A non lincense, open source based, alternative to PowerBI

Dashboards

User friendly, templates and wizard
Technical skills is not mandatory
Link to external content
Browse and navigate on cascade dependency graphs

Analytic Reporting

PC, Tablet, Smartphone compatibility
Syncs your analysis with other users
Download information on your device
Make better decisions anywhere and anytime

Bursting

Different output formats (CSV, Excel, PDF, HTML)
Task scheduling to automatic execution
Mailing

Balance Scorecard

Assign customized weights to your kpis
Edit your data on fly or upload an excel template
Follow your key performance indicators
Visual kpis, traffic lights colours
Assign color coding to your threshold
Define your own key performance indicators

Accessibility

Make calculated fields on the fly
Explore your data on chart
Drill down and roll up capabilities
What if analysis and mailing

Adhoc Reporting

Build your reports easily, drag and drop
Models and languaje created to Business Users
Corporative templates to your company
Advanced filters

Alerts

Configure your threshold
Mapping alerts and business rules
Planning actions when an event happen

Check FAQs section for any question

Curso online de PowerBI (4, 5 de Noviembre)

noreply@blogger.com (Unknown) — Fri, 25 Oct 2019 11:47:00 +0000

Los próximos lunes y martes (4 y 5 de Noviembre) tienes un más que interesante curso Online (100% guiado con profesor), compartiendo escritorio y eminentemente práctico, realizado por nuestro compañeros de Stratebi. No te lo pierdas!!

Temario y Registro. Solo 95€!!

Apúntate y podrás hacer Dashboards como estos e integrar con Machine Learning y Big Data:

Mas info sobre PowerBI:

PowerBI: Arquitectura End to End

septiembre 10, 2019 powerBi No comments

En el diagrama superior tenéis de forma actualizada, todo el ecosistema de PowerBI. Muy útil y clarificador Saber más sobre PowerBI: Use Case Big Data “Dashboards with Hadoop and Power BI” septiembre 03, 2019 big data, hadoop, olap, powerBi 3 comments In recent posts, we explained how to fill the gap between Big Data and OLAP, using Tableau, Pentaho and Apache Zeppelin. Now, we´ll show you how...

Como funciona Microsoft Power BI? Todo lo que necesitas saber

marzo 03, 2019 powerBi No comments

Todo lo que necesitas saber sobre la herramienta de Data Discovery que está revolucionando la toma de decisiones en las empresas lo tienes aquí: Para saber más de PowerBI (ver demos online en enlace anterior, cursos e info a continuación): Big Data para PowerBI febrero 19, 2019 big data, lincebi, open source, Pentaho, powerBi 4 comments Power BI es un conjunto de herramientas...

Como integrar Salesforce y PowerBI

enero 02, 2019 business Intelligence, CRM, powerBi, salesforce No comments

Os contamos las posibilidades de integración de las dos soluciones Business Intelligence y CRM más extendidas del mercado: PowerBI y Salesforce Gracias a la posibilidad de integración de las herramientas se abre una gran cantidad de posibilidades Ahora puede obtener información en tiempo real de los datos de Salesforce mediante la conexión a través de Power BI Según los principales estudios, tanto Salesforce como Microsoft PowerBI lideran...

Big Data para PowerBI

febrero 19, 2019 big data, lincebi, open source, Pentaho, powerBi 13 comments

Usando Python con PowerBI

enero 17, 2019 machine learning, powerBi No comments

Muy interesante la nueva funcionalidad que permite el uso de Python en PowerBI, que se añade a la ya conocida capacidad con R, que os comentábamos no hace mucho En este artículo de Tommi Ranta explica paso a paso como preparar un entorno Python, habilitar Python en Power BI, importar datos y aplicar clustering a los datos y crear visualización personalizadas en Power BI utilizando Python. Todo el material necesario para replicar...

Videotutorial: Usando R para Machine Learning con PowerBI

septiembre 04, 2018 machine learning, powerBi, R 1 comment

Si te gusta el Business Intelligence, Machine Learning y conoces algo de R, no te puedes perder este Videotutorial: Temario del Videotutorial: 1º Posibilidades de R dentro de Power BI 2º Instalar R y RStudio 3º Matriz de Correlación para el sector Retail 4º Árbol Decisión Titanic 5º Clustering K-Means Estados Unidos 6º Clustering DBSCAN Estados Unidos para detectar Outliers 7º Forecasting Exponencial Smoothing...

Las 50 claves para aprender y conocer PowerBI

agosto 27, 2018 business Intelligence, powerBi, visualizacion No comments

Si tenéis curiosidad por conocer sobre todas las posibilidades de PowerBI, como funciona, integración, costes, etc... no te puedes perder este documento. Altamente recomendable!!! También te puede interesar: Las 50 claves para conocer Futbol Analytics julio 18, 2018 Analytics, big data, open source, Stratebi, Tablero Futbolero No comments Os presentamos un estudio muy...

11 Consejos sobre Bad Data: el enemigo silencioso en Business Intelligece y Big Data

noreply@blogger.com (Unknown) — Fri, 25 Oct 2019 07:39:00 +0000

Para todos los que llevamos un tiempo en esto del Business Intelligence, Big Data, Machine Learning, Analytics... vemos que se dedica mucho tiempo a hablar de las nuevas tecnologías, casos de uso, aplicaciones, etc... pero muy poco del verdadero problema y condicionante para lograr una exitosa implementación de estas tecnologías y proyectos: el Bad Data

Nuestro colaborador Emilio Arias, de Stratebi nos da unas pautas:

Como lo reconoces?

1) Son datos imprecisos, erróneos e incompletos que provocan problemas para lleva a cabo la estrategia de la empresa

2) Implica una mala toma de decisiones y una mala ejecución de las mismas

3) El coste del 'Bad Data', según estudios de IBM, les puede suponer a las empresas, hasta un 30% de los ingresos

4) En tu compañía no usas herramientas ETL (Integración, Transformación y Carga) o las usas mal, para mejorar los procesos de adquisición, depurado y limpieza de datos. Las hay open source (Pentaho Data Integration y Talend). El coste no será problema

5) Tu información está desestructurada, sin maestros (MDM te suena a chino) e información heterogénea no integrada

6) Querrías incluir datos de redes sociales, APIs, logs, IoT, etc... pero no sabes como distinguir el 'Bad Data' del 'Smart Data'

7) Querrías aplicar 'Machine Learning', pero sabes que con datos erróneos, cualquier algoritmo, por muy ajustado que fuera, te daría resultados sin confianza

8) Cada área, departamento o especialista de tu empresa tiene su propia metodología para aplicar criterios en cuanto a identificar el 'Bad Data'. Data Governance es un sueño idealizado para tí

9) 'Si metes basura, obtendrás basura'. Este aforismo ha funcionado muy bien en Analytics durante años. El problema ahora es que no consigues diferenciar la basura del resto. Se hace urgente poner en marcha una 'Planta de tratamiento de Residuos Analíticos' en tu organización. Funciona igual, separar basura de información útil

10) Querrías convertir el 'Bad Data' en 'Smart Data', pero ni siquiera sabes si esto es factible, cómo para saber lo que te costaría (tiempo y dinero)

11) Conoces los '7 magníficos' que puedes reconocer en el 'Bad Data'?

- Te faltan datos. No hay información, donde debería haberla

- Los datos son incorrectos ('no cuadra', seguro que os suena)

- Los datos no están bien ubicados. A veces, tenemos los datos correctos en origen, pero no los ubicamos correctamente

- Errores de entrada de datos: caracteres erróneos, abreviaturas, traducciones, etc...

- Datos duplicados. No siempre tiene que ser un error, a veces es algo tan trivial como una empresa que cambia de CIF y no actualizas

- Datos no revisados o aprobados. Mucha información requiere de la revisión y aprobación por parte de los responables

- Exceso de Datos. Sí, aunque no lo consideréis, si tenéis exceso de datos, se convierten en 'Bad Data'. Querer analizar cambios de estado de un asiento contable realizados en un día concreto... no suele proporcionar 'decisiones estratégicas'

Solución? En este Portal hablamos mucho de aplicar correctamente ETL, Data Quality, AgileBI, etc... pero lo más importante es 'perseverar' en dichas iniciativas

El Bad Data nunca se va a acabar (que lo sepáis), es como cierta contaminación que siempre aparece, pero hay formas de reducirla, anticiparse y... casi, eliminarla

Comparacion Azure-Google-Amazon para DW

noreply@blogger.com (Unknown) — Fri, 25 Oct 2019 07:25:00 +0000

Muy interesante comparación del coste según performance de las principales soluciones Cloud para Analytics Data Warehouse

- Azure DW
- AWS Redshift
- Google Big Query

También puedes considerar otras opciones como Vertica o Smowflake

How to create a Data Mart with reports and dasboards in just 8 minutes (open source)

noreply@blogger.com (Unknown) — Thu, 24 Oct 2019 16:00:00 +0000

Really impressive how simple it is to create a Data Mart and be analyzed with reports, OLAP cubes and Dashboards in a matter of minutes using LinceBI

The best thing is that you can do it with a solution based on open source, without cost of licenses and with professional support guaranteed.
A good alternative at no license cost to PowerBI, Tableau, Qliksense...

You can try more in detail in this online demo and check this '8 minutes Data Mart and Analysis ready to go'