Glossaire et liens vers des sites de référence

Knime

2018-05-09T01:19:00.002-07:00

Solution de DataPrep.

Liens :

MapR

2018-05-09T00:45:00.004-07:00

MapR, est la troisième distribution possible dans le Big Data. Elle se distingue de ses concurrents notamment par son architecture distribuée qui ne comporte pas de NameNode, et par l’intégration de nombreuses solutions propriétaires. Elle prend en charge les opérations en temps réel et possède une intégration aisée et fiable. Elle est à l’origine de plusieurs projet open source Hadoop, dont Apache Hbase, Apache Hive, Apache Zookeeper ou encore Apache Pig

Hortonworks

2018-05-09T00:44:00.001-07:00

Hortonworks est l’une des principales distributions commerciales de Hadoop.et se positionne en deuxième place derrière Cloudera L’éditeur propose dans sa solution HDP (Hortonworks Data Platform) des capacités de stockages, de traitements et l’analyse d’important volumes de données, grâce à des outils communautaires (Hadoop Distributed File System (HDFS), MapReduce, Pig, Hive, HBase et ZooKeeper.)ainsi que des outils qui lui sont spécifiques. Horton est notamment commercialisée par Microsoft dans sa solution Big Data HD Insight.

SAP HANA

2018-05-09T00:43:00.000-07:00

HANA est l’offre phare de SAP en matière de stockage/accès Big Data concentrée autour d’une base de données orientée colonne et in-memory. Cette solution est déployable on-premise ou dans le cloud.

Liens :

Greenplum

2018-05-09T00:38:00.005-07:00

Greenplum a été racheté par EMC et constitue l’offre de ce spécialiste du stockage en matière de Big Data, sous le nom de Pivotal Big Data Suite.

DynamoDB

2018-05-09T00:38:00.000-07:00

Dynamodb est la solution cloud d’Amazon en matière de base de données clé-valeur.

Cloudera

2018-05-09T00:37:00.000-07:00

Cloudera est l’une des principales distributions commerciales de Hadoop. L’éditeur propose une version communautaire ainsi que des outils qui lui sont spécifiques comme Impala ou d’autres outils qui permettent d’améliorer la sécurité, la disponibilité, la gouvernance ou encore l’administration du logiciel.

Big Data Appliance Oracle

2018-05-09T00:36:00.000-07:00

« Big Data Appliance Oracle » est le nom qu’Oracle donne à sa solution Big Data qui est une intégration sur sa plate-forme hardware hérité de Sun, d’une distribution Big Data Cloudera et d’un certain nombre d’outils complémentaires par exemple pour la visualisation de données.

Teradata Aster

2018-05-09T00:34:00.001-07:00

L’offre nCluster de Aster Data Systems, racheté en 2011 par Teradata est devenu Aster, l’offre Big Data Appliance de Teradata.

SPOF

2018-05-07T07:23:00.001-07:00

SPOF = Single Point Of Failure = maillon faible en français

Caractérise le Data Node d'un cluster Hadoop.

Distributions Hadoop

2018-05-07T06:51:00.000-07:00

Une distribution Hadoop est un environnement « all-in » (pouvant inclure des prestations) proposé par un éditeur et qui s'appuie sur des outils de l'écosystème Hadoop.

Les grandes distributions sont : HortonWorks, Cloudera, MapR, ...

Liens :

https://www.lebigdata.fr/hadoop-top-des-distributeurs

Landscape

2018-05-07T02:55:00.001-07:00

Liens :

http://www.bigdatalandscape.com/
http://mattturck.com/bigdata2017/
http://www.qaware.de/fileadmin/user_upload/Big-Data-Landscape-2018.pdf
http://www.vamsitalkstech.com/?p=6142

Easymorph

2018-05-07T02:53:00.000-07:00

Liens :

http://easymorph.com/

WPS - World Programming System

2018-05-07T02:41:00.000-07:00

World Programming System, aussi connu sous le nom WPS, est un logiciel de statistiques et décisionnel développé par l'entreprise World Programming Limited. Il permet aux utilisateurs de créer, modifier et exécuter des programmes écrits dans le langage SAS2.

Le programme a fait l'objet d'un procès intenté par SAS Institute (en). La Cour de justice de l'UE a statué en faveur de World Programming Limited, indiquant que la protection du droit d'auteur ne couvre pas la fonctionnalité, le langage de programmation et le format des fichiers de données utilisés par le logiciel. Il n'y a pas violation de copyright quand une entreprise créé une fonctionnalité d'un produit en s'inspirant d'un autre logiciel, sans avoir accès à son code source

lien =>
https://fr.wikipedia.org/wiki/World_Programming_System
https://www.worldprogramming.com/fr/products/wps-analytics-platform

Datameer

2018-05-07T02:39:00.001-07:00

Solution de présentation de données.

Liens :

http://www.bigdatalandscape.com/company/datameer
https://www.datameer.com/

Apache Sentry

2018-05-07T02:31:00.001-07:00

Apache Sentry est un système permettant d'appliquer des règles d'autorisation sur les données d'un cluster Hadoop basées sur des rôles. Apache Sentry est un projet Apache.
Liens :

Site Apache : https://sentry.apache.org/

Data complexity

2018-05-07T02:26:00.000-07:00

Utilisé parfois comme synonyme de "Big Data" dans le cas de plateforme de données gèrant des volumes de données non massifs mais néanmoins très hétérogènes.

Apache SPARK

2018-05-03T05:50:00.001-07:00

Spark (ou Apache Spark2) est un framework open source de calcul distribué. Il s'agit d'un ensemble d'outils et de composants logiciels structurés selon une architecture définie. Développé à l'université de Californie à Berkeley par AMPLab3, Spark est aujourd'hui un projet de la fondation Apache. Ce produit est un cadre applicatif de traitements big data pour effectuer des analyses complexes à grande échelle.

Lien Wikipedia => https://fr.wikipedia.org/wiki/Apache_Spark

Notebook

2018-05-03T03:31:00.005-07:00

Un Notebook est une interface web permettant de faire tourner un noyau python (par exemple) et de coder directement dans un navigateur avec affichage des résultats intermédiaires.

Un notebook permet à la fois de :

bénéficier en mode markdown d’un outil de présentation (on pourra par exemple exposer des problèmes métier en incorporant des images ou encore présenter des algorithmes de Machine Learning au moyen de formules mathématiques),
d’explorer les big data avec des outils comme Apache Spark dont les instructions pourront s’écrire en Scala, en Python (PySpark) ou en R (SparkR),
d’exécuter des algorithmes de Machine Learning (depuis mllib, ml, scikit-learn, etc.),
mais aussi de faire de la visualisation (avec matplotlib, seaborn, bokeh, vegas viz, etc.).

lien vers un comparatif Jupyter / Zeppelin => http://www.novagen.tech/wp-content/uploads/2017/01/JupyterVSZeppelin.pdf

Hadoop

2018-05-02T09:08:00.000-07:00

Apache Hadoop est un écosystème (framework Java) adapté aux architectures pouvant gérer de grands volumes de données, distribuées (milliers de nœuds et des pétaoctets de données sur de simples machines x86 montées en grappe ou Cluster), scalables et avec une tolérance aux pannes et une disponibilité maximum.

Cette architecture reposait initialement sur

HDFS (système de gestion de fichiers) => Hadoop Distribued File System
MapReduce (approche d’interrogation de données) => Modèle de programmation massivement parallèle adapté au traitement de très grandes quantités de données
YARN qui constituent le noyau d'Hadoop. => Yet Another Resource Negociator. YARN vient se placer au dessus de HDFS (Hadoop Destributed File System) afin d’offrir des fonctionnalités de système d’exploitation pour les applications analytiques Big Data

Liens :
=>

Apache Software Foundation

2018-05-02T08:58:00.003-07:00

La "Apache Software Foundation" est une communauté de développeurs qui travaillent conjointement sur des projets open source. La plupart des souches Big Data (Hadoop, Spark, Storm, Cassandra, Solr…) viennent de cette communauté."

Comment fonctionne cette organisation" ==> https://www.journaldunet.com/solutions/saas-logiciel/comment-fonctionne-la-fondation-apache.shtml

"Liste des projets en cours dans la catégorie Big Data" => https://projects.apache.org/projects.html?category#big-data

Anonymisation

2018-05-02T08:52:00.000-07:00

L’anonymisation est un processus de traitement des données qui élimine les données d’identité afin notamment de respecter la vie privée des individus. Elle peut être irréversible ou réversible, auquel cas on peut parler aussi de pseudonymisation

Anaconda (Python)

2018-05-02T08:51:00.001-07:00

Anaconda est une distribution de Python et R

ACID

2018-05-02T08:48:00.002-07:00

Une transaction sur une base de données est un ensemble d’opérations, modifiant des données, devant être effectuées toutes en même temps ou pas du tout. Une transaction est caractérisée par les propriétés suivantes, connues sous le terme ACID :

Atomicité : La transaction ne peut qu’être effectuée totalement ou pas du tout ;
Cohérence : Les états du système sont cohérents avant et après la transaction ;
Isolation : La transaction n’est pas influencée par l’exécution d’autres transactions ;
Durabilité : Le résultat de la transaction est conservé de manière pérenne dans le système d’information.

Tableau Data Prep (Tableau Software)

2018-05-02T08:46:00.000-07:00

Solution de data prep issue du projet Maestro et proposée dans sa 1ère version à partie de mai 2018. Capable de produire des sources de données au format .csv ou propriétaire Tableau (TDE et HYPER).