Dans certains projets big data, j’ai pu observer que plusieurs Data Ingénieurs utilisent des langages tels que python, java, scala ou même spark pour réaliser la phase de préparation de données (et évite pour l’occasion l’usage des outils ETL/ELT qui peuvent paraître lourds dans certains cas).
Dans cet article, nous allons donc introduire les bonnes pratiques et des règles à respecter pour écrire un code Pyhon de qualité. Nous allons également, avec des exemples simples, illustrer l’usage d’outils permettant de contrôler le respect de ces règles.
Les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante au fil des années. En effet, près de 90% de la donnée digitale que nous possédons aujourd’hui a été créée ces deux dernières années exigeant d’outre-passer les technologies “classiques” du Big Data.De cette problématique d’exploitation des Lire la suite…
Les architectures basées sur les microservices sont l’avenir des applications complexes. Dans ce blog, nous allons nous intéresser à l’un des composants critiques de cette architecture: L’API Gateway (Passerelle API). Disons que vous essayez de créer un magasin en ligne (web-store). Vous utiliserez probablement plusieurs API pour fournir les actifs Lire la suite…
Dans ce cas pratique nous allons nous intéresser aux architectures Serverless au travers de quelques services AWS à savoir S3, Lambda, DynamoDB, CloudWatch et IAM. Le point central de ce Lab étant AWS Lambda.
La semaine dernière, notre Lab Big Data Analytics s’est rendu à l’ETNA (Ecole de la Nouvelle Alternance en Informatique) à l’occasion des conférences métiers, afin d’animer une présentation sur le traitement des taux de change via le Machine Learning et le Big Data. Retrouvez la vidéo de présentation :
Présentation de notre Lab Big Data Analytics par son manager Ahmed Cheriat : Notre Lab « Big Data Analytics » est un véritable terrain d’expérimentation pour la mise en place de clusters Hadoop, et de montée en compétences sur des architectures d’applications distribuées. Ce dispositif permet à nos collaborateurs de Lire la suite…
Introduction & contexte MongoDB est un SGBD NoSQL open source écrit en C++ qui stocke ses données en BSON (Binary JSON). Son développement a commencé en 2007 et a été initié par la société 10gen. Ce système est orienté documents, répartissables sur un nombre quelconque d’ordinateurs et ne nécessitant pas Lire la suite…
Hortonworks Data Platform est une distribution Open Source d’Apache Hadoop qui comprend la plupart des composants Apache de base d’un Cluster Big Data Hadoop tels que HDFS, Yarn, MapReduce, Spark, Hive, HBase… L’objectif de cet article est de présenter étape par étape le processus d’installation de la dernière version 2.6 Lire la suite…
Introduction L’omniprésence des objets connectés et des médias sociaux a généré une grande volumétrie de données. En général, le volume des données au sein des entreprises double tous les deux ans. Cela a donc engendré trois grandes problématiques Big data que l’on appelle les 3V : Volume (la quantité de données générées), Lire la suite…