Actualités

[22/05/2017] Smile récompensé lors du Hackathon Carrefour !

Smile a remporté le Prix du Code lors du Hackathon Carrefour, organisé ce week-end à Paris !

[18/05/2017] OpenShift, le nouveau livre blanc Smile !

Smile publie aujourd'hui un livre blanc dédié à OpenShift, le PaaS open source orienté DevOps. A télécharger dès maintenant !

[15/05/2017] Smile décroche le label HappyAtWork 2017 !

Pour la 2ème année consécutive, Smile obtient le label HappyAtWork for Starters qui récompense les entreprises où il fait bon débuter sa carrière !

Toutes les actualités picto
       

Vous avez besoin de mettre à jour votre Lecteur Flash Flash 7

Guillemet ouvrant l'actualité des solutions
et des technologies open source Guillemet fermant
picto

Intégrer des données d'IoT en temps réel avec Talend Real-Time Big Data

Une solution pour vous faciliter l'intégration de données IoT.

Les objets connectés sont de plus en plus présents dans notre quotidien.
Suite à la publication de notre livre blanc sur le Big Data, qui présente quelques usages liés aux objets connectés (puces RFID, compteurs d’énergie, réseaux de capteurs industriels, parcours de navigation GPS,...) et de récentes conférences que nous avons fait sur le sujet, il nous a paru intéressant de présenter dans le blog un cas d’usage concret.

Architecture Big Data IoT type

Schéma d’ensemble

Architecture Big Data IoT

Nous allons ici illustrer l’ingestion et l’intégration des données massives issues de ces objets au sein du SI. A noter qu’au delà d’un tableau de bord d’illustration, cet article de blog ne traite pas de la partie exploitation (analyse, modélisation des données par application de scripts machine learning) des données stockées en NoSQL.

Les technologies Big Data mises en oeuvre

Apache Kafka : sélectionné pour son adéquation à l’ingestion massive de données.
Apache Spark Streaming : module de traitement en “temps-réel” (micro-batch) de Spark, technologie devenue incontournable sur le Big Data.
Apache Cassandra : base de données NoSQL robuste et offre une grande capacité à monter en volumes. De plus, Cassandra propose des options de modélisation adaptées aux données en séries temporelles.
→ Les composants de gestion du cluster en moins, le modèle d’architecture de référence dans cet article est SMACK (Spark, Mesos, Akka, Cassandra et Kafka).

Talend Real-Time Big Data

Cet article de blog s’appuie grandement sur les facilités qu’offre la plate-forme Talend Real-Time Big Data. En effet, Talend fournit une solution permettant de :

  • générer visuellement, à partir du studio, des batchs de traitements massifs en technologie Spark, des flux de streaming de données (micro-batchs) en Spark Streaming, et des web services,
  • se connecter efficacement et simplement aux principales bases NoSQL et Big Data, dont MongoDB, Cassandra, Hbase, Neo4J, Hive et aux files d’ingestion Kafka.

Construction et résultats

Traitement en temps réel de données de capteurs

Traitement en temps réel de données de capteurs Big data

A partir des données d’IoT ingérées dans le tampon Kafka, la modélisation des flux Spark Streaming avec Talend reste visuelle et productive, de manière analogue aux traitements ETL classiques. Il est d’ailleurs possible de convertir ces derniers en flux Big Data.

A noter que la plupart des bonnes pratiques de conception et de modélisation, telles la gestion de connexions référentielles, la variabilisation restent également valables dans la modélisation de flux Big Data avec Talend.

Stockage des données dans Cassandra

Les données ingérées par Kafka puis intégrées en Spark Streaming par Talend sont bien présentes en base NoSQL Cassandra, directement requêtable en CQL :

Données NoSQL Cassandra

Exploitation des données IoT

Talend Real-Time Big Data nous permet de publier efficacement et visuellement des services de données REST à partir de sources NoSQL, telles Cassandra.
Ces services de données sont ensuite aisément exploitables au travers d’un de frameworks de data-visualisation tels que D3.JS, Pentaho CDE/CDF, Chart.JS.
Exemple :

Graphique Talend source NoSQL Cassandra

Vous avez un projet de valorisation des données d’objets connectés et souhaitez une démonstration ou une assistance à la conception et la mise en oeuvre ? N’hésitez pas nous contacter.

Florent BERANGER
picto

Commentaires

Soyez la premiere personne à ajouter un commentaire sur cet article.
Ecrire un nouveau commentaire