Actualités

[21/07/2017] Smile lance les premiers vélos solaires connectés à l’occasion du Sun Trip Tour 2017

Smile, leader des solutions IoT et open source, confirme sa solide expertise sur le marché de l’embarqué en participant activement à la course de vélos solaires du Sun Trip Tour.

[03/07/2017] Smile remporte le Drupagora d'Or 2017 du meilleur site e-commerce

Le vendredi 30 juin, la 3ème édition des Drupagora d'Or s'est déroulée à Paris.

[30/06/2017] Découvrez les projets de nos équipes au Hackathon Data Énergie

Les 29 et 30 juin, le Hackathon Data Énergie s'est déroulé au Liberté Living Lab à Paris.

Toutes les actualités picto
       

Vous avez besoin de mettre à jour votre Lecteur Flash Flash 7

Guillemet ouvrant l'actualité des solutions
et des technologies open source Guillemet fermant
picto

Talend Connect 2016

Au cours de l’événement Talend Connect 2016, qui s’est déroulé à Paris jeudi 17 novembre 2016, Talend nous a dévoilé sa roadmap 2017 qui apporte son lot de nouveautés : donner plus d’autonomie aux utilisateurs métiers pour traiter de la donnée avec Data Preparation, extension des moteurs Big Data supportés (avec Apache Beam), évolution de Data Stewardship.

Talend Data Preparation

Et si la réconciliation entre les métiers, les data experts, et l’IT était en marche…

S’il y a un outil que je devais retenir de cet événement, c’est celui-là. Je ne compte plus les projets de reprise de données qui finissent dans le rouge à cause des difficultés à faire échanger les différents services d’une entreprise. Talend souhaite proposer un outil “libre-service” à destination de tous les utilisateurs.

Derrière ça, une application web prenant en charge 900 connecteurs afin d’importer/exporter des jeux de données. Les données pourront par exemple être extraites et partagées sous format Excel ou Tableau. Lors de l’import de données, les formats (ex : téléphone, adresse mail,…) sont automatiquement reconnus par Talend.
Une fois importées, les données sont visualisables et modifiables depuis l’interface. Un certain nombre de fonctions développées par Talend facilitent leur nettoyage et leur reformatage. On retrouve par exemple des fonctions de formatage des numéros de téléphone, des suppressions de caractères blancs (espaces, tabulations, …), des filtres pour les informations jugées non pertinentes.
Ces modifications apparaissent directement dans l’interface et des indicateurs mettent en évidence le pourcentage de données invalident champ par champ.

Capture Talend Data Preparation 1

Une fois ce package de règles défini, il peut être intégré dans les jobs Talend grâce un composant (tDatapreprun).
L’idée est de donner aux métiers la possibilité de manipuler les données qu’ils souhaitent conserver/modifier et d’industrialiser cela avec les équipes techniques afin de les intégrer au SI.

Talend Data Preparation 2

Projet Open Source : Apache Beam

La planification des batchs … c’est du passé.
Faites place au batch temps réel.

L’idée derrière ce nom (B pour Batch / eam pour strEAM) est de concevoir des traitements batch qui puissent consommer la donnée en temps réel.

Talend s’est associé à Google, DataArtisans, Cloudera, PayPal et DataTorrent pour travailler conjointement sur ce projet de la formation Apache. Ils souhaitent apporter ce qui a fait leur force jusqu’à maintenant : une couche d’abstraction graphique. L’objet généré, appelé pipeline, sera modélisé dans le studio et pourra être intégré à différents frameworks de traitement : Google DataFlow, Apache Spark, Apache Flink, APEX, et d’autres devraient suivre.

Projet Open Source: Apache Beam

Une preview devrait être disponible d'ici quelques mois

Data Stewardship

La console web Data Stewardship fait peau neuve

Data sterwardship est l’outil permettant aux utilisateurs métiers de gérer manuellement la résolution de conflits entre données (par exemple le dédoublonnage d’enregistrements).
Ces données sont remontées grâce à des jobs contrôlant l’intégrité des données au sein du SI. L’utilisateur se connecte à une interface web qui lui présente les différentes données possibles pour un même objet. Il est alors libre de choisir la donnée ayant le plus d’intérêt (adresse postale, numéro de téléphone, …) ou de composer l’enregistrement cible à partir des différentes versions.

Talend a profité du développement de leur nouveau module Data Preparation pour mettre un coup de jeune à leur application web. L’interface vieillissante en avait besoin, elle est maintenant identique à celle du module Data Preparation, appréciée des utilisateurs métiers. Ils ont également retravaillé le cœur du module en ajoutant une base de machine learning. Le module va préconiser la donnée qu’il juge la plus pertinente et apprendra des choix de l’utilisateur.

La sortie début 2017 de la plateforme Talend DataFabric en version 6.3 devrait embarquer ces nouveautés.

Mickaël Coulange, Florent Béranger
picto

Commentaires

Soyez la premiere personne à ajouter un commentaire sur cet article.
Ecrire un nouveau commentaire