Actualités

[09/06/2016] Eram booste ses ventes en ligne avec Smile

Smile accompagne l’enseigne Eram (leader de la chaussure en centre-ville et centres commerciaux) dans la mise en œuvre d’un site responsive design de nouvelle génération lui permettant de déployer à grande échelle sa stratégie de vente en ligne. Découvrez le témoignage !

[02/06/2016] Nouveau livre blanc Smile : Linux pour l’embarqué

Smile inaugure une nouvelle collection de livre blanc sur le thème de l'embarqué. Le premier de la série est consacré à l'utilisation de Linux embarqué dans les systèmes industriels.

[31/05/2016] Webinars Smile : Notre expertise au coeur de votre succès

Le printemps de Smile c'est aussi le temps des webinars. Pour tout savoir sur les solutions Open Source, retrouvez notre programme complet en mai & juin 2016.

Toutes les actualités picto
       

Vous avez besoin de mettre à jour votre Lecteur Flash Flash 7

Guillemet ouvrant l'actualité des solutions
et des technologies open source Guillemet fermant
picto

Gestion de la reprise sur erreurs avec Pentaho Data Integration 5

L'une des nouveautés stars de la version 5.0 de Pentaho Data Integration est le tout nouveau "Pentaho Data services" permettant de simuler la manipulation d'une base de données depuis une transformation PDI via un connecteur JDBC "Kettle Thin".
Ce n'est cependant pas l'unique nouveauté de cette nouvelle édition qui met l'accent sur la reprise sur erreur qui n'était pas encore très mature jusqu'à l'heure.

Dans cet article, nous présentons deux autres nouveautés de cette version de PDI:

Reprise sur erreur

Cette nouvelle fonctionnalité donne la possibilité de placer des points de contrôle ou checkpoints dans le flux d'intégration qui permettront de reprendre les jobs en échec uniquement à partir du dernier point valide atteint. Pour ce faire, PDI va recenser les informations d'exécutions des jobs dans une table de logs dédiée aux checkpoints. Il faut donc avant tout spécifier dans les paramètres du job, dans l'onglet des "logs", les informations de connexion à la base des logs de points de contrôle.

pdi_checkpoint

Ensuite, clic droit sur un composant faisant l'objet d'un checkpoint et sélectionner "Mark as checkpoint".

Les informations sont dès lors stockées dans la table de logs et à la réexécution du job, en cas de plantage, l'exécution continuera à partir du dernier checkpoint atteint.

pdi_log_table

Gestion transactionnelle au sein d'un job

Dans le même domaine nous avons désormais la possibilité de rendre les bases de données transactionnelles au sein d'un job. Cette fonctionnalité n'était disponible que dans les transformations précédemment. Dans la lignée de ce qui est présenté ci-dessus, ceci évite une reprise manuelle au niveau des données en cas d'échec du job. Pour activer cette option, il suffit de se rendre dans les paramètres du job et de cocher la case dans l'onglet "transactions".

v

A noter que ce composant s'appuie sur les fonctionnalités transactionnelles de la base de données utilisée, il n'est donc efficace que si votre base de données donne la possibilité de Roll Back.

Ces nouveautés permettent de fluidifier la gestion des reprises dans Pentaho, permettant d'éviter un peu plus des reprises manuelles qui peuvent s'avérer fastidieuses et chronophages. De nouvelles possibilités qui sauront sans l'ombre d'un doute se faire apprécier dans le déroulement d'un projet d'intégration.

Laury Girondin
picto

Commentaires

Soyez la premiere personne à ajouter un commentaire sur cet article.
Ecrire un nouveau commentaire