Actualités

[08/12/2014] Lancement du « Symfony Expertise Center » by SensioLabs and Smile

SensioLabs, éditeur du framework open source Symfony et Smile annoncent un partenariat exclusif et créent le « Symfony Expertise Center » pour répondre aux demandes d'expertise sur Symfony.

[04/12/2014] Smile Maroc participe aux Assises de l'AUSIM, le rendez-vous des DSI au Maroc

Smile Maroc est partenaire de l’événement « Les Assises de l'AUSIM », sous le thème de la "Transformation digitale" à Marrakech du 03 au 05 décembre 2014.

[24/11/2014] De nouveaux locaux pour Smile Lille, Lyon et Marseille !

Trois agences de Smile ont déménagé ces deux dernières semaines. De nouveaux locaux plus spacieux ont été investit pour accompagner la croissance et le développement de ces agences Lilloise, Lyonnaise et Marseillaise.

Toutes les actualités picto
       

Vous avez besoin de mettre à jour votre Lecteur Flash Flash 7

Guillemet ouvrant l'actualité des solutions
et des technologies open source Guillemet fermant
picto

Gestion de la reprise sur erreurs avec Pentaho Data Integration 5

L'une des nouveautés stars de la version 5.0 de Pentaho Data Integration est le tout nouveau "Pentaho Data services" permettant de simuler la manipulation d'une base de données depuis une transformation PDI via un connecteur JDBC "Kettle Thin".
Ce n'est cependant pas l'unique nouveauté de cette nouvelle édition qui met l'accent sur la reprise sur erreur qui n'était pas encore très mature jusqu'à l'heure.

Dans cet article, nous présentons deux autres nouveautés de cette version de PDI:

Reprise sur erreur

Cette nouvelle fonctionnalité donne la possibilité de placer des points de contrôle ou checkpoints dans le flux d'intégration qui permettront de reprendre les jobs en échec uniquement à partir du dernier point valide atteint. Pour ce faire, PDI va recenser les informations d'exécutions des jobs dans une table de logs dédiée aux checkpoints. Il faut donc avant tout spécifier dans les paramètres du job, dans l'onglet des "logs", les informations de connexion à la base des logs de points de contrôle.

pdi_checkpoint

Ensuite, clic droit sur un composant faisant l'objet d'un checkpoint et sélectionner "Mark as checkpoint".

Les informations sont dès lors stockées dans la table de logs et à la réexécution du job, en cas de plantage, l'exécution continuera à partir du dernier checkpoint atteint.

pdi_log_table

Gestion transactionnelle au sein d'un job

Dans le même domaine nous avons désormais la possibilité de rendre les bases de données transactionnelles au sein d'un job. Cette fonctionnalité n'était disponible que dans les transformations précédemment. Dans la lignée de ce qui est présenté ci-dessus, ceci évite une reprise manuelle au niveau des données en cas d'échec du job. Pour activer cette option, il suffit de se rendre dans les paramètres du job et de cocher la case dans l'onglet "transactions".

v

A noter que ce composant s'appuie sur les fonctionnalités transactionnelles de la base de données utilisée, il n'est donc efficace que si votre base de données donne la possibilité de Roll Back.

Ces nouveautés permettent de fluidifier la gestion des reprises dans Pentaho, permettant d'éviter un peu plus des reprises manuelles qui peuvent s'avérer fastidieuses et chronophages. De nouvelles possibilités qui sauront sans l'ombre d'un doute se faire apprécier dans le déroulement d'un projet d'intégration.

Laury Girondin
picto

Commentaires

Soyez la premiere personne à ajouter un commentaire sur cet article.
Ecrire un nouveau commentaire