Actualités

[26/09/2016] Smile Grenoble déménage !

L'agence grenobloise change d'adresse à compter du 26 septembre 2016.

[26/09/2016] Retrouvez Smile aux forums pour l'emploi partout en France !

Dans son optique de recruter de futurs collaborateurs, Smile vous donne rendez-vous aux forums des grandes écoles et de l'emploi.

Venez rencontrer les équipes recrutement de Smile à plus de 10 événements en cette fin d'année  :

[14/09/2016] Smile intensifie sa politique de recrutement sur le deuxième semestre

Après avoir recruté plus de 160 personnes depuis le début de l’année, Smile continue sur sa lancée avec pour objectif de recruter 150 collaborateurs sur les quatre prochains mois.

Toutes les actualités picto
       

Vous avez besoin de mettre à jour votre Lecteur Flash Flash 7

Guillemet ouvrant l'actualité des solutions
et des technologies open source Guillemet fermant
picto

Gestion de la reprise sur erreurs avec Pentaho Data Integration 5

L'une des nouveautés stars de la version 5.0 de Pentaho Data Integration est le tout nouveau "Pentaho Data services" permettant de simuler la manipulation d'une base de données depuis une transformation PDI via un connecteur JDBC "Kettle Thin".
Ce n'est cependant pas l'unique nouveauté de cette nouvelle édition qui met l'accent sur la reprise sur erreur qui n'était pas encore très mature jusqu'à l'heure.

Dans cet article, nous présentons deux autres nouveautés de cette version de PDI:

Reprise sur erreur

Cette nouvelle fonctionnalité donne la possibilité de placer des points de contrôle ou checkpoints dans le flux d'intégration qui permettront de reprendre les jobs en échec uniquement à partir du dernier point valide atteint. Pour ce faire, PDI va recenser les informations d'exécutions des jobs dans une table de logs dédiée aux checkpoints. Il faut donc avant tout spécifier dans les paramètres du job, dans l'onglet des "logs", les informations de connexion à la base des logs de points de contrôle.

pdi_checkpoint

Ensuite, clic droit sur un composant faisant l'objet d'un checkpoint et sélectionner "Mark as checkpoint".

Les informations sont dès lors stockées dans la table de logs et à la réexécution du job, en cas de plantage, l'exécution continuera à partir du dernier checkpoint atteint.

pdi_log_table

Gestion transactionnelle au sein d'un job

Dans le même domaine nous avons désormais la possibilité de rendre les bases de données transactionnelles au sein d'un job. Cette fonctionnalité n'était disponible que dans les transformations précédemment. Dans la lignée de ce qui est présenté ci-dessus, ceci évite une reprise manuelle au niveau des données en cas d'échec du job. Pour activer cette option, il suffit de se rendre dans les paramètres du job et de cocher la case dans l'onglet "transactions".

v

A noter que ce composant s'appuie sur les fonctionnalités transactionnelles de la base de données utilisée, il n'est donc efficace que si votre base de données donne la possibilité de Roll Back.

Ces nouveautés permettent de fluidifier la gestion des reprises dans Pentaho, permettant d'éviter un peu plus des reprises manuelles qui peuvent s'avérer fastidieuses et chronophages. De nouvelles possibilités qui sauront sans l'ombre d'un doute se faire apprécier dans le déroulement d'un projet d'intégration.

Laury Girondin
picto

Commentaires

Soyez la premiere personne à ajouter un commentaire sur cet article.
Ecrire un nouveau commentaire