Actualités

[18/09/2014] Edition 2014 du Guide de l'open source

Pour l'édition 2014 du Guide de l'open source, Smile enrichit son livre blanc avec une trentaine de nouvelles solutions et ajoute trois nouvelles rubriques consacrées aux « Outils de partage de documents », outils de « DAM » (Digital Asset Management) et solutions de « PIM » (Product Information Management). A télécharger gratuitement !

[10/09/2014] Les inscriptions au Bargento 2014 sont ouvertes !

Retrouvez tout l’e-commerce autour de Magento le mardi 7 octobre à Paris.

[02/09/2014] Smile Paris déménage

A compter du 30 août 2014, le siège social de Smile emménage dans de nouveaux locaux à Asnières-sur-Seine.

Toutes les actualités picto
       

Vous avez besoin de mettre à jour votre Lecteur Flash Flash 7

Guillemet ouvrant l'actualité des solutions
et des technologies open source Guillemet fermant
picto

Gestion de la reprise sur erreurs avec Pentaho Data Integration 5

L'une des nouveautés stars de la version 5.0 de Pentaho Data Integration est le tout nouveau "Pentaho Data services" permettant de simuler la manipulation d'une base de données depuis une transformation PDI via un connecteur JDBC "Kettle Thin".
Ce n'est cependant pas l'unique nouveauté de cette nouvelle édition qui met l'accent sur la reprise sur erreur qui n'était pas encore très mature jusqu'à l'heure.

Dans cet article, nous présentons deux autres nouveautés de cette version de PDI:

Reprise sur erreur

Cette nouvelle fonctionnalité donne la possibilité de placer des points de contrôle ou checkpoints dans le flux d'intégration qui permettront de reprendre les jobs en échec uniquement à partir du dernier point valide atteint. Pour ce faire, PDI va recenser les informations d'exécutions des jobs dans une table de logs dédiée aux checkpoints. Il faut donc avant tout spécifier dans les paramètres du job, dans l'onglet des "logs", les informations de connexion à la base des logs de points de contrôle.

pdi_checkpoint

Ensuite, clic droit sur un composant faisant l'objet d'un checkpoint et sélectionner "Mark as checkpoint".

Les informations sont dès lors stockées dans la table de logs et à la réexécution du job, en cas de plantage, l'exécution continuera à partir du dernier checkpoint atteint.

pdi_log_table

Gestion transactionnelle au sein d'un job

Dans le même domaine nous avons désormais la possibilité de rendre les bases de données transactionnelles au sein d'un job. Cette fonctionnalité n'était disponible que dans les transformations précédemment. Dans la lignée de ce qui est présenté ci-dessus, ceci évite une reprise manuelle au niveau des données en cas d'échec du job. Pour activer cette option, il suffit de se rendre dans les paramètres du job et de cocher la case dans l'onglet "transactions".

v

A noter que ce composant s'appuie sur les fonctionnalités transactionnelles de la base de données utilisée, il n'est donc efficace que si votre base de données donne la possibilité de Roll Back.

Ces nouveautés permettent de fluidifier la gestion des reprises dans Pentaho, permettant d'éviter un peu plus des reprises manuelles qui peuvent s'avérer fastidieuses et chronophages. De nouvelles possibilités qui sauront sans l'ombre d'un doute se faire apprécier dans le déroulement d'un projet d'intégration.

Laury Girondin
picto

Commentaires

Soyez la premiere personne à ajouter un commentaire sur cet article.
Ecrire un nouveau commentaire