Actualités

[21/07/2017] Smile lance les premiers vélos solaires connectés à l’occasion du Sun Trip Tour 2017

Smile, leader des solutions IoT et open source, confirme sa solide expertise sur le marché de l’embarqué en participant activement à la course de vélos solaires du Sun Trip Tour.

[03/07/2017] Smile remporte le Drupagora d'Or 2017 du meilleur site e-commerce

Le vendredi 30 juin, la 3ème édition des Drupagora d'Or s'est déroulée à Paris.

[30/06/2017] Découvrez les projets de nos équipes au Hackathon Data Énergie

Les 29 et 30 juin, le Hackathon Data Énergie s'est déroulé au Liberté Living Lab à Paris.

Toutes les actualités picto
       

Vous avez besoin de mettre à jour votre Lecteur Flash Flash 7

Guillemet ouvrant l'actualité des solutions
et des technologies open source Guillemet fermant
picto

Analyser des données géographiques avec ElasticSearch Kibana et Talend

Le moteur de recherche Elasticsearch permet de stocker des informations de localisation aisément. En effet, chaque document est stocké au format JSON et Elasticsearch supporte le format GeoJSON.

Cas d'usage

Nous utilisons ici la liste des gares Transilien (données OpenData publiées sur http://ressources.data.sncf.com ) au format CSV.

Les données sont intégrées via le composant Talend tDelimitedInput.

Les données géographiques sont contenues dans une chaîne de caractère au format suivant :

'latitude,longitude'

L'objectif est de transformer cette chaîne de caractères au format GeoJSON, c'est-à-dire un tableau de flottants :

[longitude,latitude]

Un simple tMap permet de répartir la chaîne de caractère dans deux champs et de les convertir en flottants. On utilise ensuite un tJavaRow pour instancier un tableau comme suit :

float[] point;

point =newfloat[2]; // initialisation du tableau

point[0] = input_row.lon; // remplissage du tableau avec nos données

point[1] = input_row.lat;

Cette variable 'point' est ensuite envoyée dans un champ de type Objet du schéma cible. On envoie ensuite le flux de données vers le composant tElasticsearchIndex. Il faut penser à définir un champ id en clé du schéma pour que les données soient bien indéxées.

Talend

On crée ensuite sous Kibana une bettermap qui se base sur le champ 'point' contenu dans les documents qui viennent d'être indéxés et on obtient le résultat suivant :

Kibana

Pierre-Antoine Marc
picto

Commentaires

       
Il est également possible de faire ce genre de manipulation avec OpenstreetMap. Connaissez-vous ce service de cartographie aussi en open-source et libre?
lundi 05 mai 2014 @ 8:10
       

       
openstreetmap est une très bonne alternative à Google Map. Très pratique pour de l'open Data...
jeudi 26 juin 2014 @ 8:10
       

       
Christine labelge - http://moncompte.be/
on peut dire que mise à jour ELASTICSEARCH est un excellent programme qui apporte un nouveau souffle dans le monde du search et qui est accessible à tout le monde.
Merci pour l'article
mardi 04 octobre 2016 @ 8:00
       

       
Excellent !
Bon usage de Kibana !
jeudi 17 novembre 2016 @ 13:10
       

       
Bonjour, c'est très technique j'ai essayé de reproduire mais sans succès, il faut que je me documente encore.
mardi 31 janvier 2017 @ 17:40
       

       
merci pour cette astuce vraiment pas bête :)
mardi 31 janvier 2017 @ 17:40
       

       
geometry dash - http://geometrydash.co/
I think this is one of the most significant information for me. And i’m glad reading your article. Thank for sharing!
jeudi 16 mars 2017 @ 9:00
       

       
Je confirme, excellente utilisation de Kibana !
lundi 10 avril 2017 @ 9:50
       

       
Enorme article, je tombe dessus juste aujourd'hui.
J'adore Kibana, presque autant que le patin a roulette
lundi 24 avril 2017 @ 14:00
       

       
C'est vraiment top comme solution, justement je cherchais un moyen d'analyser des données géographiques et votre article tombe très bien. Merci et bonne continuation.

Alain.
mardi 02 mai 2017 @ 7:50
       

       
Superbe ! C'est un nouveau technique pour nous aider à trouver les données géographiques. Merci bien pour ce partage.
jeudi 15 juin 2017 @ 9:00
       

       
C'est vraiment bien cet article, je cherchais justement une méthodologie et des techniques pour analyser les données géographiques, merci
jeudi 15 juin 2017 @ 9:00
       

       
Excellent combo qui me sert surtout à visualiser les logs serveur pour le seo
jeudi 15 juin 2017 @ 9:00
       

       
Je confirme, c'est vraiment un excellent moyen pour commencer l'analyse de logs.
lundi 03 juillet 2017 @ 8:10
       

       
Your article is awesome! How long does it take to complete this article? I have read through other blogs, but they are cumbersome and confusing. I hope you continue to have such quality articles to share with everyone! I believe there will be many people who share my views when they read this article from you!
lundi 03 juillet 2017 @ 8:10
       

       
Je pense que c'est l'une des informations les plus importantes pour moi. Et je suis content de lire votre article. Merci de partager!
lundi 17 juillet 2017 @ 8:20
       

       
Je ne peux que confirmer, cela démontre un très bon usage de Kintana!
mercredi 19 juillet 2017 @ 12:10
       

       
Bonjour pillow, c'est très technique j'ai essayé de reproduire mais sans succès, il faut que je me documente encore.
lundi 07 août 2017 @ 11:50
       

       
I do like the way you have explained issues on your post, its very unique and interesting. That's very nice, just like a post on Products Description Content Writing Check it out on the link above and learn more.
lundi 07 août 2017 @ 12:50
       
Ecrire un nouveau commentaire