Comment Ceph se comporte au sein de votre infrastructure ? Au sein de votre configuration matérielle ? Quelles sont les recommandations techniques à respecter ? Les trucs et astuces ?
Ce billet de blog est une traduction d’un article de Sébastien Han, ingénieur chez Stone-IT, filiale du Groupe Smile.
http://ceph.com/user-story/ceph-from-poc-to-production/
Comment utiliser Ceph ?
Une partie de notre activité concernant l'hébergement et la maintenance de sites Internet, nous avons besoin d'un système de fichiers distribué capable d'apporter aux serveurs Web des données cohérentes. Nous avons conçu les choses de manière à ce que les développeurs disposent de machines virtuelles où charger et tester leur code, dans un environnement de pré-production.
Une fois les tests menés à bien, les développeurs peuvent poster leurs mises à jour sur la partie NFS, qui met « instantanément » les nouveaux fichiers disponibles sur tout Web virtuel. C'est ainsi que les choses sont gérées chez Stone-IT. J'imagine que c'est une méthode assez classique quand on travaille avec une grande quantité de serveurs Web. Comme je l'ai évoqué précédemment, j'ai dû me pencher sur les plateformes de gestion de Cloud et sur les solutions de stockage. Dans l'idéal, les deux devraient être compatibles en termes de fonctions et d'intégration et l'un devrait être capable de tirer profit de l'autre. Le NFS est une solution qui pourra tenir des années. Le plan au départ, ce n'était pas de l'abandonner, mais en tant que société innovante, nous voulions ouvrir notre activité et tenter de faire quelque chose de nouveau.
J'ai donc commencé par évaluer un bon nombre de systèmes de fichiers distribués. Je vous épargne les détails les plus techniques, mais voici les principaux logiciels concernés :
Pour la plateforme de gestion de Cloud, assez clairement, c'est OpenStack que nous utiliserons. Pour que ça se passe dans les meilleures conditions, je me suis penché sur les pilotes disponibles pour (le vieux) volume nova. C'est là que je suis tombé sur le pilote Ceph. Je me suis donc décidé à évaluer Ceph, ce qui m'a finalement poussé à écrire un autre article Introducing Ceph to OpenStack (Utiliser Ceph pour OpenStack), pour lequel j'ai reçu beaucoup de compliments et de commentaires.
L'idée de base, c'était d'utiliser CephFS pour me débarrasser de NFS. J'ai essayé et comme on le voit dans l'article, j'ai obtenus de belles réussites, comme la migration KVM en direct. Essentiellement, nous avons notre Ceph en arrière-plan et deux serveurs à l'avant. Sur ces deux serveurs, on mappe les périphériques RBD, qui sont réexportés par NFS. Puis chaque Web virtuel monte sa partie. Ça peut paraître un peu délicat (OK, c'est délicat), mais c'est parfaitement stable et les performances ne sont pas si mauvaises. Le résultat donne plus ou moins ce que j'ai décrit dans un autre article NFS over RBD (NFS avec RBD).
Ceph en action !
Côté performances, j'ai fait plein de tests. Vraiment plein. Peut-être trop, mais après tous ces tests, la seule chose que je peux dire au sujet de Ceph, c'est que les performances ne sont pas un problème. Si vous avez une idée de comment c'est fait, ça ne devrait pas vous surprendre, parce que tout se comporte exactement comme prévu. Ceph ne risque pas d'encombrer quoi que ce soit : il vous permet de disposer des performances maximums de votre matériel et de votre réseau.
Voilà quelques infos complémentaires sur notre matériel, justement :
4 nœuds de stockage :
- HP ProLiant DL360G7 1x E5606/ 2,13 GHz 4C/ 4 Go/ P410i/ ZM/ 4 SFF/ alimentation 1x 460W – Modèle d'entrée
- HP PSU 460W-F/DL385 G5P
- DD HP 72Go 15K SAS 2,5pouces SFF 6G DP Enterprise
- DD HP 600 Go x3 10K SAS 2,5pouces SFF 6G DP Enterprise
- Carte de fond de panier HP DL360G6 SFF HD BKPLN KIT.
- Kit de mémoire DRAM Dual Rank HP 2Go x11 PC3-10600 Registered CAS 9 (22Go)
- MàJ cache HP 256Mo série P
- 2 SSD Vertex 4 60Go en RAID 1
- Ubuntu 12.04
- Ceph Argonaut 0.48.2
- 11 OSD (Object Storage Daemon), 6703 Go disponibles
Caractéristiques du réseau :
- Switch HP Pro Curve 2510G-48; réseau 1G
Éventuellement, avant de mettre en pratique, voici quelques petites astuces / bonnes pratiques :
- Mieux vaut un volume logique de 10 Go pour le répertoire du moniteur (c'est ce que la documentation officielle – en anglais – recommande, dans la section Data Storage [stockage des données]).
- Augmentez la valeur osdmax.
- Réglez l'option « filestore flusher » sur false dans votre section [osd].
- Définissez un nombre de groupes de placement par pool en fonction des calculs donnés dans la documentation officielle de Ceph.
- Par défaut, chaque objet est répliqué
- 2 fois, or vous voudrez peut-être passer ce comportement à 3. Vous pouvez changer cette valeur après avoir créé le pool, mais c'est plus pratique de le faire directement par défaut. Dans la section [mon] de la configuration ceph.conf, placez la balise suivante : « osd pool default size = 3 ».
- Activez le mode de cache en écriture différée sur votre contrôleur de disque, mais uniquement si votre contrôleur dispose d'une batterie de sauvegarde.
- Pour le système de fichier OSD, utilisez XFS – et je vous recommande les options suivantes : noatime,nodiratime,logbsize=256k,logbufs=8,inode64
Conclusion
Ça fait maintenant 6 mois que je travaille sur Ceph et la première chose que je me suis dite, c'est : « Quel formidable projet ! » Et personne ne m'a mis un fusil dans le dos pour écrire ça !
Les points positifs :
- RBD + Pacemaker = AHURISSANT
- Maintenance : la maintenance est assez facile. On a déjà fait deux tentatives de maintenance en phase de production (redémarrage des serveurs, pour une mise à niveau matérielle).
- Les GAS d'Inktank sont vraiment serviables.
- La communauté Ceph est active.
Les points à améliorer :
- Pas de contrôle réel des journaux, pour l'instant il n'y a pas de moyen de paramétrer de moyen de transmission ou de gravité pour les journaux. Pour en savoir plus là-dessus, allez voir un autre article sur Ceph and Logging (Les journaux dans Ceph).
- On a récemment repéré des fuites de mémoire des OSD, sur lesquelles on travaille encore. Vous pouvez voir la discussion à ce sujet sur la liste de diffusion Ceph.
En conclusion, sur cette première expérience utilisateur, je voudrais remercier la communauté.
Commentaires