Bon celle-ci, vous l’avez sans doute déjà vue (
RÉSUMÉ PLUS BAS POUR LES FEIGNASSES) :
IMG_20190808_190306.jpg
De haut en bas et de gauche à droite :
- L’onduleur (950VA) + les disques de sauvegarde locaux
- cette saloperie d’imprimante de merde
- le passe-câble (dit Passe-câble le Grand Frère
)
- Switch HP 24 Ports de merde (il s’appelle cousin-hub
)
- Le présent serveur (qui n’a pas vraiment bougé du coup) dit n0box2.mateu.be
- Le routeur (Alix APU 4G) dit machinbox.mateu.be et qui doit être le seul truc acheté neuf dans tout ce bordel

- 3 serveurs SuperMicro équipés d’Atom C2556 avec 8Gio de RAM chacun. Y’a un cluster Proxmox VE 6 qui tourne dessus (voire plus bas)
- 2 switches demi-largeur Ubiquiti. J’ai fini par les débrancher parce qu’au final, je ne m’en sers pas vraiment.
Autant devant, c’est à peu près clean, autant le câble management à l’arrière laisse à désirer
Bref, mon plan initial, c’était de monter un cluster Proxmox VE 5 ou 6 et de monter derrière des containers divers et variés (dont du Docker quand nécessaire) le tout piloté par Ansible. Pour la partie stockage, comme c’est assez galère de faire du stockage partagé, je voulais faire du Ceph avec Proxmox. L’avantage de Ceph, c’est que ça répartit parfaitement les données entre tous les nœuds du cluster, ça maintient la cohérence et ça se démerde à peu près tout seule une fois que c’est configuré.
Le problème, c’est qu’en terme de ressource, c’est hyper gourmand

: faut en gros un cœur par process Ceph (donc avec 1 manager et 1 monitor par nœud, ça fait 2 cœurs sur les 4 qui sont occupés juste pour le stockage) et en plus, il faut des processeurs assez rapides, environ 1Gio de RAM par Tio de stockage et du 10G en output pour arriver à obtenir des performances « correctes ». Autant vous dire qu’avec des specs pareilles, c’est pas gagné sur de l’Atom
Donc autant en maquette, ça marche pas trop mal, autant dans la réalité réelle du vrai monde, j’ai peur que ça tombe assez rapidement.
J’ai essayé de faire du GlusterFS : ça marche, c’est nettement moins gourmand, mais par contre en terme de perf, c’est assez moyen et on y gagne finalement pas grand-chose… C’est intéressant dans certaines configurations (je pense notamment à Docker Swarm où le stockage partagé est très limité en fait) mais pour mon cas précis, c’est plus galère qu’autre chose.
Donc j’ai fini par opter pour ZFS avec une vulgaire réplication des containers tous les quarts d’heure vers les autres nœuds du cluster : ça permet de maintenir des performances plus que correctes, avec une utilisation RAM/CPU raisonnable. Et avec la compression ZFS qui est activé par défaut, on y gagne un peu.
L’ensemble des 3 nouveaux serveurs est dans une DMZ à part avec adressage v4/v6 complètement séparé.
Les problèmes qu’il faut encore régler :
- je n’ai qu’un seul disque par serveur de stockage limité à 120Gio (en gros). Il va donc falloir que j’en rajoute mais je suis un peu à court de fond et de disques. J’attends de voir ce que je pourrais faire dans quelques jours/semaines
- je n’ai pas encore réglé l’onduleur pour l’ensemble des serveurs. Il va falloir que je m’y mette rapidement avant de considérer que tout est en prod.
- j’ai un souci sur le dernier serveur qui n’a du coup que 4G de RAM au lieu de 8 (ces serveurs sont super spécifiques pour la RAM en plus donc c’est assez galère à trouver)
Bref, y’a encore un peu de boulot, mais je pense que je pourrai mettre en service les premières briques d’ici la fin du mois d’août avec un peu de chance.
TL;DR:
- je cherche un plan RAM (DDR3 SO-DIMM ECC 12800)
- je cherche des plans SSD (sachant que j’ai trouvé une rèf sympa pour connecter du SATA sur du Molex pour ceux que ça pourrait intéresser)
BONUS : l’interface Proxmox
2019-08-12-200747_1920x1080_scrot.png
EDIT: l’ensemble de la conf Ansible sera bientôt accessible publiquement (pour le moment, c’est un peu trop le merdier dedans et j’ai pas encore planqué tous les secrets).
Vous ne pouvez pas consulter les pièces jointes insérées à ce message.