NintendojoFR : Le forum

Alors, du coup, ça s’est bien passé, seul petit souci : j’ai remis l’onduleur dans le rack et en fait, c’est bien le bordel…

En fait, j’ai des bandeaux de prises en « milieu » et en bas et avec tous les câbles qui traînent, c’est vraiment l’enfer. Je pense qu’il va falloir à un moment que je me décide soit à faire des câbles sur mesure, soit à revoir l’ensemble en mettant des colson partout

Je comprends jamais rien de ce qu'il fait, le Mortal, mais il bûche, ça... Il bûche.

Non, c'est l'impression que ça donne car tu ne comprends pas

En vrai je galère en câble management de ouf. Probablement parce que je ne suis pas très brillant.

Et en plus, j'essaie d'éviter les coupures prolongées.

Tu nous fera une photo du rack a l'occasion ?

Mortal a écrit : 03 avr. 2023 20:39je ne suis pas très brillant.

LOL

Holaf a écrit : 04 avr. 2023 08:00 Tu nous fera une photo du rack a l'occasion ?

Je vous fais ça dès que c’est un peu plus présentable

In other news, je viens de tomber dans le trou du lapin

J’ai donc à ma disposition une carte mère B85M avec un processeur i7-4790k et je trouve que ce serait fondamentalement dommage de ne pas s’en servir.

Pour rappel, le serveur actuel du Dojo utilise une carte mère GA-B250M mais avec un i5-7500. Donc en gros, c’est la génération d’après, mais avec des perfs un peu moins bonnes (de l’ordre de 30% environ sans compter qu’il y a 4c/8t d’un côté pour 4c/4t de l’autre).

Bref, mon souci principal, c’est qu’il n’y a pas de NVMe sur la carte MSI et que j’ai de gros soucis de perf IOPS en ce moment qui me plombe. Je n’ai pas envie de retourner sur du SSD-SATA qui risque de continuer à poser problème. On peut ajouter un NVMe en utilisant l’un des deux ports PCI-e (3.0x16 ou 2.0x4), mais la CM ne sera pas capable de booter dessus.

J’ai déjà trouvé une solution pour ça : Clover Boot. Ça règle le problème : le PC boote en UEFI sur une clé USB, qui charge ce qu’il faut pour avoir du NVMe qui ensuite boote le NVMe lui-même.

OK, problem solved

Bon, je peux mettre un NVMe, mais en fait j’ai besoin de 2 NVMe (pour assurer une certaine redondance). Donc, je regarde si on peut mettre 2 NVMe sur un seul port PCI-e. Et oui, on peut avec un adaptateur spécialement fait pour.

SAUF QUE il faut que la CM supporte ce qu’on appelle le PCI-e bifurcation (lisez-le à l’anglaise, c’est encore plus drôle ). En gros, ton port est x16, faut que tu le coupes en x8x8 ou en x4x4x4x4.

Et la B85M ne support évidemment pas ça

Donc à partir de là, il y a deux solutions : commander une carte avec bifurcation intégrée (bordel, que c’est compliqué ) mais franchement : 1. ça coûte quand même bien cher, 2. les perfs sont relativement réduites en gros, soit tu mets un peu moins cher que la carte là et tu as du 2Gio/s/NVMe, soit tu prends cette carte et tu as du 4Gio/s/NVMe.

À 2Gio/s/NVMe, je pense qu’avoir un adaptateur simple sur les deux ports PCI-e est plus rentable

Bon voilà, je trouve que ça fait beaucoup de bordel pour pas grand-chose. Je me demande si j’aurais pas meilleur compte à changer le processeur du serveur actuel du Dojo, ce serait ptet plus rentable (mais trouver un proc avec socket LGA1151, bah c’est pas simple).

Pour résumer : JPP.

T'emmerdes pas, prends le plus joli ... l'important, c'est le style

Bah en vrai, je suis assez tenté d’acheter un nouveau CPU d’occaz, j’en aurais ptet pour moins cher au final.

EDIT: bon de toutes manières, le juge de paix, c’est quand même ce que ça va coûter à la fin, donc je vais tenter de budgéter toutes les solutions pour voir ce que ça pourrait donner.

Solution 1 : changer le processeur du serveur principal et l’équiper de 2 NVMe Gen3 x4 (débit 4Gio/s) + adaptateur

Proc: ~90€ (occasion) pour un i7-6700
Adaptateur: ~15€
NVMe 500G : 35€ × 2
Revente du proc d’origine (évalué) : -40€
Coût total : 135€

Solution 2 : acheter un adptateur Gen3 x8 avec bifurcation + 2 NVMe Gen3 x4 (débit 4Gio/s) + clé USB pour Clover Boot

Adaptateur: ~150€
Clé USB : LOL ~10€
NVMe 500G : 35€ × 2
Coût total : 230€

Solution 3 : acheter 2 petits adaptateur NVMe + 2 NVMe Gen3 x2 (débit 2Gio/s) + clé USB pour Clover Boot

Adaptateur : ~15€ × 2
Clé USB : LOL ~10€
NVMe 500G: 35€ × 2
Coût total : 110€

Donc en gros, solution 3 moins chère, mais moins de perf, solution 1 à peine plus cher (+18%) pour 2 fois plus de perf. Solution 2 clairement à proscrire.

Pour le coté perenne je pencherais plus sur la 1, j'aime pas trop les boots sur clefs usb

+1, ça sent les emmerdes que tu veux pas avoir.

Et tu aussi peux revendre la CM en plus du CPU, ça rajoutera quelques € à l'amortissement du coût, non ?

La CM, j’en ai besoin malgré tout L’objectif, c’est de garder le « second » PC pour le transformer en NAS (qui permettra de simplifier considérablement la gestion des sauvegardes notamment).

ciol a écrit : 06 avr. 2023 18:17 Pour le coté perenne je pencherais plus sur la 1, j'aime pas trop les boots sur clefs usb

Dans l’absolu, c’est moins risqué que de mettre le /boot sur une clé USB (parce que t’es pas obligé de l’avoir en r/w en permanence, t’es pas obligé de la monter et tu peux surtout très facilement la remplacer, elle n’est pas liée au système).

Bref, je pense que je vais aller commander les NVMe rapidement histoire d’être débarassé de cette contingence.

Holaf a écrit : 04 avr. 2023 08:00 Tu nous fera une photo du rack a l'occasion ?

À la demande générale *criquet*

Voici, el DojoRack :
Là, il est rangé dans son coin à côté de la machine à laver

Et dessus, y’a le téléphone (no shit), la borne Wi-Fi Unifi (qui est maintenant en OpenWRT aussi) et le levain (parce que c’est là que ça chauffe le mieux ).
Et là, c’est le full frontal avec tout le bordel dedans (qui n’est pas tant de bordel que ça d’ailleurs). De haut en bas et de gauche à droite :
* Mikrotik CloudSwitch
* Freebox Pop
* Routeur OpenWRT Alix APU4
* Serveur 2U
* Onduleur et disque de sauvegarde

Mon plus gros souci actuellement, c’est les bandeaux d’alim (on ne les voit pas sur la photo, ils sont fixés dans le fond) : sur celui du haut, y’a que des blocs à la con au lieu des prises standards (Freebox, routeur, disque dur) et celui du bas est quasiment vide. En fait, je me dis que ce serait pas mal de tout brancher en bas, mais à cause des gros blocs, j’ai pas la place

Donc, voilà, au final, ça fait de la merde

On voit les blocs d'alim sur la seconde photo au fond
perso dans ma baie, je les ai tournés vers l'extérieur, mais j'ai prévu large, j'en ai mis 3
mais sinon honnêtement ça va, c'est propre.

Je me dis qu’il doit y avoir des solutions, mais j’ai pas trouvé jusqu’à présent… Et le fond n’est pas amovible a priori, donc ça va être compliqué de les mettre à l’envers, mais j’aime bien l’idée, faudrait que j’essaie.

Ça fait plus petite baie de brassage que baie serveur

Bah originellement, c’est le cas. C’est « seulement »un 12U (donc pas énorme).

Bon les enfants, les NVMe arrivent ce matin, donc je prévois une coupure de grosso-modo 2h pour tout faire :
* arrêt de tous les conteneurs
* sauvegarde sur un support externe
* réinstallation sur les NVMe en RAID1
* reconfiguration minimale
* restauration des conteneurs

Ça va être chaud les marrons, mais on devrait y arriver

Bon faut encore que j’y arrive correctement, mais là tout est prêt. Donc a priori, on va y aller pour la réinstall

Bonne chance

Bah, ça c’est beaucoup mieux passé que prévu

En fait, le plus long a été la sauvegarde initiale. La restauration a été bien plus vite (les NVMe, ça aide). Je surveille pour les 24 prochaines heures (notamment les histoires d’IO) et on pourra considérer que l’opération est un succès.

Pour ceux que ça intéresse, c’est la partie violette foncée de ce graph qu’il faut regarder de près : https://munin.mateu.be/dmz.mateu.be/ser ... e/cpu.html

EDIT: je vois déjà nettemment la différence sur la partie RAM : ZFS ne se sent plus obligé de faire un cache de malade en RAM et laisse le serveur respirer un peu minimum
EDIT2: j’ai plus de souci de timeout sur certaines requêtes garage \o/