Nouveau serveur (putain encore !) :lxd: :docker: :truenerd:

[Mortal]

Kikoo

Notre bien-aimé serveur commence à se faire un peu vieux et surtout particulièrement bordélique . Entre mes trucs à moi (messagerie, roundcube, xmpp, ttrss, etc…), les trucs du Dojo :vivice: (phpbb + wp), les trucs de pipoworld (y'a pas grand chose mais quand même) et d'autres bricoles, ça commence à faire beaucoup de monde et ça commence à ressembler à rien.

Du coup, je vais entamer des travaux de migrations vers un nouveau serveur avec plein de conteneurs dedans parce que c'est la mode et parce que c'est rigolo

La BÉÉÉÉÉTE

Le nouveau serveur recyclera mon PC de bureau actuel :

• CPU : Intel(R) Core(TM) i5-3350P CPU @ 3.10GHz
• RAM : 16Gio

Va falloir que je rachète :

• 2 SSD petits (pour le système)
• 2 SSD plus grands (pour les données)
• potentiellement une petite CG (parce que la mienne, je vais la mettre dans mon nouveau PC et parce que ma carte mère démarre pas sans )

L'idée étant de reprendre du BTRFS Raid 1 comme actuellement mais distribué sur deux disques pour limiter les risques et les écritures.

Rézo

Je vais également séparer plus strictement les réseaux entre mon réseau domestique et le réseau serveur. L'idée est de faire une sorte de pseudo DMZ mais en un peu plus ouverte : tout accès autorisé depuis Internet sera autorisé également depuis mon réseau domestique.

L'idée est donc de permettre à ces deux bouts de réseau de sortir comme ils l'entendent vers Internet, mais d'autoriser les connexions entrantes que sur des ports standard bien précis que ce soit depuis internet ou depuis mon réseau domestique.

Système

Comme j'héberge beaucoup de trucs et pour beaucoup de monde au final, il va falloir que je m'organise un peu mieux. Notamment pour pouvoir donner la possibilité à certaines personnes de se connecter avec des privilèges très élevés sur certains services.

C'est aujourd'hui pas possible avec un serveur complètement monolithique. Les VMs, c'est bien, mais c'est trop consommateur de ressources (RAM, CPU, etc…). Je vais donc opter pour une troisième voix : LXC/LXD. C'est du conteneur léger qui permet du coup d'avoir de la virtualisation mais sans vraiment virtualiser

Plus léger mais pas dénué de possibilité : on peut mettre du docker dans du LXC, ça va donc être possible aussi de faire tourner des applis plus complexes et de tester des trucs beaucoup plus poilus

Pour le moment, iso-périmètre, je serais à 12 conteneurs (environ) :
- mail : postfix, dovecot, spamassassin, opendkim
- mailman : mailman, postfix
- bt : transmission, sonarr, radarr, jackett
- haproxy (pour l'aiguillage en frontal)
- dojo : nginx, php-fpm, mariadb
- trucs perso : nginx php-fpm mariadb
- zpush : nginx, php-fpm
- xmpp : prosody
- mastodon : docker + postgresql + nginx
- teamspeak : ts3 + mariadb
- voix : mumble + icecast2

LXD/LXC me permet aussi d'avoir une adresse IPv6 publique sur chaque conteneur : tout sera donc accédé le plus directement possible.

Pour pouvoir gérer tout ça de manière plus souple, je vais également avoir un contenur SaltStack. Si j'ai pas le courage, je vais ptet aussi foutre dans des conteneurs Docker les applis qui s'y prêtent bien (je pense notamment à mon conteneur BT).

Quand est-ce qu'on commence ?

En fait, c'est déjà commencé : j'ai maquetté pas mal de trucs ces derniers jours. Je vais m'arranger pour récupérer des plages d'IPv6 et probablement commencer les règles de routage et de filtrage assez rapidement.

Après, pour le reste, il va falloir que je me débarasse de mon ancien PC et ça risque donc de prendre du temps

Mon objectif est d'arriver à tout migrer proprement d'ici la fin de l'année (ambitieux mais jouable).

Est-ce que je vais le subir ?

L'impact va être absolument minimal quoiqu'il arrive : temps de réponse, etc…, rien ne devrait vraiment bouger. Par contre, ça va permettre d'expérimenter plus de trucs et d'accélérer éventuellement les migrations vers des versions plus avancées de PHP notamment mais aussi de NginX. Au final, ça va forcément améliorer les choses .

Est-ce que je peux aider ?

Tu peux généreusement faire donation de SSD neuf

Si tu possèdes un datacenter, tu peux aussi nous loger gracieusement

Plus sérieusement, tu peux donner ton avis sur ce que tu veux, faire des suggestions, poser des questions, demander des trucs, ça aidera déjà beaucoup .

C'est quand même très « arrière-cuisine » comme migration, donc ça m'étonnerait pas que ça intéresse grand-monde

Par contre, ça pourrait être intéressant pour les membres de l'équipe : des accès root dans des conteneurs GRATOS avec du DOCKER dispo, ça va forcément faire du

[Chunky]

Pas grand chose à dire à part un gros MERCI ! Car je sais que ça prend un temps fou tout cas :o

A la boîte on va pouvoir potentiellement récupérer du matos de « vieux » PCS (type i5 d’il y a 5 ans) ; moi je m’en fout mais ça pourrait potentiellement t’interesser ? Si oui je te redirais les specs exactes quand je le saurais

[Aya]

C'est cool pour le docker, vous allez gagner un temps fou pour charger et décharger vos marchandises

J'ai rien compris mais je participe t'as vu

[Mortal]

Pas grand chose à dire à part un gros MERCI ! Car je sais que ça prend un temps fou tout cas :o

A la boîte on va pouvoir potentiellement récupérer du matos de « vieux » PCS (type i5 d’il y a 5 ans) ; moi je m’en fout mais ça pourrait potentiellement t’interesser ? Si oui je te redirais les specs exactes quand je le saurais

Tant que c'est gratuit (ou on va dire pas cher du tout), ça pourrait effectivement m'intéresser. Ça permettrait de faire une petite ferme LXD/LXC avec de la reprise en cas de crash et du partage de charge plutôt que de la reprise froide (ce que je comptais faire).

En fait, j'ai aussi prévu un morceau de plan de secours : en cas de crash, je serai capable de reprendre tout ou partie des containers LXC sur une autre machine, voire sur un serveur dédié qqs parts, voire même dans un truc comme AWS.

Et comme les adresses publiques du Dojo sortent par un VPN, c'est pas bien compliqué d'aller les router ailleurs.

C'est cool pour le docker, vous allez gagner un temps fou pour charger et décharger vos marchandises

J'ai rien compris mais je participe t'as vu

J'accepte avec très très grand plaisir vos participations et encouragements

[Kenshin83]

Ça permettrait de faire une petite ferme

Quand le dojo diversifie ses activités

[Mortal]

Et on va vendre du lait derrière

Je me tâte à absolument tout dockériser… J'ai monté un forum de test pour voir et ça marche plutôt pas mal. Le seul problème, c'est que ça fait un sacré gâchis de ressources quand même : un nginx, un php-fpm (qu'il faut bricoler en plus ) et un mariadb juste pour le forum.

Ça voudrait dire que pour chaque appli PHP pratiquement, il faudrait faire la même chose. Je ne suis pas certain de l'intérêt à long terme.

Et puis, ça ne me permettrait pas forcément de déléguer des accès sur certains conteneurs, ce qui est quand même un peu gênant du coup…

Je vais quand même continuer de tester/expérimenter dans ce sens. Après tout, si j'arrive à tout faire tenir dans la future boîboîte, ça peut être intéressant .

[egg]

Ça doit être l'enfer pour les mises à jour, non ?

[Mortal]

Dans un seul cluster Swarm ou K8s en théorie non : tu maj les conteneurs, tu rollouts le tout et c'est parti.

Par contre pour maj des applis PHP, c'est un peu autre chose

[Holaf]

C'est dommage que tu n'ai pas une carte mere avec un socket FCLGA2011 j'aurai pu te passer un meilleur processeur
Sinon ta ram c'est de la DDR3 ? tu as combien de slots ? et la carte mere gere combien au maximum ?
des anciens SSD 150Go ca t 'interesse ? (pour faire du cache par exemple)
des disques de 2To pour le stockage ?
une carte raid SAS peut-etre ? (mais par contre je comptais la vendre, pas la donner )
j'ai sinon une carte PciE > 4xSata (pas exceptionelle mais fonctionelle normalement)
Si tu veux une carte graphique passive pour le serveur je dois pouvoir récupérer ca aussi (ou alors avec un mini ventilo)

[Mortal]

C'est une carte mère mini-itx donc je pense que tous les slots mémoire sont pris.

La carte RAID ça ira (je fais du RAIS FS de toutes manières), par contre les SSD pourraient m'intéresser de même que ta carte graphique passive.

Faut que j'arrive à régler assez vite la question du matos donc toute aide est la bienvenue.

Sino, j'ai monté des bouts de lab avec du Docker Swarm et je suis assez impressionné pour le moment : c'est absolument pas adapté au projet mais c'est super marrant à monter

Faut que je vois si je peux en recycler des bouts pour faire d'autres trucs

[Cyrare]

J'allais proposer une vieille carte graphique et un vieux SSD (ça me forcerait à changer) mais Holaf a forcément plus de matos.

Ton projet m'intéresse parce que parfois, j'ai envie de faire des trucs, genre un client twitter plus moderne en python, ou alors un prévisualiseur de pages web pour remplacer les Et Hop ! Mais à chaque fois faut installer des trucs et j'ai pas envie de tout casser juste pour tester. Je connais pas docker mais si c'est un équivalent d'une virtualisation, c'est top. (Sinon, faudrait que j'ai une instance du dojo chez moi, ce serait plus simple.)

[meduz']

C'est l'cas, pour Docker.

[Holaf]

en plus avec les containers deja tout préparés ca te simplifie bien l'installation de certain softs

[Mortal]

C'est un peu plus compliqué que ça

Les conteneurs, c'est drôlement bien pour du dev, mais dès qu'il s'agit de faire de la prod avec, c'est un peu une autre histoire. C'est aussi pour ça que je me tâte : du LXD correctement orchestré, ça permet de faire à peu près tout ce dont on a besoin mais en plus, je peux très facilement déléguer des accès.

Sur du Docker Swarm, c'est pas possible avec la version communautaire. Sur du Kubernetes, c'est faisable, mais la complexité des outils est assez importante et ça risque donc de partir en couille assez rapidement.

Je teste, je maquette, je regarde ce qu'il y a de mieux. Mais pour le moment, je pense sincèrement que LXD/LXC est le plus adapté. Après, ça empêche pas de faire du Docker dans du LXD/LXC.

Ton projet m'intéresse parce que parfois, j'ai envie de faire des trucs, genre un client twitter plus moderne en python, ou alors un prévisualiseur de pages web pour remplacer les Et Hop ! Mais à chaque fois faut installer des trucs et j'ai pas envie de tout casser juste pour tester. Je connais pas docker mais si c'est un équivalent d'une virtualisation, c'est top. (Sinon, faudrait que j'ai une instance du dojo chez moi, ce serait plus simple.)

Bah typiquement, en LXD, je pourrais faire un conteneur de dev et t'installer automatiquement tous les outils utilisés (bonne verson de NginX, PHP-FPM, MariaDB) et importer très rapidement la BDD du Dojo. En gros, en 15 min, t'as un truc fonctionnel avec tous les accès nécessaires.

En Kubernetes, on peut déployer un service supplémentaire reprenant les bons conteneurs et les bonnes données. Ça prend à peu près le même temps. Par contre, t'as pas d'accès possible, c'est pas faire pour. Du coup, tu peux tester un truc que t'as déjà bricolé, pas bricoler directement dedans.

Étant donné la manière dont on fonctionne en général, je suis pas certain que ce soit top.

On pourrait aussi envisager une 3ème voie : on fait du LXD/LXC pour avoir la souplesse VM, mais sans la lourdeur des ressources et derrière dans chaque VE, on fait tourner du Docker pour avoir des versions super à jour ou bien spécifique de certains trucs. De toutes manières, il faut l'orchestrer (SaltStack ou Ansible), donc orchestrer des composants système ou orchestrer des conteneurs Docker, ça fait pas une grosse différence.

[Zerg Killer]

Si tu possèdes un datacenter, tu peux aussi nous loger gracieusement

J'ai un Novascale R422-E1 qui est hébergé gracieusement dans le datacenter où je travail, il me sert moins depuis que j'ai la fibre.

Seuls défauts, il ne gère pas les disques de plus de 2To (BIOS oblique) et on est limité à deux disque par carte-mère (Boîtier 1U avec deux CM dedans, mais le BIOS de l'une est HS)



Le top serait de pouvoir faire repartir la seconde CM avec un dump et reprogrammation de BIOS (elle à déjà des CPU) et que je vous laisse la scouater. Le GROS soucis c'est qu'on est limité à un câble réseau relié aux switch public par châssis, du coup, il faudrait faire un NAT/PAT et routage entre les deux.

Du coup, si un jour ça peu dépanner.

[Mortal]

Je ne connais pas très bien ce modèle, t'as quoi comme CPU dedans ? C'est bruyant ou pas ?

[Zerg Killer]

C'est un boîtier 1U, donc c'est très bruyant, c'est fait pour être dans une salle à part.
Sinon dans le mien les carte-mères sont équipées de Xeon E5520.

[Mortal]

Ça pourrait m'intéresser. Faut effectivement que je vois si je peux faire repartir la seconde CM. Ce serait sacrément cool .

Je suis sur d'autres pistes pour du matos, faut que je vois ce qui mord. T'as un délai spécifique ou tu peux la garder autant que tu veux ?

[Zerg Killer]

Pas de délai, le serveur m'appartient, donc je le garde autant que je veux.
Le seul truc c'est que si je change d'emploi, je devrais le faire héberger autre part.

[Mortal]

C'est aussi pour ça que je préfèrerais le récupérer

Comme je suis sur plein d'autres matériels potentiellement récupérable, je te garde dans un coin

Me le réserve pas non plus hein, si t'en as besoin, hésite pas

[Mortal]

Pas de délai, le serveur m'appartient, donc je le garde autant que je veux.
Le seul truc c'est que si je change d'emploi, je devrais le faire héberger autre part.

Je fais appel à un gourou de la récupération de BIOS voir s'il est chaud pour le challenge .

Je suis en train d'élaborer mon plan diabolique pour conquérir le monde mettre en place les nouveaux services :
- si j'arrive à choper qu'une seule machine (celle de Zergy, le recyclage de la mienne ou qqch du genre), je pars sur du LXD avec éventuellement du Docker/Docker Swarm/Kubernetes non privilégié. Je garderais une solution de cold-spare pour le secours
- si j'arrive à choper 3 machines, je pense que je ferais un cluster Proxmox avec un nested backend Ceph pour le stockage. Ça me permettra d'avoir une redondance maximum et de gérer soit de la VM, soit du conteneur LXC, soit du Kubernetes embarqué dans de la VM.

La seconde possibilité offre quand même pas mal de possibilités intéressantes : VM de test, architecture du test, migration, etc… je serais obligé de faire du SaltStack quoiqu'il arrive.

Je voulais tenter de partir sur du Kubernetes bare-metal (donc directement sur des serveurs physiques), mais je me rend compte que ce n'est pas forcément une très très bonne idée : c'est super intéressant, ça peut être fun, mais c'est nettement moins « souple » s'il s'agit de faire de la merde (la VM que m'a très généreusement mis à disposition Holaf pour faire des backups, bah j'aurais pas pu le faire en Kubernetes).

L'avantage du cluster Proxmox, c'est que ça offre la souplesse de n'importe quelle approche. Le souci, c'est qu'en terme de ressource, ça va être ultra bourrin . Faut minimum 3 machines pour faire du Ceph. Pareil pour du GlusterFS, à deux, c'est trop risqué.

Donc en fait, 1, j'ai le plan, 3, j'ai le plan, 2, c'est le chiffre à la con

À moins de partir sur du drbd avec gestion du split-brain. Faut que j'étudie la question

[Mortal]

Bon après avoir beaucoup maquetté et beaucoup réfléchi sur plein de sujets, je pense que je vais rester sur l'idée d'origine : LXC (ou LXD, on verra bien en fonction de ce que j'installe de base sur la machine) avec un orchestrateur.

J'ai hésité longtemps entre SaltStack (que je maîtrise parfaitement) et un truc plus léger genre Ansible (avec lequel je suis familier mais sans en connaître toutes les arcanes) et je pense que je vais partir sur ce dernier. C'est un peu plus léger en terme de ressources (parce que finalement, c'est une autre machine qui fait le boulot) et j'ai pas fondamentalement besoin de tout ce que fait SaltStack : faire du salt avec peu de pillar, pratiquement sans reactor et sans orchestrate, c'est un peu le bazooka pour tuer un moucheron.

Je vais donc commencer à écrire des playbooks Ansible pour au moins 2 machines pour le moment :
- mastodon
- Wordpress + phpBB

Ça permettra de mettre tout ce qui concerne le Dojo très rapidement sur la nouvelle machine.

[Zwarf]

C'est moi où le forum est beaucoup plus rapide ces derniers temps ?

[Mortal]

Euh… pas particulièrement… En tout cas, je n'en ai pas vraiment l'impression (bon maintenant, je triche un peu question temps de réponse ).

[meduz']

Par rapport à avant, c'est en effet incroyablement rapide. :o