Différences

Ci-dessous, les différences entre deux révisions de la page.

--- admin:procedures:redemarrer-korat [2024/03/09 21:07] – [Vérifier si un fsck va être déclencher] ne vérifier que /dev/mapper pilou
+++ admin:procedures:redemarrer-korat [2025/11/21 18:03] (Version actuelle) – the max conntrack issue is now solved \o/ pitchum
@@ Ligne 7: / Ligne 7: @@
 Une vérification de disque peut rallonger énormément la durée du redémarrage. Vérifier :
 <code>
-df | awk '/^\/dev/\/mapper/ {print $1}' | xargs -I {} sh -c 'echo {}; tune2fs -l {}' | awk '/^\/dev/ {print $1} /^Filesystem state/ {print $3, " ",$4}'
+df | awk '/^\/dev\/mapper/ {print $1}' | xargs -I {} sh -c 'echo {}; tune2fs -l {}' | awk '/^\/dev/ {print $1} /^Filesystem state/ {print $3, " ",$4}'
 </code>
@@ Ligne 19: / Ligne 19: @@
   * cocher ''Notifier les abonnés ?''.
-=== Sur chapril@april.org ===
+=== Sur chapril@april.org puis sur admins@chapril.org ===
+Envoyer deux courriels séparés aux listes : chapril@april.org puis admins@chapril.org
-Envoyer un courriel aux listes :
 <code>
 From: François Poulain <fpoulain@metrodore.fr>
 To: chapril@april.org
-Subject: [Chapril] Reboot du cluster
+Subject: [Chapril] Redémarrage du cluster
-Date: Sun, 4 Mar 2018 15:25:18 +0100
-Reply-To: chapril@april.org
-Sender: chapril-request@april.org
-X-Mailer: Claws Mail 3.11.1 (GTK+ 2.24.25; x86_64-pc-linux-gnu)
 Coucou,
@@ Ligne 45: / Ligne 42: @@
 À l'aide du compte https://pouet.chapril.org/@chapriladmin :
+e
 <code>
 Nous allons redémarrer les serveurs de notre Chapril https://chapril.org pour tenir compte des mises à jour.
@@ Ligne 56: / Ligne 53: @@
 Vérifier qui est présent sur les vm :
 <code>
-cluster_guests='admin allo bastion biliz dns drop grof lamp libreoffice ludo mail pad pouet sympa valise xmpp wiki'
+cluster_guests=$(ssh root@persan.chapril.org "virsh list --name"; ssh root@korat.chapril.org "virsh list --name")
 for guest in $cluster_guests ;
 do
@@ Ligne 70: / Ligne 67: @@
 ./do.sh "wall 'Bonjour. Reboot SI Chapril à 13h15. Cpm.'"
 </code>
+=== Sur IRC et XMPP ===
+  * IRC : salon ''#chapril'' sur ''irc.libera.chat:6697'' ([[https://webchat.april.org/|webchat]])
+  * XMPP : ''chapril@muc.chapril.org''
 ==== Couper le monitoring ====
@@ Ligne 75: / Ligne 77: @@
   * Propager les downtimes en questions sur les services des hosts.
-Le script suivant peut être utilisé pour couper le monitoring sur les hôtes et propager les downtimes sur les services hébergés. Les identifiants sont définis dans le fichier ''/etc/icinga2/conf.d/api-users.conf'' sur la machine ''admin.cluster.chapril.org'', l'utilitaire ''[[https://github.com/jpmens/jo|jo]]'' ([[https://packages.debian.org/bullseye/jo|paquet Debian]]) est requis.
+Le script suivant peut être utilisé pour couper le monitoring sur les hôtes et propager les downtimes sur les services hébergés. Les identifiants sont définis dans le fichier ''/etc/icinga2/conf.d/api-users.conf'' sur la machine ''admin.cluster.chapril.org'', l'utilitaire ''[[https://github.com/jpmens/jo|jo]]'' ([[https://packages.debian.org/stable/jo|paquet Debian]]) est requis.
 <code>
 curl -k -s -S -i -u ${ICINGA_USER}:${ICINGA_PASSWORD} -H 'Accept: application/json' \
@@ Ligne 98: / Ligne 100: @@
 ===== Arrêt de Korat =====
-Korat est lié à Persan par DBRD, il y a donc une procédure à suivre pour rebooter proprement.
+Arrêter les VMs avant de redémarrer Korat:
-Arrêter les VM :
+====== Arrêter les VM =======
 <code>
 cd /etc/libvirt/qemu
-for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh shutdown $host ; done; watch virsh list
+virsh list --state-running --name | xargs -I{} virsh shutdown {}; watch virsh list
 </code>
-ou bien :
+======= redémarrage de Korat =======
-<code>
-cd /etc/libvirt/qemu
-for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh shutdown $host ; done; sleep 20;
-for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh destroy $host ; done
-</code>
-Arrêter DRBD :
-<code>
-umount /var/lib/libvirt/korat
-drbdadm disconnect persan
-drbdadm secondary korat
-drbdadm disconnect korat
-</code>
-Redémarrer :
 <code>
 reboot
@@ Ligne 135: / Ligne 121: @@
 </code>
-Démarrer DRBD :
+Démarrer les VM (⚠️ne pas redémarrer la VM ''template''⚠️):
 <code>
-drbdadm primary korat
+virsh list --state-shutoff --name  | grep -v template | xargs -I{} virsh start {}; watch virsh list
-mount /var/lib/libvirt/korat
 </code>
-Démarrer les VM :
-<code>
-cd /etc/libvirt/qemu
-for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh start $host ; done
-</code>
-Ne pas s'inquiéter : seuls les machines de korat vont démarrer ; sauf si /var/lib/libvirt/persan est monté, mais ce ne serait pas normal.
 ==== Lister les VM actives ====
@@ Ligne 171: / Ligne 148: @@
 Si un problème subsiste alors les sondes devraient le faire apparaître dans Icinga.
 Vérifier que les alertes actives sont acceptables.
 ==== Clôturer l'action de maintenance status.chapril.org ====