Différences

Ci-dessous, les différences entre deux révisions de la page.

--- admin:procedures:redemarrer-korat [2024/03/09 20:40] – ↷ Nom de la page changé de admin:procedures:redemarrer-coon à admin:procedures:redemarrer-korat pilou
+++ admin:procedures:redemarrer-korat [2025/11/21 18:03] (Version actuelle) – the max conntrack issue is now solved \o/ pitchum
@@ Ligne 1: / Ligne 1: @@
-====== Rebooter Coon ======
+====== Rebooter Korat ======
 ===== Actions préalables =====
@@ Ligne 7: / Ligne 7: @@
 Une vérification de disque peut rallonger énormément la durée du redémarrage. Vérifier :
 <code>
-df | awk '/^\/dev/ {print $1}' | xargs -I {} sh -c 'echo {}; tune2fs -l {}' | awk '/^\/dev/ {print $1} /^Filesystem state/ {print $3, " ",$4}'
+df | awk '/^\/dev\/mapper/ {print $1}' | xargs -I {} sh -c 'echo {}; tune2fs -l {}' | awk '/^\/dev/ {print $1} /^Filesystem state/ {print $3, " ",$4}'
 </code>
@@ Ligne 19: / Ligne 19: @@
   * cocher ''Notifier les abonnés ?''.
-=== Sur chapril@april.org ===
+=== Sur chapril@april.org puis sur admins@chapril.org ===
+Envoyer deux courriels séparés aux listes : chapril@april.org puis admins@chapril.org
-Envoyer un courriel aux listes :
 <code>
 From: François Poulain <fpoulain@metrodore.fr>
 To: chapril@april.org
-Subject: [Chapril] Reboot du cluster
+Subject: [Chapril] Redémarrage du cluster
-Date: Sun, 4 Mar 2018 15:25:18 +0100
-Reply-To: chapril@april.org
-Sender: chapril-request@april.org
-X-Mailer: Claws Mail 3.11.1 (GTK+ 2.24.25; x86_64-pc-linux-gnu)
 Coucou,
@@ Ligne 45: / Ligne 42: @@
 À l'aide du compte https://pouet.chapril.org/@chapriladmin :
+e
 <code>
 Nous allons redémarrer les serveurs de notre Chapril https://chapril.org pour tenir compte des mises à jour.
@@ Ligne 56: / Ligne 53: @@
 Vérifier qui est présent sur les vm :
 <code>
-cluster_guests='admin bastion dns drop lamp libreoffice mail pad pouet sympa valise xmpp'
+cluster_guests=$(ssh root@persan.chapril.org "virsh list --name"; ssh root@korat.chapril.org "virsh list --name")
 for guest in $cluster_guests ;
 do
@@ Ligne 70: / Ligne 67: @@
 ./do.sh "wall 'Bonjour. Reboot SI Chapril à 13h15. Cpm.'"
 </code>
+=== Sur IRC et XMPP ===
+  * IRC : salon ''#chapril'' sur ''irc.libera.chat:6697'' ([[https://webchat.april.org/|webchat]])
+  * XMPP : ''chapril@muc.chapril.org''
 ==== Couper le monitoring ====
@@ Ligne 75: / Ligne 77: @@
   * Propager les downtimes en questions sur les services des hosts.
-Le script suivant peut être utilisé pour couper le monitoring sur les hôtes et propager les downtimes sur les services hébergés. Les identifiants sont définis dans le fichier ''/etc/icinga2/conf.d/api-users.conf'' sur la machine ''admin.cluster.chapril.org'', l'utilitaire ''[[https://github.com/jpmens/jo|jo]]'' ([[https://packages.debian.org/bullseye/jo|paquet Debian]]) est requis.
+Le script suivant peut être utilisé pour couper le monitoring sur les hôtes et propager les downtimes sur les services hébergés. Les identifiants sont définis dans le fichier ''/etc/icinga2/conf.d/api-users.conf'' sur la machine ''admin.cluster.chapril.org'', l'utilitaire ''[[https://github.com/jpmens/jo|jo]]'' ([[https://packages.debian.org/stable/jo|paquet Debian]]) est requis.
 <code>
 curl -k -s -S -i -u ${ICINGA_USER}:${ICINGA_PASSWORD} -H 'Accept: application/json' \
@@ Ligne 82: / Ligne 84: @@
         pretty=true \
         type=Host \
-        filter="match(\"coon*\", host.vars.hote)" \
+        filter="match(\"korat*\", host.vars.hote)" \
         all_services=true \
         author="${GIT_AUTHOR_NAME}" \
-        comment="Coon upgrade maintenance" \
+        comment="Korat upgrade maintenance" \
         fixed=true \
         start_time=$(date +%s -d "+0 hour") \
@@ Ligne 96: / Ligne 98: @@
 </code>
-===== Arrêt de Coon =====
+===== Arrêt de Korat =====
-Coon est lié à Maine par DBRD, il y a donc une procédure à suivre pour rebooter proprement.
+Arrêter les VMs avant de redémarrer Korat:
-Arrêter les VM :
+====== Arrêter les VM =======
 <code>
 cd /etc/libvirt/qemu
-for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh shutdown $host ; done; watch virsh list
+virsh list --state-running --name | xargs -I{} virsh shutdown {}; watch virsh list
 </code>
-ou bien :
+======= redémarrage de Korat =======
-<code>
-cd /etc/libvirt/qemu
-for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh shutdown $host ; done; sleep 20;
-for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh destroy $host ; done
-</code>
-Arrêter DRBD :
-<code>
-umount /var/lib/libvirt/coon
-drbdadm disconnect maine
-drbdadm secondary coon
-drbdadm disconnect coon
-</code>
-Redémarrer :
 <code>
 reboot
@@ Ligne 128: / Ligne 114: @@
-===== Remise en marche de Coon =====
+===== Remise en marche de Korat =====
 Attendre que le système ait fini de démarrer (état à //running//) :
@@ Ligne 135: / Ligne 121: @@
 </code>
-Démarrer DRBD :
+Démarrer les VM (⚠️ne pas redémarrer la VM ''template''⚠️):
 <code>
-drbdadm primary coon
+virsh list --state-shutoff --name  | grep -v template | xargs -I{} virsh start {}; watch virsh list
-mount /var/lib/libvirt/coon
 </code>
-Démarrer les VM :
-<code>
-cd /etc/libvirt/qemu
-for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh start $host ; done
-</code>
-Ne pas s'inquiéter : seuls les machines de coon vont démarrer ; sauf si /var/lib/libvirt/maine est monté, mais ce ne serait pas normal.
 ==== Lister les VM actives ====
@@ Ligne 171: / Ligne 148: @@
 Si un problème subsiste alors les sondes devraient le faire apparaître dans Icinga.
 Vérifier que les alertes actives sont acceptables.
 ==== Clôturer l'action de maintenance status.chapril.org ====