Outils pour utilisateurs

Outils du site


admin:procedures:redemarrer-maine

Rebooter Maine

Actions préalables

Vérifier si un fsck va être déclencher

Une vérification de disque peut rallonger énormément la durée du redémarrage. Vérifier :

df | awk '/^\/dev/ {print $1}' | xargs -I {} sh -c 'echo {}; tune2fs -l {}' | awk '/^\/dev/ {print $1} /^Filesystem state/ {print $3, " ",$4}'

Prévenir les usagers

Sur status.chapril.org

Ouvrir une action de maintenance sur https://status.chapril.org/.

Sur chapril@april.org

Envoyer un courriel aux listes :

From: François Poulain <fpoulain@metrodore.fr>
To: chapril@april.org
Subject: [Chapril] Reboot du cluster
Date: Sun, 4 Mar 2018 15:25:18 +0100
Reply-To: chapril@april.org
Sender: chapril-request@april.org
X-Mailer: Claws Mail 3.11.1 (GTK+ 2.24.25; x86_64-pc-linux-gnu)

Coucou,

Je vais rebooter le cluster pour tenir compte du dernier upgrade
noyal de sécurité.

François

-- 
François Poulain <fpoulain@metrodore.fr>

Sur les machines

Vérifier qui est présent sur les vm :

cluster_guests='admin bastion dns drop lamp libreoffice mail pad pouet sympa valise xmpp allo'
for guest in $cluster_guests ;
do
    echo "===== $guest ====="
    cmd='for i in $(ps auxwww|grep "\-bash" | awk '\''{ print $2 }'\'' ); do cat "/proc/$i/environ" ; done 2>/dev/null |strings |grep GIT_AUTHOR_NAME | sort | uniq'
    ssh root@$guest.cluster.chapril.org "$cmd"
done

Pour le cas où un animateur travaillerait sur sa vm sans avoir vu ni le courriel ni status.chapril.org, envoyer un avertissement sur chaque machine.

./do.sh "wall 'Bonjour. Reboot SI Chapril à 13h15. Cpm.'"

Couper le monitoring

  • Mettre les hosts concernés en downtime
  • Propager les downtimes en questions sur les services des hosts.

Lister les VM actives

Noter la liste des VM actives pour comparer avec après le redémarrage.

# virsh list

Arrêt de Maine

Maine est lié à Coon par DBRD, il y a donc une procédure à suivre pour rebooter proprement.

Arrêter les VM :

cd /etc/libvirt/qemu
for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh shutdown $host ; done; sleep 20;
for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh destroy $host ; done

ou bien :

cd /etc/libvirt/qemu
for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh shutdown $host ; done; watch virsh list

Arrêter DRBD :

umount /var/lib/libvirt/maine
drbdadm disconnect coon
drbdadm secondary maine
drbdadm disconnect maine

Redémarrer :

reboot

Remise en marche de Maine

Attendre que le système ait fini de démarrer (état à running) :

watch "systemctl status | grep State | head -1"

Démarrer DRBD :

drbdadm primary maine
mount /var/lib/libvirt/maine

Démarrer les VM :

cd /etc/libvirt/qemu
for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh start $host ; done

Ne pas s'inquiéter : seuls les machines de maine vont démarrer ; sauf si /var/lib/libvirt/coon est monté, mais ce ne serait pas normal.

Lister les VM actives

virsh list

Et comparer à la liste avant reboot.

admin/procedures/redemarrer-maine.txt · Dernière modification: 2020/07/25 18:15 par cpm