Outils pour utilisateurs

Outils du site


admin:procedures:redemarrer-coon

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
admin:procedures:redemarrer-coon [2017/10/09 10:22]
admin [Remise en marche de Coon]
admin:procedures:redemarrer-coon [2020/07/26 03:03] (Version actuelle)
cpm [Actions préalables]
Ligne 1: Ligne 1:
 ====== Rebooter Coon ====== ====== Rebooter Coon ======
 +
 +===== Actions préalables =====
 +
 +==== Vérifier si un fsck va être déclencher ====
 +
 +Une vérification de disque peut rallonger énormément la durée du redémarrage. Vérifier :
 +<​code>​
 +df | awk '/​^\/​dev/​ {print $1}' | xargs -I {} sh -c 'echo {}; tune2fs -l {}' | awk '/​^\/​dev/​ {print $1} /​^Filesystem state/ {print $3, " ",​$4}'​
 +</​code>​
 +
 +==== Prévenir les usagers ====
 +
 +=== Sur status.chapril.org ===
 +
 +Ouvrir une action de maintenance sur https://​status.chapril.org/​.
 +
 +=== Sur chapril@april.org ===
 +
 +Envoyer un courriel aux listes :
 +<​code>​
 +From: François Poulain <​fpoulain@metrodore.fr>​
 +To: chapril@april.org
 +Subject: [Chapril] Reboot du cluster
 +Date: Sun, 4 Mar 2018 15:25:18 +0100
 +Reply-To: chapril@april.org
 +Sender: chapril-request@april.org
 +X-Mailer: Claws Mail 3.11.1 (GTK+ 2.24.25; x86_64-pc-linux-gnu)
 +
 +Coucou,
 +
 +Je vais rebooter le cluster pour tenir compte du dernier upgrade
 +noyal de sécurité.
 +
 +François
 +
 +-- 
 +François Poulain <​fpoulain@metrodore.fr>​
 +</​code>​
 +
 +=== Sur les machines ===
 +
 +Vérifier qui est présent sur les vm :
 +<​code>​
 +cluster_guests='​admin bastion dns drop lamp libreoffice mail pad pouet sympa valise xmpp'
 +for guest in $cluster_guests ;
 +do
 +    echo "===== $guest ====="
 +    cmd='​for i in $(ps auxwww|grep "​\-bash"​ | awk '​\''​{ print $2 }'​\''​ ); do cat "/​proc/​$i/​environ"​ ; done 2>/​dev/​null |strings |grep GIT_AUTHOR_NAME | sort | uniq'
 +    ssh root@$guest.cluster.chapril.org "​$cmd"​
 +done
 +
 +</​code>​
 +
 +Pour le cas où un animateur travaillerait sur sa vm sans avoir vu ni le courriel ni status.chapril.org,​ envoyer un avertissement sur chaque machine.
 +<​code>​
 +./do.sh "wall '​Bonjour. Reboot SI Chapril à 13h15. Cpm.'"​
 +</​code>​
 +==== Couper le monitoring ====
 +
 +  * Mettre les hosts concernés en downtime
 +  * Propager les downtimes en questions sur les services des hosts.
 +
 +==== Lister les VM actives ====
 +Noter la liste des VM actives pour comparer avec après le redémarrage.
 +<​code>​
 +# virsh list
 +</​code>​
  
 ===== Arrêt de Coon ===== ===== Arrêt de Coon =====
Ligne 5: Ligne 72:
 Coon est lié à Maine par DBRD, il y a donc une procédure à suivre pour rebooter proprement. Coon est lié à Maine par DBRD, il y a donc une procédure à suivre pour rebooter proprement.
  
 +Arrêter les VM :
 <​code>​ <​code>​
 cd /​etc/​libvirt/​qemu cd /​etc/​libvirt/​qemu
 +for host in $(ls *xml | sed -e '​s/​.xml//​g'​) ; do virsh shutdown $host ; done; sleep 20;
 for host in $(ls *xml | sed -e '​s/​.xml//​g'​) ; do virsh destroy $host ; done for host in $(ls *xml | sed -e '​s/​.xml//​g'​) ; do virsh destroy $host ; done
 +
 +ou bien :
 +
 +cd /​etc/​libvirt/​qemu
 +for host in $(ls *xml | sed -e '​s/​.xml//​g'​) ; do virsh shutdown $host ; done; watch virsh list
 </​code>​ </​code>​
  
 +Arrêter DRBD :
 <​code>​ <​code>​
 umount /​var/​lib/​libvirt/​coon umount /​var/​lib/​libvirt/​coon
Ligne 16: Ligne 90:
 drbdadm secondary coon drbdadm secondary coon
 drbdadm disconnect coon drbdadm disconnect coon
 +</​code>​
  
 +Redémarrer :
 +<​code>​
 reboot reboot
 </​code>​ </​code>​
  
  
-==== Remise en marche de Coon ====+===== Remise en marche de Coon =====
  
 +Attendre que le système ait fini de démarrer (état à //​running//​) :
 +<​code>​
 +watch "​systemctl status | grep State | head -1"
 +</​code>​
 +
 +Démarrer DRBD :
 <​code>​ <​code>​
 drbdadm primary coon drbdadm primary coon
 mount /​var/​lib/​libvirt/​coon mount /​var/​lib/​libvirt/​coon
 +</​code>​
 +
 +Démarrer les VM :
 +<​code>​
 cd /​etc/​libvirt/​qemu cd /​etc/​libvirt/​qemu
 for host in $(ls *xml | sed -e '​s/​.xml//​g'​| grep -v modele) ; do virsh start $host ; done for host in $(ls *xml | sed -e '​s/​.xml//​g'​| grep -v modele) ; do virsh start $host ; done
 </​code>​ </​code>​
 +
 +Ne pas s'​inquiéter : seuls les machines de coon vont démarrer ; sauf si /​var/​lib/​libvirt/​maine est monté, mais ce ne serait pas normal. ​
 +==== Lister les VM actives ====
 +
 +  virsh list
 +
 +Et comparer à la liste avant reboot.
admin/procedures/redemarrer-coon.1507537336.txt.gz · Dernière modification: 2017/10/09 10:22 par admin