admin:procedures:redemarrer-persan
Différences
Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentesRévision précédente | Prochaine révisionLes deux révisions suivantes | ||
admin:procedures:redemarrer-maine [2023/08/15 19:39] – [Prévenir les usagers] ajout pouet (maine) pilou | admin:procedures:redemarrer-persan [2024/03/10 02:22] – supprimée - modification externe (Unknown date) 127.0.0.1 | ||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
- | ====== Rebooter Maine ====== | ||
- | ===== Actions préalables ===== | ||
- | |||
- | ==== Vérifier si un fsck va être déclencher ==== | ||
- | |||
- | Une vérification de disque peut rallonger énormément la durée du redémarrage. Vérifier : | ||
- | < | ||
- | df | awk '/ | ||
- | </ | ||
- | |||
- | |||
- | ==== Prévenir les usagers ==== | ||
- | |||
- | === Sur status.chapril.org === | ||
- | |||
- | Ouvrir une action de maintenance sur https:// | ||
- | * utiliser le modèle '' | ||
- | * renseigner '' | ||
- | * ne pas remplir '' | ||
- | * cocher '' | ||
- | |||
- | === Sur chapril@april.org === | ||
- | |||
- | Envoyer un courriel aux listes : | ||
- | < | ||
- | From: François Poulain < | ||
- | To: chapril@april.org | ||
- | Subject: [Chapril] Reboot du cluster | ||
- | Date: Sun, 4 Mar 2018 15:25:18 +0100 | ||
- | Reply-To: chapril@april.org | ||
- | Sender: chapril-request@april.org | ||
- | X-Mailer: Claws Mail 3.11.1 (GTK+ 2.24.25; x86_64-pc-linux-gnu) | ||
- | |||
- | Coucou, | ||
- | |||
- | Je vais rebooter le cluster pour tenir compte du dernier upgrade | ||
- | noyal de sécurité. | ||
- | |||
- | François | ||
- | |||
- | -- | ||
- | François Poulain < | ||
- | </ | ||
- | |||
- | === Sur XMPP chapril.org (commande à lancer sur xmpp.cluster.chapril.org) (Brouillon)=== | ||
- | |||
- | <note important> | ||
- | |||
- | Avertir les usagers du service XMPP de l' | ||
- | |||
- | < | ||
- | xmpp_send_server_notice_all " | ||
- | </ | ||
- | |||
- | === Sur pouet.chapril.org === | ||
- | |||
- | À l'aide du compte https:// | ||
- | |||
- | < | ||
- | Nous allons redémarrer les serveurs de notre Chapril https:// | ||
- | |||
- | L' | ||
- | </ | ||
- | |||
- | === Sur les machines === | ||
- | |||
- | Vérifier qui est présent sur les vm : | ||
- | < | ||
- | cluster_guests=' | ||
- | for guest in $cluster_guests ; | ||
- | do | ||
- | echo "===== $guest =====" | ||
- | cmd=' | ||
- | ssh root@$guest.cluster.chapril.org " | ||
- | done | ||
- | |||
- | </ | ||
- | |||
- | Pour le cas où un animateur travaillerait sur sa VM sans avoir vu ni le courriel ni https:// | ||
- | < | ||
- | ./do.sh "wall ' | ||
- | </ | ||
- | ==== Couper le monitoring ==== | ||
- | |||
- | * Mettre les hosts concernés en downtime | ||
- | * Propager les downtimes en questions sur les services des hosts. | ||
- | |||
- | Le script suivant peut être utilisé pour couper le monitoring sur les hôtes et propager les downtimes sur les services hébergés. Les identifiants sont définis dans le fichier ''/ | ||
- | < | ||
- | curl -k -s -S -i -u ${ICINGA_USER}: | ||
- | -X POST ' | ||
- | -d "$(jo -p \ | ||
- | pretty=true \ | ||
- | type=Host \ | ||
- | filter=" | ||
- | all_services=true \ | ||
- | author=" | ||
- | comment=" | ||
- | fixed=true \ | ||
- | start_time=$(date +%s -d "+0 hour") \ | ||
- | end_time=$(date +%s -d "+1 hour" | ||
- | </ | ||
- | ==== Lister les VM actives ==== | ||
- | Noter la liste des VM actives pour comparer avec après le redémarrage. | ||
- | < | ||
- | # virsh list | ||
- | </ | ||
- | |||
- | ===== Arrêt de Maine ===== | ||
- | |||
- | Maine est lié à Coon par DBRD, il y a donc une procédure à suivre pour rebooter proprement. | ||
- | |||
- | Arrêter les VM : | ||
- | < | ||
- | cd / | ||
- | for host in $(ls *xml | sed -e ' | ||
- | </ | ||
- | |||
- | ou bien : | ||
- | |||
- | < | ||
- | cd / | ||
- | for host in $(ls *xml | sed -e ' | ||
- | for host in $(ls *xml | sed -e ' | ||
- | </ | ||
- | |||
- | Arrêter DRBD : | ||
- | < | ||
- | umount / | ||
- | drbdadm disconnect coon | ||
- | drbdadm secondary maine | ||
- | drbdadm disconnect maine | ||
- | </ | ||
- | |||
- | Redémarrer : | ||
- | < | ||
- | reboot | ||
- | </ | ||
- | |||
- | |||
- | ===== Remise en marche de Maine ===== | ||
- | |||
- | Attendre que le système ait fini de démarrer (état à // | ||
- | < | ||
- | watch " | ||
- | </ | ||
- | |||
- | Démarrer DRBD : | ||
- | < | ||
- | drbdadm primary maine | ||
- | mount / | ||
- | </ | ||
- | |||
- | Démarrer les VM : | ||
- | < | ||
- | cd / | ||
- | for host in $(ls *xml | sed -e ' | ||
- | </ | ||
- | Ne pas s' | ||
- | ==== Lister les VM actives ==== | ||
- | |||
- | virsh list | ||
- | |||
- | Et comparer à la liste avant reboot. | ||
- | |||
- | ==== Vérifier le bon démarrage des vm ==== | ||
- | |||
- | Parfois les vm démarre mais en statut « degraded ». Il convient de vérifier par un : | ||
- | < | ||
- | ./do.sh " | ||
- | </ | ||
- | |||
- | Et pour les vm n' | ||
- | faire la commande suivante pour identifier le service en souffrance : | ||
- | < | ||
- | systemctl list-units | ||
- | </ | ||
- | |||
- | ==== Vérifier les sondes dans Icinga ==== | ||
- | |||
- | Si un problème subsiste alors les sondes devraient le faire apparaître dans Icinga. | ||
- | Vérifier que les alertes actives sont acceptables. | ||
- | |||
- | ==== Clôturer l' | ||
- | |||
- | Éditer l' | ||
- | * Status : sélectionner '' | ||
- | * When did this maintenance complete? : mettre la date et horaire de fin. | ||
- | |||
- | ==== Envoyer un message sur XMPP Chapril ==== | ||
- | |||
- | < | ||
- | xmpp_send_server_notice_all " | ||
- | </ |
admin/procedures/redemarrer-persan.txt · Dernière modification : 2024/03/10 02:22 de pilou