Outils pour utilisateurs

Outils du site


admin:procedures:basculer_cluster

Ceci est une ancienne révision du document !


Basculer le cluster d'un noeud à l'autre

Avant d'effectuer une telle manipulation, relire la page d'architecture du cluster pour être sûr de comprendre l'architecture en place.

Arrêt propre d'un hyperviseur

Suivre les procédures de redémarrage (redemarrer-maine ou redemarrer-coon) en s'arrêtant à la partie reboot. Au lieu de redémarrer le serveur, passez-le en mode rescue dans la console Hetzner.

Basculer de maine à coon

Arrêter maine le cas échéant.

Basculer la FIP vers coon, soit par la console Hetzner soit par le script suivant:

curl -u LOGIN https://robot-ws.your-server.de/failover/88.99.233.240 \
     -d active_server_ip=94.130.8.3

LOGIN étant l'identifiant de Hetzner, le mot de passe sera demandé en interactif (voir la procédure concernant Pass). Le serveur met plusieurs secondes à répondre.

Sur coon, ajouter les IP virtuelles:

ip addr add  88.99.233.240/32 dev enp0s31f6
ip addr add  192.168.1.254/32 dev virbr0
ip route replace 94.130.8.1 dev enp0s31f6 proto kernel scope link src 88.99.233.240
ip route replace default via 94.130.8.1 dev enp0s31f6 src 88.99.233.240

Toujours sur coon, éditer /etc/firehol/firehol.conf et décommenter la ligne “fip=” et lancer un firehol start

Vérifier l'état de drbd:

# drbd-overview 
 0:maine/0  Connected Secondary/Primary UpToDate/UpToDate 
 1:coon/0   Connected Primary/Secondary UpToDate/UpToDate /var/lib/libvirt/coon ext4 1007G 48G 909G 5%

Le partage maine doit être en secondary. Si maine est en panne, l'état est Secondary/Unknown. Sinon, il doit être Secondary/Primary.

Passer le partage maine en primaire:

# drbdadm primary maine
# drbd-overview 
 0:maine/0  Connected Primary/Secondary UpToDate/UpToDate /var/lib/libvirt/maine ext4 1007G 48G 909G 5%
 1:coon/0   Connected Primary/Secondary UpToDate/UpToDate /var/lib/libvirt/coon ext4 1007G 48G 909G 5%

Si on est en Primary, effectuer le montage:

# mount /var/lib/libvirt/maine

Régler les hooks pour l'IPv6 sur coon :

cd /etc/libvirt/hooks
# Nettoyage des règles ipv6 avant bascule :
/etc/libvirt/hooks/network default stopped end 
# Changement de script network
ln -sf /etc/libvirt/hooks/network-only-coon-running network

Puis activer les VM:

# cd /etc/libvirt/qemu
# for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh start $host ; done

Note: cette boucle for doit être faite pour toutes les VM à basculer.

Aller sur dns.cluster.chapril.org et inverser les enregistrements AAAA nécessaires (voir commentaires dans la zone chapril.org et chapril.org-int) pour potentiellement mail.chapril.org chapril.org et fip.chapril.org

Ne pas oublier d'incrémenter le serial et de lancer un rndc reload.

Retour à la normale

Sur coon:

# for host in admin bastion pouet ... ; do virsh shutdown $host ; done; sleep 20;
# for host in admin bastion pouet ... ; do virsh destroy $host ; done

Redémarrer maine par la console Hetzner (ça peut prendre 2mn).

Sur coon:

# umount /var/lib/libvirt/maine

Sur maine:

# drbd-overview 
 0:maine/0  Connected Secondary/Primary UpToDate/UpToDate
 1:coon/0   Connected Secondary/Primary UpToDate/UpToDate

On doit être en Secondary/Primary pour le partage maine. Sur coon, passer le partage maine en secondaire et supprimer les interfaces de FIP:

# drbdadm secondary maine
# ip addr del  88.99.233.240/32 dev enp0s31f6
# ip addr del  192.168.1.254/32 dev virbr0
# ip route replace default via 94.130.8.1 dev enp0s31f6 src 94.130.8.3
# ip route replace 94.130.8.1 dev enp0s31f6 proto kernel scope link src 94.130.8.3

Sur coon, recommenter la ligne fip= dans /etc/firehol/firehol.conf et lancer firehol start

cd /etc/libvirt/hooks
ln -sf /etc/libvirt/hooks/network-maine-coon-running network
/etc/libvirt/hooks/network default started begin

Sur maine, passer le partage en primaire, le monter et remettre les interfaces FIP en ligne:

# drbdadm primary maine
# mount /var/lib/libvirt/maine
# cd /etc/libvirt/qemu
# for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh start $host ; done

Basculer la FIP à nouveau sur maine:

curl -u LOGIN https://robot-ws.your-server.de/failover/88.99.233.240 \
     -d active_server_ip=94.130.8.2

Aller sur dns.cluster.chapril.org et inverser les enregistrements AAAA nécessaires (voir commentaires dans la zone chapril.org et chapril.org-int) pour potentiellement mail.chapril.org chapril.org et fip.chapril.org

Ne pas oublier d'incrémenter le serial et de lancer un rndc reload.

Arrêt propre d'un hyperviseur

Suivre les procédures de redémarrage (redemarrer-maine ou redemarrer-coon) en s'arrêtant à la partie reboot ici remplacé par halt.

Basculer de coon à maine

Arrêter coon le cas échéant (voir début de cette page).

En théorie, la bascule et l'ajout de la FIP n'est pas nécessaire car maine possède par défaut la FIP.

Vérifier sur maine l'état de drbd:

# drbd-overview 
 0:maine/0  Connected Primary/Secondary UpToDate/UpToDate /var/lib/libvirt/maine ext4 1007G 63G 893G 7% 
 1:coon/0   Connected Secondary/Primary UpToDate/UpToDate

Le partage coon doit être en secondary. Si coon est en panne, l'état est Secondary/Unknown. Sinon, il doit être Secondary/Primary.

Passer le partage coon en primaire:

# drbdadm primary coon
# drbd-overview 
 0:maine/0  Connected Primary/Secondary UpToDate/UpToDate /var/lib/libvirt/maine ext4 1007G 63G 893G 7% 
 1:coon/0   Connected Primary/Secondary UpToDate/UpToDate /var/lib/libvirt/maine ext4 1007G 63G 893G 7% 

Si on est en Primary, effectuer le montage:

# mount /var/lib/libvirt/coon
cd /etc/libvirt/hooks
/etc/libvirt/hooks/network default stopped begin
ln -sf /etc/libvirt/hooks/network-only-maine-running network

Puis activer les VM:

# cd /etc/libvirt/qemu
# for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh start $host ; done

Note: cette boucle for doit être faite pour toutes les VM à basculer.

Aller sur dns.cluster.chapril.org et inverser les enregistrements AAAA nécessaires (voir commentaires dans la zone chapril.org et chapril.org-int) pour potentiellement mail.chapril.org chapril.org et fip.chapril.org

Ne pas oublier d'incrémenter le serial et de lancer un rndc reload.

Retour à la normale

Sur maine:

# for host in dns lamp mail sympa ... ; do virsh shutdown $host ; done; sleep 20;
# for host in dns lamp mail sympa ... ; do virsh destroy $host ; done

Redémarrer coon par la console Hetzner (ça peut prendre 2mn).

Sur maine

# umount /var/lib/libvirt/coon

Sur coon:

# drbd-overview 
 0:maine/0  Connected Secondary/Primary UpToDate/UpToDate 
 1:coon/0   Connected Secondary/Primary UpToDate/UpToDate

Attendre que ce soit UpToDate, il est possible qu'il synchronise

On doit être en Secondary/Primary pour le partage coon. Sur maine, passer le partage coon en secondaire:

# drbdadm secondary coon
cd /etc/libvirt/hooks
ln -sf /etc/libvirt/hooks/network-maine-coon-running network
/etc/libvirt/hooks/network default started begin

Sur coon, passer le partage en primaire, le monter et remettre l'interfaces FIP en ligne:

# drbdadm primary coon
# mount /var/lib/libvirt/coon
# for machine in adl ... ; do virsh start $machine ; done

Aller sur dns.cluster.chapril.org et inverser les enregistrements AAAA nécessaires (voir commentaires dans la zone chapril.org et chapril.org-int) pour potentiellement mail.chapril.org chapril.org et fip.chapril.org

Ne pas oublier d'incrémenter le serial et de lancer un rndc reload.

admin/procedures/basculer_cluster.1525617474.txt.gz · Dernière modification : 2018/05/06 14:37 de qgibeaux