Outils pour utilisateurs

Outils du site


admin:procedures:basculer_cluster

Ceci est une ancienne révision du document !


Basculer le cluster d'un noeud à l'autre

Avant d'effectuer une telle manipulation, relire la page d'architecture du cluster pour être sûr de comprendre l'architecture en place.

Arrêt propre d'un hyperviseur

Arrêter les guests par virt-manager ou virsh. Par exemple pour arrêter virola:

cd /etc/libvirt/qemu
for host in $(ls *xml | sed -e 's/.xml//g') ; do virsh destroy $host ; done

Déconnecter les volumes DRBD:

umount /var/lib/libvirt/virola
drbdadm disconnect calamus
drbdadm secondary virola
drbdadm disconnect virola

Puis enfin, arrêter la machine.

Basculer de maine à coon

Arrêter maine le cas échéant.

Basculer la FIP vers coon, soit par la console Hetzner soit par le script suivant:

curl -u LOGIN:PASSWORD https://robot-ws.your-server.de/failover/88.99.233.240 \
     -d active_server_ip=94.130.8.3

LOGIN et PASSWORD étant les identifiants de Hetzner (voir la procédure concernant Pass).

Sur coon, ajouter les IP virtuelles:

ip addr add  88.99.233.240/32 dev enp0s31f6
ip route replace default via 94.130.8.1 dev enp0s31f6 src 88.99.233.240
ip route replace 94.130.8.1 dev enp0s31f6 proto kernel scope link src 88.99.233.240

Vérifier l'état de drbd:

# cat /proc/drbd
  version: 8.4.3 (api:1/proto:86-101)
  srcversion: 1A9F77B1CA5FF92235C2213 
   0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----
      ns:5074552 nr:13482320 dw:563214048 dr:5241965 al:35 bm:32386 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
   1: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
      ns:524873904 nr:0 dw:8347412 dr:516529269 al:2162 bm:32000 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

Le partage maine doit être en secondary. Si maine est en panne, l'état est Secondary/Unknown. Sinon, il doit être Secondary/Primary.

Passer le partage maine en primaire:

# drbdadm primary maine
# cat /proc/drbd
   version: 8.4.3 (api:1/proto:86-101)
   srcversion: 1A9F77B1CA5FF92235C2213 
    0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
       ns:5074552 nr:13482320 dw:563214048 dr:5242877 al:35 bm:32386 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
    1: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
       ns:524873904 nr:0 dw:8347412 dr:516529269 al:2162 bm:32000 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

Si on est en Primary, effectuer le montage:

# mount /var/lib/libvirt/maine

Puis activer les VM:

# cd /etc/libvirt/qemu
# for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh start $host ; done

Note: cette boucle for doit être faite pour toutes les VM à basculer.

Retour à la normale

Sur coon:

# for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh shutdown $host ; done

Redémarrer maine par la console Hetzner (ça peut prendre 2mn).

Sur coon:

# umount /var/lib/libvirt/maine

Sur maine:

# cat /proc/drbd 
  version: 8.4.3 (api:1/proto:86-101)
  srcversion: 1A9F77B1CA5FF92235C2213 
   0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
      ns:0 nr:5066780 dw:5066780 dr:0 al:0 bm:407 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
   1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
      ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

On doit être en Secondary/Primary pour le partage maine. Sur coon, passer le partage maine en secondaire et supprimer les interfaces de FIP:

# drbdadm secondary maine
# ip addr del  88.99.233.240/32 dev enp0s31f6
# ip route replace default via 94.130.8.1 dev enp0s31f6 src 94.130.8.2
# ip route replace 94.130.8.1 dev enp0s31f6 proto kernel scope link src 94.130.8.2

Sur maine, passer le partage en primaire, le monter et remettre les interfaces FIP en ligne:

# drbdadm primary maine
# umount /var/lib/libvirt/maine
# for host in $(ls *xml | sed -e 's/.xml//g'| grep -v modele) ; do virsh shutdown $host ; done

Basculer la VIP à nouveau sur virola:

curl -u LOGIN:PASSWORD https://robot-ws.your-server.de/failover/88.99.233.240 \
     -d active_server_ip=94.130.8.2

Basculer de calamus à virola

Arrêter calamus le cas échéant (voir début de cette page).

En théorie, la bascule et l'ajout des VIP n'est pas nécessaire car virola possède par défaut les VIP.

Vérifier sur virola l'état de drbd:

# cat /proc/drbd
version: 8.4.3 (api:1/proto:86-101)
srcversion: 1A9F77B1CA5FF92235C2213 
 0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
    ns:574528 nr:5066780 dw:5646932 dr:2439761 al:168 bm:407 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:3960
 1: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----
    ns:0 nr:4950536 dw:4950536 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

Le partage 1 (calamus) doit être en secondary. Si calamus est en panne, l'état est Secondary/Unknown. Sinon, il doit être Secondary/Primary.

Passer le partage calamus en primaire:

# drbdadm primary calamus
# cat /proc/drbd
version: 8.4.3 (api:1/proto:86-101)
srcversion: 1A9F77B1CA5FF92235C2213 
 0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
    ns:574528 nr:5066780 dw:5647340 dr:2439761 al:168 bm:407 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:4248
 1: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
    ns:0 nr:4950536 dw:4950536 dr:912 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

Si on est en Primary, effectuer le montage:

# mount /dev/drbd1

Puis activer les VM:

# cd /etc/libvirt/qemu
# for machine in adl ...
do
  virsh define $machine.xml
  virsh start $machine
done

Note: cette boucle for doit être faite pour toutes les VM à basculer.

Retour à la normale

Sur virola:

# for machine in adl ... ; do virsh shutdown $machine ; done

Redémarrer calamus par la console Online (ça peut prendre 2mn).

Sur virola:

# umount /dev/drbd1

Sur calamus:

# cat /proc/drbd 
  version: 8.4.3 (api:1/proto:86-101)
  srcversion: 1A9F77B1CA5FF92235C2213 
   0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
      ns:0 nr:5066780 dw:5066780 dr:0 al:0 bm:407 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
   1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
      ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

On doit être en Secondary/Primary pour le partage 1. Sur virola, passer le partage calamus en secondaire:

# drbdadm secondary calamus

Sur calamus, passer le partage en primaire, le monter et remettre les interfaces VIP en ligne:

# drbdadm primary calamus
# mount /dev/drbd1
# for machine in adl ... ; do virsh start $machine ; done

Et si la VM bastion a été migrée, se rendre sur galanga et relancer le VPN:

# /etc/init.d/openvpn restart

Autres procédures DRBD

admin/procedures/basculer_cluster.1525526341.txt.gz · Dernière modification : 2018/05/05 13:19 de rh