Différences

Ci-dessous, les différences entre deux révisions de la page.

--- admin:services:forge.chapril.org [2023/08/14 00:01] – pilou
+++ admin:services:forge.chapril.org [2025/11/08 23:30] (Version actuelle) – jeff
@@ Ligne 2: / Ligne 2: @@
 <note tip>Cette version est adaptée de [[https://admin.april.org/doku.php?id=sysadm:services:forge.april.org | celle du SI April]].</note>
+===== Introduction =====
+Cette documentation explique comment installer un service, en l’occurrence la forge, sur une nouvelle machine virtuelle de l'infrastructure du Chapril. Ce service fait parti d'un ensemble de services du Chapril, une partie de sa mise en place est donc similaire aux autres services. Même si l'ensemble de la procédure est traitée, c'est la partie plus spécifique à ce service qui sera la plus détaillée. Par exemple, la création d'une machine virtuelle renvoie sur une autre page et n'est pas détaillée ici. Cette documentation est technique mais se veut accessible avec de bonnes connaissances notamment en ce qui concerne la ligne de commande, elle est suivie d'une documentation concernant l'utilisation, la modération et l'animation.
+Ce service de forge est basé sur Gitea, distribué sous licence MIT.
+Les forges sont publics ou privés au choix.
 ===== Installation =====
@@ Ligne 360: / Ligne 368: @@
 chmod g=r /etc/gitea/gitea.ini
 </code>
-==== Paramétrage complémentaire ====
+===== Paramétrages complémentaires =====
 Dans la page ''https://docs.gitea.io/en-us/config-cheat-sheet/'', des paramétrages affinés sont trouvables à faire dans ''/etc/gitea/gitea.ini''.
+==== section par défaut ===
+<code>
+APP_NAME = La forge Chapril
+RUN_USER = gitea
+RUN_MODE = prod
+WORK_PATH = /srv/gitea
+</code>
+==== base de données ====
+<code>
+[database]
+DB_TYPE  = postgres
+HOST     = /run/postgresql
+NAME     = giteadb
+USER     = giteadbadmin
+PASSWD   = [REDACTED]
+SCHEMA   =
+SSL_MODE = disable
+CHARSET  = utf8
+</code>
+==== Désactivation des appels aux services externes ====
+<code>
+[picture]
+DISABLE_GRAVATAR        = true
+ENABLE_FEDERATED_AVATAR = false
+[openid]
+ENABLE_OPENID_SIGNIN = false
+ENABLE_OPENID_SIGNUP = false
+</code>
@@ Ligne 379: / Ligne 422: @@
 <code>
 [repository]
+ROOT = /srv/gitea/repositories
 PREFERRED_LICENSES=AGPL-3.0-or-later,GPL-3.0-or-later,CC-BY-SA-4.0
 </code>
+==== lfs ====
+<code>
+[lfs]
+PATH = /srv/gitea/data/lfs
+</code>
 ==== Taille maximale de téléversement ====
@@ Ligne 426: / Ligne 476: @@
 ENABLED = false
 </code>
+===== Activer le flux SSH =====
+Pour git clone/push/pull, il est bien pratique de passer par ssh.
+Sauf qu'en ipv4, le port 22 est déjà redirigé vers la vm bastion qui proxifie les accès SSH aux vm.
+Du coup, choix architectural d'utiliser un port dédié à la forge :
+<code>
+user ---> vip:222 --nat-ipv4-> grof:222
+</code>
+Configuration dans ''/etc/gitea/gitea.ini'' :
+<code>
+SSH_PORT         = 222
+</code>
+Configuration dédiée de firehol :
+<code>
+=(^-^)=root@grof:/etc/firehol# cat services/gitea.conf
+#FHVER: 1:213
+# La premiere ligne ci dessus est nécessaire !!
+server_gitea_ports="tcp/222"
+client_gitea_ports="default"
+=(^-^)=root@grof:/etc/firehol# grep gitea firehol-ext2me.conf
+    server gitea accept
+</code>
+Gestion du port 222 par ssh :
+<code>
+diff --git a/ssh/sshd_config b/ssh/sshd_config
+-#Port 22
++Port 22
++Port 222
+</code>
+Pour rappel, dans ''/etc/ssh/sshd_config'', est configuré ''AuthorizedKeysFile      /etc/ssh/authorized_keys/%u''. Afin que le fichier ''/srv/gitea/.ssh/authorized_keys'' soit pris en compte, il faut faire un lien :
+<code>
+ln -s /srv/gitea/.ssh/authorized_keys /etc/ssh/authorized_keys/gitea
+</code>
+Redirection du port 222 depuis vip vers le port 22 de la vm grof :
+<code>
+TODO
+</code>
 ===== Personnalisation =====
@@ Ligne 612: / Ligne 709: @@
 </html>
 </code>
-===== Activer le flux SSH =====
-Pour git clone/push/pull, il est bien pratique de passer par ssh.
-Sauf qu'en ipv4, le port 22 est déjà redirigé vers la vm bastion qui proxifie les accès SSH aux vm.
-Du coup, choix architectural d'utiliser un port dédié à la forge :
-<code>
-user ---> vip:222 --nat-ipv4-> grof:222
-</code>
-Configuration dans ''/etc/gitea/gitea.ini'' :
-<code>
-SSH_PORT         = 222
-</code>
-Configuration dédiée de firehol :
-<code>
-=(^-^)=root@grof:/etc/firehol# cat services/gitea.conf
-#FHVER: 1:213
-# La premiere ligne ci dessus est nécessaire !!
-server_gitea_ports="tcp/222"
-client_gitea_ports="default"
-=(^-^)=root@grof:/etc/firehol# grep gitea firehol-ext2me.conf
-    server gitea accept
-</code>
-Gestion du port 222 par ssh :
-<code>
-diff --git a/ssh/sshd_config b/ssh/sshd_config
--#Port 22
-+Port 22
-+Port 222
-</code>
-Pour rappel, dans ''/etc/ssh/sshd_config'', est configuré ''AuthorizedKeysFile      /etc/ssh/authorized_keys/%u''. Afin que le fichier ''/srv/gitea/.ssh/authorized_keys'' soit pris en compte, il faut faire un lien :
-<code>
-ln -s /srv/gitea/.ssh/authorized_keys /etc/ssh/authorized_keys/gitea
-</code>
-Redirection du port 222 depuis vip vers le port 22 de la vm grof :
-<code>
-TODO
-</code>
 ===== Première utilisation =====
@@ Ligne 673: / Ligne 726: @@
 Ajouter une mise à jour planifiée sur https://status.chapril.org/dashboard/schedule en utilisant le modèle prévu à cet effet.
+Avant mise à jour, il est nécessaire de vérifier l'espace disque de la machine.
 Donc la procédure de mise à jour peut consister, en utilisant un multiplexeur de terminal, à :
-  * définir dans une variable le numéro de la nouvelle version :<code bash>
+  * définir dans une variable le numéro de la nouvelle version que l'on souhaite installer :<code bash>
 export VERSION=1.X.Y
 </code>
+  * verifier l'existance d'une nouvelle version :<code bash>
+/srv/forge.chapril.org/tools/upgrade.sh verify
+</code>
   * Lancer [[https://forge.april.org/Chapril/forge.chapril.org-tools/src/branch/master/upgrade.sh|le script de mise à jour]]:<code bash>
-/srv/forge.chapril.org/tools/upgrade.sh verify download
+/srv/forge.chapril.org/tools/upgrade.sh download
 /srv/forge.chapril.org/tools/upgrade.sh stop backup
+/srv/forge.chapril.org/tools/upgrade.sh upgrade
+# être attentif aux éventuels problèmes
+/srv/forge.chapril.org/tools/upgrade.sh check
+su - gitea -c "/srv/gitea/bin/gitea-${VERSION}-linux-amd64 --config /etc/gitea/gitea.ini admin regenerate keys"
 /srv/forge.chapril.org/tools/upgrade.sh check
 # corriger les éventuels problèmes
-/srv/forge.chapril.org/tools/upgrade.sh upgrade
-# être attentif aux éventuels problèmes
 /srv/forge.chapril.org/tools/upgrade.sh start
 </code>
@@ Ligne 691: / Ligne 753: @@
 tail -f /var/log/apache2/forge.chapril.org/forge.chapril.org-error.log
 </code>
-  * supprimer manuellement l'ancien dump ;
   * vérifier que les personnalisations ne sont pas cassées :
     * https://forge.chapril.org/ sans être authentifié
@@ Ligne 706: / Ligne 767: @@
     * en étant authentifié:
       * vérifier la présence des liens ''Help''/''Aide'' et ''support'' dans la barre de navigation supérieure, à droite de ''explore''
+   * vérifier l'état des [[https://icinga.chapril.org/icingaweb2/monitoring/host/show?host=grof.cluster.chapril.org | checks concernant la machine grof]]
+   * supprimer manuellement l'ancien dump, dans :<code>/srv/gitea/backups</code>
+   * supprimer, éventuellement, les fichiers de l'antépénultième version : <code>rm /srv/gitea/bin/gitea-1.23.[X-2]-linux-amd64{,.asc,.sha256}</code>
 ===== Procédure de restauration =====
@@ Ligne 715: / Ligne 779: @@
 ===== Tâches récurrentes et modération =====
-En plus de la mise à jour du service décrite précédemment, l'administration de la forge nécessite de réaliser deux autres [[https://agir.april.org/projects/forge-chapril-org/issues?f[]=tracker_id&op[tracker_id]=%3D&v[tracker_id][]=3|tâches récurrentes]] qui sont des actions de modération:
+En plus de la mise à jour du service décrite précédemment, l'administration de la forge nécessite de réaliser deux autres [[https://agir.april.org/projects/forge-chapril-org/issues?f[]=tracker_id&op[tracker_id]=%3D&v[tracker_id][]=3|tâches récurrentes]] qui sont des actions de modération. Il s'agit de supprimer sans préavis ni avertissement des comptes créés par des robots.
+  - Pour connaître l'IP utilisée lors de la création d'un compte:
+    * Via l'interface d'administration, notez la date et l'heure de la création du compte
+    * Puis recherchez la date et l'heure dans les logs: ''journalctl -u gitea -S -1w -g 'POST[^/]+/user/sign_up'''
+  - Pour les actions suivantes, il est nécessaire de [[https://forge.chapril.org/user/settings/applications|créer un token]] depuis son compte gitea.
+    * Pour ''Accès aux Organisations et Dépôts'' sélectionner ''Tout (public, privé et limité)''
+    * Choisir les autorisations suivantes, sélectionner ''Lecture et écriture''
+      * ''admin''
+      * ''user''
-  * modération des comptes: suppression sans préavis ni avertissement des comptes créés par des robots
+  * Trouver les comptes récemment créés et actifs (afin de supprimer les nouvelles issues crées par les spammeurs) (pour [[https://forge.chapril.org/user/settings/applications|créer un token]]): <code>for x in $(curl  -H "Authorization: token $token" https://forge.chapril.org/api/v1/admin/users | jq -r '.[] | select(.id > 3100) | select(.id | IN(3394, 3288, 3271, 3132) | not) | .login'); do test $(curl  -sH "Authorization: token $token" https://forge.chapril.org/api/v1/users/$x/activities/feeds | jq 'map(select(.op_type | IN("comment_issue", "create_issue")))| length') -ne 0 && echo https://forge.chapril.org/$x?tab=activity ; done</code>
-    * Pour connaître l'IP utilisée lors de la création d'un compte:
+  * Supprimer un range : <code>for x in $(curl  -H "Authorization: token $token" https://forge.chapril.org/api/v1/admin/users | jq -r '(.[] | select(.id > 3330)) | select(.id < 3394)| .login'); do curl  -H "Authorization: token $token" -X DELETE -H "Content-Type: application/json" https://forge.chapril.org/api/v1/admin/users/$x?delete=true ; done</code>
-       - Via l'interface d'administration, notez la date et l'heure de la création du compte
+  * Sélection des comptes récents contenant des liens en description : <code>datemod=$(date +"%Y-%m-%d"); for x in $(curl  -H "Authorization: token $token" https://forge.chapril.org/api/v1/admin/users | jq -r '.[] | select(.id > 10317) | .login'); do curl -sH "Authorization: token $token" https://forge.chapril.org/api/v1/users/$x | jq -er "select(.website != \"\" or (.description | test(\"http\"))) | .login + \" repositories: $(curl -sH "Authorization: token $token" https://forge.chapril.org/api/v1/users/$x/repos | jq length)\\n\\n\" + .website + .description + \"\\n\"" && (read -e -p "Delete ? " delete; [[ "$delete" == [Yy]* ]] && clear && curl  -H "Authorization: token $token" -X DELETE -H "Content-Type: application/json" https://forge.chapril.org/api/v1/admin/users/$x?purge=true && echo -e "deleted\n" && echo "${datemod}@${x}" >> deleted); done</code>
-       - Puis recherchez la date et l'heure dans les logs: ''journalctl -u gitea -S -1w -g 'POST[^/]+/user/sign_up'''
+  * trouver les comptes ayant plusieurs fois un caractère donné dans l'email <code>giteadb=# select id, name, email, (CHAR_LENGTH(split_part(email, '@', 1)) - CHAR_LENGTH(REPLACE(split_part(email, '@', 1), '.', ''))) as c from "user" where (CHAR_LENGTH(split_part(email, '@', 1)) - CHAR_LENGTH(REPLACE(split_part(email, '@', 1), '.', ''))) > 3 order by c;</code>
   * modération des dépôts: en cas d'absence de licence ou de licence non conforme aux CGU, envoi d'un mail à l'utilisateur et suppression si au bout de 15 jours celui-ci ne s'est pas mis pas en conformité avec les CGU.
+  * vérifier la présence d'email dans la liste stopforumspam: <code>for yy in $(for id in $(for x in $(psql -d giteadb -t -A -q -c "select name, email from public.user where email != '' and id > 4000;"); do echo "$x" |  cut -d '|' -f 2 |grep -q @gmail.com && grep "$(echo "$x" | cut -d '|' -f 2 | cut -d '@' -f 1 | sed 's/\.//g')"@gmail.com listed_email_365_all &>/dev/null && echo $x | cut -d '|' -f 1; done); do echo $id; done); do echo $yy; done</code>