Outils pour utilisateurs

Outils du site


admin:monitoring:metrologie-via-collectd

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

admin:monitoring:metrologie-via-collectd [2026/07/07 21:39] – créée fhenry2admin:monitoring:metrologie-via-collectd [2026/07/08 00:11] (Version actuelle) – Métrologie personnalisée fhenry2
Ligne 6: Ligne 6:
 </note> </note>
  
-Le Chapril a choisi [[:services:grafana.chapril.org|Grafana]] comme outil de consultation de données de métrologie, et [[https://docs.influxdata.com/influxdb3/core/|Influxdb]] comme format de stockage des données.+Le Chapril a choisi [[:services:grafana.chapril.org|Grafana]] comme outil de consultation de données de métrologie, et [[https://docs.influxdata.com/influxdb/v1/|Influxdb]] comme format de stockage des données.
  
 Initialement la métrologie est obtenue par une instance [[:admin:monitoring:base-deployment|Icinga]] du superviseur. Initialement la métrologie est obtenue par une instance [[:admin:monitoring:base-deployment|Icinga]] du superviseur.
  
-===== Métrologie de service =====+===== Configuration d’InfluxDB =====
  
-==== Configuration d’InfluxDB ==== +Pour pouvoir collecter des métriques de services qui ne font pas l'objet de supervision, une base InfluxDB a été ajoutée. Cette base est alimentée par le protocole [[https://collectd.org/|Collectd]].
- +
-Pour pouvoir collecter des métriques de services qui ne font pas l'objet de supervision, une base InfluxDB a été ajoutée. Cette base est alimentée par le protocole Collectd.+
 Elle a donc été nommée ''collectd''. Elle a donc été nommée ''collectd''.
  
Ligne 30: Ligne 28:
 </file> </file>
  
-==== Ajout classique ====+<note>La version majeur actuelle semble être InfluxDB 1.</note> 
 + 
 +===== Ajout classique =====
  
 Pour une métrique simple on installe et configure Collectd sur les machines qu’on veut observer. Pour une métrique simple on installe et configure Collectd sur les machines qu’on veut observer.
Ligne 65: Ligne 65:
 Si on veut ajouter des graphes moins classiques, lire la suite ci-dessous. Si on veut ajouter des graphes moins classiques, lire la suite ci-dessous.
  
 +===== Ajout des fichiers =====
 +
 +Pour tenir compte des fichiers modifier le champ ''ReportInodes''.
 +<file apache /etc/collectd/collectd.conf>
 +<Plugin "df">
 +  ReportInodes true
 +</Plugin>
 +</file>
 +
 +===== Ajout d’Apache =====
 +
 +Dans le cas où la VM dispose d’[[https://httpd.apache.org/|Apache HTTP Server]] le greffon ''apache'' peut être chargé ainsi :
 +<file apache /etc/collectd/collectd.conf.d/apache.conf>
 +LoadPlugin apache
 +<Plugin "apache">
 +  <Instance "apachewiki">
 +    URL "http://localhost/server-status?auto"
 +  </Instance>
 +</Plugin>
 +</file>
 +
 +Une configuration supplémentaire est aussi nécessaire pour le serveur Apache :
 +<code apache>
 +ExtendedStatus on
 +<IfModule mod_status.c>
 +  <Location /mod_status>
 +    SetHandler server-status
 +  </Location>
 +</IfModule>
 +</code>
 +
 +===== Ajout de scripts =====
 +
 +==== Bash ====
 +
 +Via le greffon ''exec'' des //scripts// de //shell// peuvent être exécutés.
 +
 +<file apache /etc/collectd/collectd.conf.d/exec.conf>
 +LoadPlugin exec
 +<Plugin exec>
 +  # if we want to override default's interval
 +  # Interval 60
 +  Exec "www-data:adm" "/usr/local/src/custom_collectd_scripts/test.sh"
 +  Exec "www-data" "/path/to/another/binary" "arg0" "arg1"
 +</Plugin>
 +</file>
 +
 +Exemple de script Bash qui compte le nombre d'utilisateurs UNIX connectés :
 +<file bash /usr/local/src/custom_collectd_scripts/test.sh>
 +HOSTNAME="${COLLECTD_HOSTNAME:-localhost}"
 +INTERVAL="${COLLECTD_INTERVAL:-60}"
 +
 +while sleep "$INTERVAL"
 +do
 +    echo "PUTVAL \"${HOSTNAME}/unixusers/count\" interval=$INTERVAL $(date +%s):$(w | tail -n +3 | wc -l)"
 +done
 +</file>
 +
 +Dans la base InfluxDB, la variable s'appellera ''unixusers_value''.
 +La boucle ''while'' est une astuce pour éviter de lancer un interpréteur shell à chaque exécution.
 +Se référer à ''[[https://collectd.org/documentation/manpages/collectd-exec.html|collectd-exec(5)]]''.
 +
 +==== Python ====
 +
 +Penser à installer le paquet ''libpython3.xx''.
 +
 +Se référer à ''[[https://collectd.org/documentation/manpages/collectd-python.html|collectd-python(5)]]''.
 +
 +===== Expérimental =====
 +
 +==== Ré-échantillonnage ====
 +
 +Le ticket [[https://agir.april.org/issues/5466|#5466]] explique le problème lié au volume des données et la possible solution qui consiste à faire du ré-échantillonage (//downsampling//), soit la dégradation volontaire de la finesse des données collectées après un certain temps.
 +Par exemple, on souhaite connaître à la minute près l'évolution de la charge du système sur les 7 derniers jours, et au delà, une précision à l'heure est suffisante.
 +
 +Parmi les requêtes tentées :
 +<code sql>
 +CREATE RETENTION POLICY "1week" ON "collectd" DURATION 1w REPLICATION 1 DEFAULT;
 +CREATE RETENTION POLICY "1month" ON "collectd" DURATION 4w REPLICATION 1;
 +CREATE RETENTION POLICY "1decade" ON "collectd" DURATION 10y REPLICATION 1;
 +CREATE CONTINUOUS QUERY "downsample-1month-avg-1h"  ON "collectd" RESAMPLE EVERY 30m FOR 2h BEGIN SELECT mean(*) INTO "collectd"."1month".:MEASUREMENT FROM collectd."1week"./.*/ GROUP BY time(1h) END;
 +CREATE CONTINUOUS QUERY "downsample-1decade-avg-1w" ON "collectd" RESAMPLE EVERY 6h FOR 2w BEGIN SELECT mean(*) INTO "collectd"."1decade".:MEASUREMENT FROM collectd."1week"./.*/ GROUP BY time(1w) END;
 +</code>
admin/monitoring/metrologie-via-collectd.txt · Dernière modification : 2026/07/08 00:11 de fhenry2