Debmirror

Debmirror permet de réaliser un miroir des dépôts Debian en utilisant le protocole Rsync à l'image de Ftpsync. La différence majeure qui le distingue de celui-ci est sa capacité à sélectionner les branches à synchroniser. Il n'est donc pas destiné à faire un miroir complet du dépôt distant (même s'il le permet tout à fait). L'outil est plus adapté à la mise à disposition des paquets nécessaires au fonctionnement des machines de votre réseau local. Il leur permettra d'avoir accès aux paquets dont elles ont besoin sans avoir à interroger de serveur sur Internet. De par sa capacité à discriminer les branches à copier, il est plus économe en espace disque ainsi qu'en bande passante lors des opérations de synchronisation. À titre d'exemple, voici la place occupée par le résultat de ce document au 29/12/2020 :

root@debmirror:~# du -hs /var/www/dépôts/*
152G	/var/www/dépôts/debian
11G	/var/www/dépôts/debian-security

Installation et préparation

Comme à notre habitude lors de la mise en place de ce type d'outil, nous mettrons à disposition les paquets téléchargés via Apache2 et automatiserons la synchronisation avec Cron.

Préparation de l'environnement

Installation des dépendances

apt install --no-install-recommends apache2 debmirror debian-keyring cron

Création d'un utilisateur dédié à la synchronisation

useradd --system --home-dir /var/www/dépôts/ --user-group debmirror

Création des répertoires d'accueil

mkdir -p /var/www/dépôts/{debian,debian-security} /var/log/debmirror/

Configuration d'Apache

Création de l'hôte virtuel

vim /etc/apache2/sites-available/debmirror.conf

<VirtualHost *:80>

	ServerAdmin webmaster@localhost
	DocumentRoot /var/www/dépôts/

	<Directory /> 
	      Options FollowSymLinks 
	      AllowOverride none 
	      Order allow,deny 
	      Allow from all
	</Directory>

	ErrorLog ${APACHE_LOG_DIR}/error-debmirror.log
	CustomLog ${APACHE_LOG_DIR}/access-debmirror.log combined

</VirtualHost>

Désactivation de l'hôte virtuel par défaut

a2dissite 000-default.conf

Activation du nouveau et rechargement du service

a2ensite debmirror.conf
systemctl reload apache2.service

Configuration de debmirror

L'outil a besoin d'un fichier de configuration par dépôt à synchroniser. Nous en créerons donc deux : un pour le dépôt debian, l'autre pour debian-security, le tout en amd64. Je ne synchroniserai que les branches main, contrib, non-free et main/debian-installer pour le premier dépôt ainsi que buster/updates pour le deuxième.

vim /usr/local/bin/debmirror_debian

#!/bin/bash

# Définition des variables pour Debian
hote="ftp.fr.debian.org"
racine="debian/"
methode="rsync"		# au choix ftp|http|https|rsync

distributions="buster,buster-updates,sid"
sections="main,contrib,non-free,main/debian-installer"
				 
cible="/var/www/dépôts/debian/"
architecture="amd64"	# « i386,amd64 »

jour_semaine=$(date +%u)

echo "--- Début de la synchronisation le $(date +%x) à $(date +%T) ---" > /var/log/debmirror/debmirror."${jour_semaine}".log

# Commande pour synchroniser le miroir avec Debian
/usr/bin/debmirror --nosource --passive --method="${methode}" \
--root="${racine}" --dist="${distributions}" --host="${hote}" \
--section="${sections}" --arch="${architecture}" "${cible}" \
--getcontents --keyring /usr/share/keyrings/debian-archive-keyring.gpg \
--i18n --postcleanup --progress --rsync-extra=doc,tools --diff=none  >> /var/log/debmirror/debmirror."${jour_semaine}".log

# Commande pour obtenir le sous répertoire "installer-amd64" (facultatif). Je n'ai pas trouvé une autre façon de faire...
rsync -a "${hote}"::debian/dists/buster/main/installer-amd64 "${cible}"/dists/buster/main/

echo "--- Fin de la synchronisation à $(date +%T) ---" >> /var/log/debmirror/debmirror."${jour_semaine}".log

vim /usr/local/bin/debmirror_debian-security

#!/bin/bash

# Définition des variables pour Debian
hote="ftp.fr.debian.org"
racine="debian-security"
methode="rsync"

distributions="buster/updates"
sections="main,contrib,non-free"

cible="/var/www/dépôts/debian-security/"
architecture="amd64"

jour_semaine=$(date +%u)

echo "--- Début de la synchronisation le $(date +%x) à $(date +%T) ---" > /var/log/debmirror/debmirror-security."${jour_semaine}".log

# Commande pour synchroniser le mirroir avec Debian
/usr/bin/debmirror --nosource --passive --method="${methode}" \
--root="${racine}" --dist="${distributions}" --host="${hote}" \
--section="${sections}" --arch="${architecture}" "${cible}" \
--getcontents --keyring /usr/share/keyrings/debian-archive-keyring.gpg \
--i18n --postcleanup --progress --diff=none  >> /var/log/debmirror/debmirror-security."${jour_semaine}".log

echo "--- Fin de la synchronisation à $(date +%T) ---" >> /var/log/debmirror/debmirror-security."${jour_semaine}".log

Attribution des droits

chmod ug+x /usr/local/bin/debmirror_debian /usr/local/bin/debmirror_debian-security
chown -R debmirror:debmirror /var/www/dépôts /var/log/debmirror /usr/local/bin/debmirror_debian*

Synchronisation du miroir

Il convient désormais de lancer une synchronisation. Prennez en compte que cette étape va prendre un certain temps au vu de la quantité de données à rappatrier. Sachez également que le serveur ftp.fr.debian.org limite les téléchargements aux environs de 10Mo/s.

Dépôt debian

su - debmirror -c '/usr/local/bin/debmirror_debian'

Dépôt debian-security

su - debmirror -c '/usr/local/bin/debmirror_debian-security'

Automatisation

Afin de maintenir un miroir à jour, la mise en place d'une synchronisation automatique et périodique s'impose. Les dépôts Debian se répliques quatres fois par jours. Nous en ferrons de même.

Création de la crontab

crontab -e -u debmirror

00 4,10,16,22 * * * /usr/local/bin/debmirror_debian 2>&1
10 4,10,16,22 * * * /usr/local/bin/debmirror_debian-security 2>&1

Sources

• https://www.carta.tech/man-pages/man1/debmirror.1.html
• http://wiki.dane.ac-versailles.fr/index.php?title=Utiliser_debmirror
• https://lists.debian.org/debian-user/2008/09/msg00267.html