Archivage du web : moissonnage, WARC et restitution

Sciences de l'information · Master 1

Capturer des sites web : robots de moissonnage, format WARC, stratégies de collecte et restitution.

Introduction

Le web est un patrimoine éphémère : les pages disparaissent, changent ou deviennent inaccessibles. L'archivage du web consiste à capturer des sites à un moment donné et à les conserver pour que les chercheurs et le public puissent ultérieurement les consulter tels qu'ils étaient.

La capture s'effectue par moissonnage (crawling) : un robot, comme Heritrix utilisé par de nombreuses institutions, parcourt les liens à partir de pages de départ et enregistre les ressources rencontrées. Les captures sont stockées dans des fichiers au format WARC (Web ARChive, norme ISO 28500), qui regroupent requêtes, réponses et métadonnées de capture. La restitution fait appel à des outils de type Wayback Machine, qui reconstituent la navigation dans le temps ; le protocole Memento permet d'accéder aux versions successives d'une ressource.

Les institutions de mémoire choisissent entre collecte large d'un domaine, collecte sélective de sites choisis et collecte thématique ou événementielle (élections, crises). Les limites sont techniques (contenus dynamiques, JavaScript, médias en flux, parties protégées) et juridiques (droit d'auteur, protection des données, respect des consignes d'exclusion).

Objectifs d'apprentissage

Expliquer le principe du moissonnage web
Décrire le contenu et l'intérêt du format WARC
Comparer collecte large, sélective et thématique
Identifier les limites techniques et juridiques
Décrire la restitution et l'accès aux versions successives

Concepts clés

Moissonnage: Parcours automatique de pages par un robot qui enregistre les ressources rencontrées.
WARC: Format normalisé (ISO 28500) pour stocker les captures web et leurs métadonnées.
Restitution: Reconstitution de la navigation dans une capture grâce à un outil de type Wayback.
Stratégies de collecte: Large (domaine), sélective (liste de sites), thématique ou événementielle.

Conclusion

L'archivage du web combine des choix de politique documentaire, des outils de capture et des normes de conservation. Il ne garantit jamais une reproduction parfaite, mais il permet de sauvegarder des traces essentielles de la vie publique numérique.

Les institutions doivent documenter leurs périmètres, leurs limites et leurs règles d'accès pour que les futurs usagers interprètent correctement ces captures.

Cartes

Qu'est-ce que le moissonnage web ?: Un parcours automatisé de liens par un robot qui capture les pages et ressources associées.
Citer un robot de moissonnage courant.: Heritrix, développé notamment par l'Internet Archive et utilisé par de nombreuses institutions de mémoire.
Que contient un fichier WARC ?: Les requêtes et réponses HTTP capturées, avec métadonnées de la capture, dans un conteneur normalisé.
À quelle norme correspond WARC ?: ISO 28500.
À quoi sert une Wayback Machine ?: À restituer les versions archivées d'un site à une date donnée, en reconstituant la navigation.
Que permet le protocole Memento ?: Accéder aux versions antérieures d'une ressource web par une négociation selon la date.
Différence entre collecte large et sélective ?: La large vise tout un domaine à faible profondeur ; la sélective cible des sites choisis avec plus de profondeur et de contrôle.
Quelles limites techniques rencontre-t-on ?: Contenus générés par JavaScript, flux vidéo, formulaires, bases interrogeables et pages protégées.
Quelles limites juridiques ?: Droit d'auteur, protection des données personnelles et prise en compte des consignes d'exclusion des éditeurs.

Glossaire

Crawler: Robot qui suit les liens pour collecter des pages.
WARC: Format de stockage de captures web (ISO 28500).
Wayback Machine: Service de restitution de versions archivées du web.
Memento: Protocole d'accès temporel aux versions d'une ressource.
Collecte sélective: Moissonnage de sites choisis selon une politique.
Profondeur de capture: Nombre de niveaux de liens suivis depuis la page de départ.