# Évaluer un système de recherche : précision, rappel, F-mesure

Sciences de l'information · Bachelor 3

> Mesurer la qualité d'une recherche : pertinence, précision, rappel, bruit, silence et F-mesure.

## Introduction

Comment savoir si un système de recherche fonctionne bien ? La recherche d'information utilise des mesures quantitatives fondées sur la notion de pertinence : un document est pertinent s'il répond au besoin de l'utilisateur. Cette notion reste partiellement subjective, car elle dépend de la situation de celui qui cherche.

Deux mesures classiques comparent les résultats obtenus aux documents pertinents existant dans la collection. La précision indique la part de résultats pertinents parmi les résultats renvoyés. Le rappel indique la part des documents pertinents retrouvés parmi tous les documents pertinents de la collection.

Ces deux mesures évoluent généralement en sens inverse : élargir la recherche améliore le rappel mais dégrade la précision. La F-mesure combine les deux. Selon le contexte, un veilleur ou un juriste privilégiera l'exhaustivité, alors qu'un étudiant pressé préférera quelques bons résultats.

## Objectifs d'apprentissage

- Définir pertinence, précision et rappel
- Calculer précision et rappel à partir d'un exemple
- Expliquer le compromis entre les deux mesures
- Définir bruit et silence documentaire
- Choisir une mesure selon le besoin de l'utilisateur

## Concepts clés

- **Pertinence** : Adéquation d'un document au besoin d'information de l'utilisateur, par nature en partie subjective.
- **Précision** : Résultats pertinents divisés par le nombre de résultats renvoyés.
- **Rappel** : Résultats pertinents trouvés divisés par le nombre de pertinents existants.
- **F-mesure** : Moyenne harmonique de la précision et du rappel.

## Conclusion

Précision et rappel donnent un langage commun pour comparer des stratégies de recherche. Le bon équilibre dépend du besoin : exhaustivité pour la veille et le droit, rapidité et pertinence pour l'usage courant.

## Cartes

### Qu'est-ce que la précision ?

La proportion de documents pertinents parmi ceux renvoyés par le système.

### Qu'est-ce que le rappel ?

La proportion de documents pertinents retrouvés parmi tous les pertinents de la collection.

### Comment varient précision et rappel ?

Souvent en sens inverse : élargir la requête améliore le rappel mais fait baisser la précision.

### Qu'est-ce que le bruit documentaire ?

L'ensemble des résultats non pertinents renvoyés, lié à une faible précision.

### Qu'est-ce que le silence documentaire ?

Les documents pertinents que le système n'a pas retrouvés, lié à un faible rappel.

### Que combine la F-mesure ?

La précision et le rappel, par une moyenne harmonique qui pénalise les écarts.

### Pourquoi la pertinence est-elle difficile à mesurer ?

Elle dépend du contexte et de l'utilisateur ; on recourt à des jugements d'experts sur un corpus de test.

### Quel profil privilégie un rappel élevé ?

Celui qui doit être exhaustif, comme une recherche juridique, une revue de littérature ou une veille de brevets.

## Glossaire

- **Précision** : Part de résultats pertinents dans les résultats obtenus.
- **Rappel** : Part des documents pertinents effectivement retrouvés.
- **Bruit documentaire** : Résultats non pertinents fournis par une recherche.
- **Silence documentaire** : Documents pertinents non retrouvés par le système.
- **Jugement de pertinence** : Décision d'un évaluateur sur la pertinence d'un document pour une requête.
- **Corpus de test** : Collection de documents, requêtes et jugements servant à comparer des systèmes.

https://ruvy.ch/decks/-P5CXZcv52SDktyn1JbK