Needle In Haystack : Définition et Exemples

Le test Needle In a Haystack (littéralement « aiguille dans une botte de foin ») est un benchmark conçu pour évaluer la capacité des grands modèles de langage (LLM) à localiser et extraire une information spécifique placée intentionnellement au milieu d'un contexte textuel volumineux. Le principe est simple : on insère un fait précis (l'aiguille) à différentes positions dans un document très long (la botte de foin), puis on demande au modèle de retrouver cette information.

Ce test est devenu un standard de l'industrie pour mesurer les performances réelles des fenêtres de contexte étendues. En effet, un modèle peut annoncer supporter 100 000 tokens de contexte, mais si sa capacité à retrouver une information se dégrade fortement lorsque celle-ci est placée au milieu du texte, cette fenêtre de contexte est en pratique moins exploitable qu'annoncé. Le test NIAH révèle ces faiblesses en variant systématiquement la position de l'aiguille et la longueur du contexte.

Les résultats sont généralement présentés sous forme de heatmap bidimensionnelle, avec la profondeur de l'aiguille dans le document en un axe et la longueur totale du contexte en l'autre. Cela permet de visualiser les zones de faiblesse d'un modèle — par exemple, de nombreux modèles montrent des performances dégradées lorsque l'information se trouve au milieu du texte, un phénomène connu sous le nom de « lost in the middle ».

Pour les praticiens du prompt engineering, comprendre les résultats NIAH d'un modèle est essentiel. Cela permet de structurer ses prompts de manière stratégique : placer les informations critiques en début ou en fin de contexte, découper les documents longs en segments plus courts, ou encore utiliser des techniques de rappel explicite pour guider l'attention du modèle vers les éléments importants.