Transfer Learning : Définition et Exemples

Le transfer learning est une technique d'apprentissage automatique qui consiste à réutiliser un modèle pré-entraîné sur une tâche pour l'adapter à une nouvelle tâche, réduisant ainsi le temps d'entraînement et la quantité de données nécessaires.

Définition complète

Le transfer learning (ou apprentissage par transfert) est une approche fondamentale en intelligence artificielle qui repose sur un principe simple : les connaissances acquises lors de la résolution d'un problème peuvent être transférées pour résoudre un problème différent mais apparenté. Plutôt que d'entraîner un modèle à partir de zéro, on part d'un modèle déjà entraîné sur de grandes quantités de données et on l'adapte à un cas d'usage spécifique.

Cette technique est au cœur de la révolution des grands modèles de langage (LLM) comme GPT ou Claude. Ces modèles sont d'abord pré-entraînés sur d'immenses corpus de texte pour acquérir une compréhension générale du langage, puis affinés (fine-tuning) sur des tâches spécifiques comme la traduction, le résumé ou la conversation. C'est précisément ce mécanisme qui permet à un seul modèle de base de devenir performant sur des centaines de tâches différentes.

En vision par ordinateur, le transfer learning a également transformé le domaine. Un modèle entraîné sur ImageNet (des millions d'images classifiées) apprend à reconnaître des formes, textures et motifs généraux. Ces connaissances visuelles de base sont ensuite transférées pour détecter des tumeurs sur des radiographies ou identifier des défauts sur une chaîne de production, même avec seulement quelques centaines d'exemples spécifiques.

Pour les praticiens du prompt engineering, comprendre le transfer learning est essentiel car il explique pourquoi les LLM sont capables de s'adapter à des contextes très variés grâce au simple fait de formuler des instructions dans un prompt. Le few-shot prompting, par exemple, exploite directement la capacité de transfert du modèle en lui fournissant quelques exemples pour orienter sa réponse vers un format ou un style précis.

Étymologie

Le terme vient de l'anglais « transfer » (transférer) et « learning » (apprentissage). Il a émergé dans la communauté de recherche en machine learning dans les années 1990, notamment avec les travaux de Lorien Pratt et Sebastian Thrun, avant de devenir un concept central avec l'essor du deep learning à partir de 2012.

Exemples concrets

Adapter un LLM à un domaine métier spécifique

Tu es un expert en droit français des sociétés. En utilisant tes connaissances générales du droit et du langage juridique, analyse cette clause de pacte d'actionnaires et identifie les risques potentiels : [clause]

Exploiter le few-shot learning pour transférer un style de réponse

Voici comment je veux que tu résumes des articles :

Article : [exemple 1] → Résumé : [résumé exemple 1]
Article : [exemple 2] → Résumé : [résumé exemple 2]

Maintenant, résume cet article en suivant le même format : [nouvel article]

Utiliser les connaissances transversales du modèle pour une tâche de classification

Grâce à ta compréhension du langage et des émotions humaines, classe chacun de ces avis clients comme positif, neutre ou négatif, puis attribue un score de satisfaction de 1 à 5 : [liste d'avis]

Usage pratique

En prompt engineering, le transfer learning s'exploite principalement via le few-shot prompting : en fournissant des exemples dans le prompt, vous guidez le modèle pour qu'il transfère ses connaissances générales vers votre tâche spécifique. Vous pouvez aussi tirer parti du transfer learning en attribuant un rôle d'expert au modèle, ce qui active les connaissances spécialisées acquises lors du pré-entraînement. Enfin, comprendre cette notion vous aide à choisir entre prompt engineering (transfert via le contexte) et fine-tuning (transfert via un réentraînement ciblé) selon vos besoins.

Concepts liés

Fine-tuningPré-entraînementFew-shot learningApprentissage profond (Deep Learning)

FAQ

Quelle est la différence entre transfer learning et fine-tuning ?

Le transfer learning est le concept général de réutiliser les connaissances d'un modèle pré-entraîné. Le fine-tuning est une méthode spécifique de transfer learning qui consiste à continuer l'entraînement du modèle sur de nouvelles données spécialisées. On peut aussi faire du transfer learning sans fine-tuning, par exemple en utilisant le few-shot prompting pour adapter le comportement du modèle directement dans le prompt.

Pourquoi le transfer learning est-il si important pour les LLM ?

Sans transfer learning, il faudrait entraîner un modèle distinct pour chaque tâche, ce qui nécessiterait des quantités astronomiques de données et de puissance de calcul. Grâce au transfer learning, un seul modèle pré-entraîné sur un large corpus peut être adapté à des milliers de tâches différentes — de la rédaction à l'analyse de code — avec un minimum d'effort supplémentaire, voire simplement via un bon prompt.

Peut-on faire du transfer learning avec le prompt engineering seul ?

Oui, et c'est même l'un des avantages majeurs des LLM modernes. Le few-shot prompting est une forme de transfer learning « en contexte » (in-context learning) : vous fournissez quelques exemples dans le prompt et le modèle transfère ses connaissances pour reproduire le pattern observé. Cette approche ne modifie pas les poids du modèle, mais exploite sa capacité innée de transfert pour s'adapter à de nouvelles tâches sans aucun entraînement supplémentaire.

Voir aussi

Fine-tuning Few-shot prompting Pré-entraînement Deep Learning Zero-shot prompting In-context learning Embeddings Modèle de langage (LLM)

Recevez de nouveaux prompts chaque semaine

Rejoignez notre newsletter.