Les LLM se distinguent notamment par leur capacité à générer un texte semblable à celui d’un humain.
Pour opérer, les LLM s’appuient sur des réseaux de neurones, soit des modèles d’apprentissage automatique (ML) fondés sur de petites fonctions mathématiques (ou neurones). L’architecture est fixée par les ingénieurs, et à partir de là, pendant l’entraînement, modèle « crée » et ajuste les poids (la force des connexions entre les neurones).
Les LLM, pour leur part, utilisent une architecture de réseau de neurones particulière appelée Transformer, un modèle développé en 2017 par des chercheurs de Google. Le cœur de l’architecture Transformer est le mécanisme d’Attention – celui-ci permet au modèle de comprendre le contexte d’un mot par rapport à tous les autres mots d’une phrase, même s’ils sont éloignés.
Les LLM sont entraînés sur de très grands volumes de données du Web et telle est la raison du terme « large » dans cette expression. Cet entraînement nécessite une puissance de calcul colossale. Nous pourrions dire qu’un LLM a assimilé suffisamment d’exemples pour être capable de reconnaître et d’interpréter des modèles tels que le langage humain. L’apprentissage repose sur une approche de l’IA appelée deep learning (apprentissage profond). Il est composé de deux phases principales :
Bien que les LLM donnent l’impression de comprendre le langage humain, il n’en est rien. En réalité, leur approche est celle d’une prédiction statistique : leur fonction consiste à prédire le prochain « token » d’une phrase. Un token peut être un mot, une partie de mot, un signe de ponctuation ou un espace. Dans la mesure où nous avons affaire à une prédiction statistique, il arrive qu’un LLM génère des affirmations fausses ; on parle alors d’hallucinations.
avec futura
