Il ne prédit que le mot suivant
Pas de plan d'ensemble : le modèle calcule les probabilités du mot suivant, en choisit un, et recommence. En enchaînant des milliers de ces décisions, on obtient des réponses qui semblent réfléchies.
05 Labo
Un modèle de langage ne fait qu'une chose : calculer quel mot vient ensuite. Jouez avec les probabilités, bougez la température et regardez-le décider en direct.
Choisissez un scénario
Le ciel est ___
Probabilité du mot suivant
01
Pas de plan d'ensemble : le modèle calcule les probabilités du mot suivant, en choisit un, et recommence. En enchaînant des milliers de ces décisions, on obtient des réponses qui semblent réfléchies.
C'est une opération mathématique qui étale ou concentre la probabilité avant de lancer le dé. Ici, nous utilisons la vraie formule : chaque barre est élevée à 1/T puis renormalisée.
Quand la température monte, les options improbables gagnent du terrain. Si l'une d'elles est choisie, le modèle la poursuivra avec un aplomb total, comme si elle était vraie.
02