Oui, Le Cun a beaucoup sous-estimé les LLMs de type GPT dans le passé. Et il est en bonne compagnie là dessus hein, ils ont surpris tout le monde par leurs capacités émergentes. C’est pour ça que je trouve que la thèse de Le Cun bien que défendable ne devrait pas l’être avec un ton si péremptoire.

Même l’histoire des engrenages, bien prompté, GPT4 y arrive, mais c’est bien plus difficile pour lui que des tâches normalement plus ardues. Il met le doigt sur une faiblesse intéressante, que lui argue bloquante, qui ne l’est peut être pas, mais il est très raisonnable de penser que d’explorer cette faiblesse et de la compenser pourrait booster les compétences de ces modèles.

Et il est intéressant de comprendre également pourquoi le raisonnement de Le Cun est faux dans la vidéo présentée: il a peut-être raison sur le fait que probablement aucun texte ne dit explicitement qu’un objet posé sur une table suit la table, mais beaucoup de textes le supposent implicitement et GPT-4 arrive à apprendre ces informations implicites.