Je recycle mon commentaire sur l’autre RS :-)

C’est relou parce qu’il y a de vraies questions philosophiques pratiques, expérimentales, à avoir sur ces technos et qu’entrer un peu dans le sujet est extrêmement facile: au contraire des philosophes académiques, les chercheurs en IA publient leurs découvertes et interrogation gratuitement, et en dissertent sur des plateformes publiques (blogs, twitter)

Les LLMs sont excellents à identifier les motifs. Et ce qui est surprenant c’est que ça reste vrai à différents niveaux d’abstraction, ce qu’on pensait encore il y a 5 ans être le domaine réservé de l’intelligence “véritable”.

Par exemple, au premier niveau, si vous commencez une phrase par “L’URS” le modèle va facilement deviner que la lettre suivante est “S”, ça on sait faire depuis 70 ans.

Au niveau suivant vous mettez “Chine, État-Unis, Inde et” le modèle va probablement sortir un nom de pays: première abstraction, on catégorise, on trouve des points communs, on a une représentation interne de ces notions.

Au niveau encore suivant, vous mettez “La pelle est au trou ce que le four est” il vous répond “au gateau”. On a identifié la notion de fonction et compris que l’on crée des couples outil-conséquence.

Et déjà à ce niveau là, même si on n’était pas allé plus loin, on se rend compte qu’on a recréé algorithmiquement des capacités d’abstraction, ce qui a déjà un intérêt philosophique important. Et le plus étrange c’est que cette capacité émerge naturellement de la simple mission “prédis le mot suivant”.

Bien sur ce qui est abasourdissant chez les LLMs récents c’est que leurs niveaux d’abstractions vont encore plus haut. Ils savent générer des blagues inédites, des associations poétiques ou des images rhétoriques fortes parce qu’ils arrivent à comprendre le schéma et la charge tant sémantique qu’émotionnelle des mots.

Là où il y a une question philosophique importante qui divise les chercheurs (justement avec Le Cun d’un coté et les gens qui font du LLM toujours plus gros de l’autre) c’est la question du raisonnement. Ces modèles sont, a priori, capables d’appliquer un raisonnement à des problèmes. Ça indiquerait que le raisonnement n’est “que” de la reconnaissance de motifs à un niveau d’abstraction élevé: la cause précède la conséquence, on réutilise la conséquence comme une cause pour l’étape suivante, etc.

Le Cun lui argue qu’il manque quelque chose, mais au contraire d’Enthoven, le prouve: il y a des problèmes simples que les LLMs ont du mal à résoudre, son exemple classique est: “il y a sept roues dentées connectées les unes aux autres en cercle, je tourne la première dans le sens des aiguilles d’une montre, dans quel sens tourne la dernière?” la réponse correcte est que l’on ne peut pas faire tourner un assemblage circulaire de roues dentées en nombre impair et c’est évident quand on le dessine, mais les LLM n’ayant aucun sens visuel, galèrent avec ce genre de problèmes.

Notez que Le Cun lui ne dit pas qu’on n’y arrivera pas même dans 1000 ans, mais que l’architecture actuelle des LLMs (plus précisément les transformers decoder-only, dont fait partie l’architecture Generative pre-trained transformer (GPT) ) atteint sur ces choses un plateau et doit être augmentée d’autre chose, soit de multimodalité (compréhension des images, sons, videos, etc.) soit, ce que lui propose, d’une architecture construisant explicitement un modèle mental interne des concepts manipulés dans la conversation (c’est son architecture JEPA)

Mais voila, comme le fait remarque Mr Phi, on arrive dans un domaine avec lequel les philosophes académiques (et surtout de plateau) sont mal à l’aise: celui où leurs affirmations deviennent testables et où on se doit de réajuster ses opinions en fonction du résultat des expériences.

Ces derniers mois, j’ai lu beaucoup de philosophie rien qu’en lisant des publis de deep learning. Si vous vous posez des questions (sérieuses) sur la nature de l’intelligence, c’est là que ça se passe.