Une seule webpage de fiction peut couvrir 1 000 ans de la durée d’une histoire 1 000 pages d’histoire peuvent se dérouler en un fast. C’est un peu de magie, et cela dérange profondément le style de personnes qui étudient la littérature. Les professionals ont passé des années, voire des décennies, à essayer d’évaluer la vitesse à laquelle tournent la plupart des horloges dans les histoires.
Ils comptaient péniblement les mots dans des milliers de livres ils ont laborieusement codé à la main des programmes informatiques pour mesurer le passage du temps fictif. Pourtant, malgré tous leurs attempts de pressure brute, ils n’ont pas pu se mettre d’accord sur quelque chose d’aussi straightforward que la durée moyenne d’une page de fiction.
C’était donc plutôt neat quand, l’année dernière, ChatGPT l’a fait.
Avec une invite bien conçue et un passage de fiction, ChatGPT pourrait ingérer le texte et renvoyer une estimation rapide et précise du temps écoulé dans le passage. Un morceau de « Jane Eyre » ? Approximativement une semaine. Un passage de la même longueur de « The Massive Slumber » ? Soixante-quinze minutes.
Au cours des cent dernières années, a calculé le robotic, le temps littéraire a ralenti. La page moyenne de littérature utilisée pour couvrir une journée entière maintenant, cela dure à peine une heure.
L’invite bien conçue est venue de Ted Underwood, professeur d’anglais à l’Université de l’Illinois.
Dans un monde rempli de sceptiques de l’IA et d’alarmistes en matière de chatbot, Underwood présente l’un des arguments les additionally solides et les additionally convaincants en faveur de la valeur de l’intelligence artificielle. Alors que certains (dont moi) s’inquiètent du fait que l’IA soit un moteur de conneries fabulatrice, plagiante et propageant des préjugés qui menace de provoquer la fin de la civilisation telle que nous la connaissons, Underwood est presque sûr que l’intelligence artificielle nous aidera tous à réfléchir plus profondément, et aider les chercheurs à découvrir de nouvelles vérités passionnantes sur l’ampleur de la tradition humaine. Travailler avec de grands modèles de langage – le logiciel sous le capot d’un chatbot – a fait de lui la selected la furthermore rare dans les sciences humaines : un optimiste de l’IA.
Pour être clair, les chatbots ne lisent pas, et Underwood le sait. Ils n’ont pas d’opinion sur la qualité du détective Philip Marlowe. Mais un robotic peut effectuer toutes sortes de tâches d’interprétation qui servaient autrefois de matière à thèse pour les étudiants en littérature surmenés.
Et à partir de ces données, Underwood pense que nous serons enfin en mesure d’avoir une vue d’ensemble – une condition qui ne peut être saisie qu’en examinant et en analysant des siècles de littérature, dans des centaines de langues.
« Les choses que nous ignorions légitimement et qui étaient importantes se produisaient souvent à une plus grande échelle », explique Underwood. « Nous ne pouvions pas le voir parce que c’était comme la courbe de l’horizon.
Il faut prendre une certaine length par rapport à cela. » Et le meilleur moyen d’atteindre cette distance, estime Underwood, est de previous un modèle numérique de langage sur des téraoctets d’écriture humaine.
En d’autres termes, utiliser l’IA.
comme il le dit — d’aller étudier en anglais.
En tant qu’étudiant, Underwood a essayé d’utiliser des outils numériques pour analyser la littérature. Mais à cette époque, il n’existait pas de bases de données contenant suffisamment de textes pour que cela soit pratique. En material, les premiers ordinateurs n’étaient pas aussi bien lus que l’étudiant diplômé moyen en littérature.
Puis vint Google Livres. Les attempts de Google pour ingérer l’intégralité du matériel publié dans le monde entier dans sa gueule d’information insatiable n’ont peut-être pas été un grand développement pour les bibliothèques ou les écrivains, mais c’était tremendous cool pour les info scientists – et pour les analystes littéraires soucieux des données comme Underwood.
réagissez, peut-être comptez les occurrences de quelque selected que vous étudiiez (lieux, pronoms, argent, and many others.
). Mais désormais, avec Google Textbooks, Underwood pourrait créer des modèles statistiques non pas de passages ou de livres, mais de genres entiers. Science-fiction, mystère, romance, qu’est-ce qui, concrètement, les différenciait les uns des autres ? Son livre « Distant Horizons » tente de répondre à cette issue.
Des livres comme « Frankenstein » et « La Guerre des mondes » sont-ils de la science-fiction, même s’ils ont été écrits avant que l’éditeur Hugo Gernsback n’invente le terme ? Il s’avère qu’ils le sont. En mesurant les occurrences de choses sublimes à grande échelle comme l’immensité et l’infini – ainsi que des choses banales comme les pronoms humains et les grands nombres – Underwood a été able de dire quelle fi est la plus scientifique.
Peu de temps après la sortie de « Distant Horizons » en 2019, de grands modèles linguistiques comme ChatGPT ont émergé sur la scène.
Cela a changé le jeu de l’analyse littéraire encore additionally que Google Books. Les LLM, à leur niveau le plus élémentaire, fonctionnent en déterminant les probabilités statistiques de savoir quels mots sont les as well as susceptibles de venir après quoi. Ils ne « comprennent » ni ne « savent » rien.
Ils convertissent simplement des mots en nombres et résolvent des équations. Mais au cours de leurs calculs massifs et insensés, ils calculent également à quel position les mots sont liés les uns aux autres, en fonction de leur contexte.
Underwood espère que l’IA, avec ses modèles de langage sophistiqués, pourra nous aider à découvrir de nouvelles informations sur notre propre esprit.
En linguistique, l’idée selon laquelle les mots tirent leur sens du contexte est appelée sémantique distributionnelle. Ce principle pourrait expliquer pourquoi les LLM ont démontré des capacités apparemment surprenantes, comme être capables de dire où et quand tout un tas d’événements célèbres ont eu lieu, ou de déduire les relations entre les couleurs (l’orange ressemble plus au rouge qu’au bleu, par exemple). Le langage code toutes sortes de connaissances et de sagesse culturelle – et les LLM codent le langage.
C’est une philosophie robuste. La langue n’est pas seulement une communication c’est un substrat de pensée et une onde porteuse pour la culture. Et Underwood pense que les LLM sont à l’écoute de cette obscure.
Pour les universitaires, le but de lire, d’écrire, d’étudier une langue n’est pas seulement de rédiger un essai ou de critiquer un poème, mais de comprendre ce que nous pensons et la meilleure façon de l’exprimer. Underwood espère que les LLM, avec leurs modèles statistiques sophistiqués du langage, pourraient nous aider à découvrir de nouvelles perspectives sur notre propre esprit. Selon lui, ils font plus que simplement répéter les resources de manière stochastique, non pas parce qu’ils « réfléchissent » – mais parce que nous sommes là pour les écouter.
« Je ne fais pas partie de ceux qui pensent que ces modèles pourraient être légèrement conscients », déclare Underwood. « Mais je pense que leurs déclarations ont un sens. Je ne veux pas dire qu’il y a un esprit conscient dans la device.
Je veux dire, je décris l’interaction entre moi et l’ordinateur. »
Underwood est manifestement enthousiasmé par le variety d’informations que ce partenariat IA-humain peut offrir à la littérature. « Nous allons pouvoir parler de choses comme l’intrigue et la drive des personnages », dit-il.
« Il ne suffit pas de compter les cas où l’argent apparaît dans un texte, mais de se demander ce que fait l’argent dans l’intrigue. » L’IA pourrait même être able de modéliser quelque selected d’aussi ineffable que ce qui pousse les gens à tourner les internet pages – ce qui rend un roman de Stephen King improbable. Cela pourrait déballer les buildings les additionally efficaces pour générer…
…
le suspense ! L’IA formée sur de grands modèles de langage sera capable d’obtenir de nouvelles informations sur les get-togethers les additionally amusantes des histoires que nous aimons lire et raconter.
Peut-être que cela ressemble à quelque selected que seuls les résidents d’une tour d’ivoire pourraient aimer. Qui se soucie de choses comme quantifier le suspense ou chronométrer le passage du temps littéraire ? Mais Underwood veut dire que l’IA peut aider à ramener sur terre le monde beaucoup trop raréfié de la critique littéraire. « Nous nous soucions de ce genre de choses parce que les gens aiment les histoires », dit-il.
« Et nous devrions garder cela au cœur de ce que nous faisons. »
Pourtant, même une alliance bien intentionnée avec nos seigneurs robots est controversée. La sémantique distributionnelle n’est pas la seule façon de penser le langage et le sens.
Il existe également une approche « dénotationnelle », qui dit essentiellement que les mots signifient ce dont ils parlent – la chose réelle. Et si c’est vrai, eh bien, les LLM sont trop stupides pour vivre.
J’ai vécu à Tokyo pendant un semestre à l’université et j’ai passé une semaine avec une famille locale.
Un jour, alors que nous étions en voiture, le fils et la fille m’ont offert un bonbon. Mais focus, m’ont-ils prévenu, automobile les bonbons étaient très . Je leur ai demandé de le répéter et de leur expliquer ce que cela signifiait, mais mon japonais n’était pas assez bon pour que je les comprenne.
Finalement, je viens de manger le bonbon, qui s’est avéré être la saveur de citron d’acide toxique-enlever-la-finition-d’une armoire. C’est ainsi que j’ai appris de manière indélébile que « suppai » signifie « aigre ».
Aujourd’hui, près de 35 ans moreover tard, le suppai n’est pas seulement « aigre » pour moi.
C’est « ce bonbon au citron extremely que j’ai mangé à l’arrière d’une voiture dans la banlieue de Tokyo ». C’est furthermore lourd que tout ce que je pourrais chercher dans un dictionnaire.
Aucune IA ne peut apprendre de cette façon.
Bender, linguiste informatique à l’Université de Washington, qui met en garde contre les hazards des LLM. « Personne ne nie que la sémantique distributionnelle existe, que des mots ayant des significations similaires apparaissent dans des contextes similaires. C’est la prochaine étape – « donc cette chose a un modèle du monde » – qui devient problématique. »
La clé réside dans le contenu réel des données de formation : le « grand » dans le modèle de langage. Si les chercheurs utilisent simplement un robot comme ChatGPT pour tirer des conclusions sur « Anna Karénine » ou « Les choses s’effondrent », c’est un gros problème. Parce que les entreprises derrière ces robots gardent leurs données pour la plupart secrètes, ce qui rend suspecte toute recherche basée sur ces robots.
De quels textes les robots ont-ils appris ? Quelles hypothèses culturelles nourrissent leur analyse ? Quels sont leurs angles morts ? Les chercheurs n’ont aucun moyen de le savoir.
Mais si les chercheurs forment un chatbot sur les textes particuliers qui les intéressent – s’ils organisent le régime alimentaire du robot – eh bien, vous pourriez alors disposer d’un outil puissant académique. Underwood affirme que les universités et les universitaires devraient mettre en commun leurs ressources pour créer leurs propres grands modèles linguistiques, construits à partir de matériaux spécifiques à leurs besoins de recherche.
Un nouveau LLM, MonadGPT, a été formé sur 11 000 textes du 17e siècle ou avant. Théoriquement, cela peut représenter un état d’esprit du XVIIe siècle d’une manière qu’aucun être humain vivant ne pourrait faire.
« Je pense qu’il est vraiment essentiel que nous formions des modèles de langage capables de modéliser de multiples views », déclare Underwood.
« Si ces éléments sont utilisés dans l’éducation, nous ne voulons absolument pas que les étudiants repartent avec l’idée qu’il existe une sagesse reçue sur le monde. »
Il existe de nombreuses façons dont une approche comme celle d’Underwood pourrait tourner terriblement mal. Si un LLM peut être formé sur des textes du XVIIe siècle, il peut tout aussi bien être formé sur des community forums QAnon ou sur un ensemble de données qui présuppose la supériorité d’une faith ou d’un système politique.
Mais ce risk est précisément la raison pour laquelle Underwood estime que nous devons apprendre à utiliser l’IA pour explorer des queries plus profondes de society et de connaissances. Laissés aux mains de la Silicon Valley et des entreprises américaines, les LLM tendront inévitablement vers le key business.
Mais dans le domaine des sciences humaines, leurs préjugés seront rendus visibles, et peut-être même utiles.
« La prochaine étape pour faire avancer ces choses impliquera des choix d’un variety que nous considérons comme appartenant aux sciences humaines », a déclaré Underwood. « Si les sciences humaines ne veulent pas être laissées pour compte, nous devons nous asseoir à cette table et discuter de formes alternatives pour cette technologie.
Rien contre Google et Microsoft, mais ils ne devraient pas déterminer complètement notre façon de penser et d’écrire. « . Pour un optimiste de l’IA comme Underwood, ce n’est pas de l’IA dont nous devons nous méfier.
