Votre chatbot est-il une hallucination ? Selon de nouvelles recherches, le « robot talk » pourrait produire de meilleures réponses pour l’IA

Bonjour.

Les directeurs financiers tardent à adopter l’IA générative et le fait qu’un chatbot puisse halluciner n’aide pas.

Les grands modèles de langage génératifs (LLM) alimentés par l’IA qui alimentent les chatbots sont conçus pour comprendre et générer du texte de type humain. Cependant, comme ils exploitent des milliards de points de données pour prédire le mot suivant dans une chaîne de texte, parfois lorsqu’ils ne connaissent pas la bonne réponse à l’invite, ils hallucinent ou créent une réponse qui peut sembler plausible mais qui est factuellement incorrecte ou sans rapport avec le contexte.

Un groupe de chercheurs du MIT Nouveau papier publié Quel argument trouver parmi les chatbots peut améliorer le raisonnement logique et la précision factuelle des LLM. C’est comme un club de débat de bots, sauf qu’un bot peut essentiellement débattre de ses propres itérations.

« La procédure de discussion permet au linguiste de critiquer et de réfléchir sur ses opinions et celles des autres agents, lui permettant d’affiner son raisonnement et ses réponses », me dit Yilun Du, chercheur au MIT et l’un des auteurs de l’article. Les chercheurs ont documenté plusieurs cas de modèles linguistiques se disputant au cours de plusieurs tours et ont proposé une réponse conjointe améliorée.

Comment cela marche-t-il? « Les discussions peuvent avoir lieu dans un seul modèle (ou bot) », explique Du, un ancien chercheur d’OpenAI. « Un modèle de langage est répété plusieurs fois pour créer plusieurs bots. Lorsqu’on lui pose une question, chaque bot génère une réponse différente (le modèle appris derrière un bot est le même pour tous les bots). Les bots peuvent alors discuter entre eux. »

Cependant, l’étude a également révélé que les chatbots concurrents peuvent se faire concurrence. « Nous avons également montré que vous pouvez avoir des discussions entre différents modèles comme [OpenAI’s] ChatGPT et [Google’s] cool de résoudre une tâche « , dit Du. « Mais la majorité des expériences utilisent le même paradigme. »

Michael Schrag, chercheur à la Sloan School Initiative du MIT sur l’économie numérique, n’est pas l’un des auteurs de l’article, mais dit qu’il pense que la recherche est bien faite. « Ce type d’approche d’intelligence collective/de vote n’est pas rare », déclare Scragg. « Mais pour autant que je sache, c’est la première publication que je vois dans le cadre d’un LLM. »

Schrage a exploré des systèmes d’IA génératifs et maîtrisés en mettant l’accent sur leur exploitation en tant que systèmes de recommandation de nouvelle génération. « J’ai déjà utilisé de grands modèles de langage pour générer des scénarios d’entreprise (certains liés à la finance, d’autres non) pour les clients et les salles de classe », dit-il. « J’ai trouvé ces scénarios constructifs, provocateurs et plausibles. Mais, encore une fois, ce sont des modèles LLM, pas de grands modèles informatiques. »

Un LLM fondamental doit être affiné et connecté à un logiciel où les comptes et les calculs sont plus susceptibles d’être précis, ainsi que transparents, rationalisés et explicables, dit-il. « Cependant, je pense que tout analyste financier, auditeur ou comptable serait grossièrement irresponsable et non professionnel de s’appuyer sur des comptes financiers reposant sur un LLM à l’heure actuelle », déclare Schrag.

Il poursuit: « Je crois fermement que – avec des garde-fous et des affirmations réfléchis et délibérés – les personnes FP&A et d’autres concepteurs financiers peuvent obtenir beaucoup de valeur très rapidement en utilisant habilement un MBA. » L’article du MIT montre à quel point le « calcul fiable » espace LLM.

Pensez-vous que les problèmes d’hallucinations ou de désinformation sont des préoccupations valables pour les professionnels de la finance ? Il a dit oui ». Il est très important de traiter les réponses de l’IA générative « non pas comme une vérité fondamentale, mais simplement comme une source potentielle d’informations », dit-il. Du suggère d’utiliser les réponses comme des « idées », mais ensuite de « les valider séparément ». Il ajoute : « Je pense que ma recherche est une étape vers la précision de cette source d’information.

Que la discussion commence.

Sheryl Estrada
sheryl.estrada@fortune.com

Grosse affaire

une Un nouveau rapport du Pew Research Center Il a révélé que 58% des adultes américains interrogés avaient entendu parler de ChatGPT. Sur ce pourcentage, 19 % ont déclaré l’avoir utilisé pour se divertir, 14 % l’ont utilisé pour apprendre quelque chose de nouveau et 12 % travaillent actuellement contre rémunération et ont utilisé ChatGPT pour le travail. Les adultes de moins de 30 ans qui ont entendu parler de ChatGPT sont plus susceptibles que ceux de 65 ans et plus d’utiliser un chatbot pour se divertir (31 % contre 4 %). Pew a également interrogé les répondants sur leur expérience avec le chatbot. Quinze pour cent disent que c’était très utile et 20 % disent que c’est très utile. Pendant ce temps, 39% ont dit que c’était quelque peu utile. Les données sont basées sur une enquête menée du 13 au 19 mars 2023 auprès de plus de 10 000 adultes américains.

Aller plus loin

« L’essor de l’IA : votre entreprise est-elle prête pour l’IA générative ?? C’est un nouvel épisode de The Wharton School effet d’entraînement Podcast. Le professeur Rahul Kapoor explique pourquoi le moment est venu pour les chefs d’entreprise de développer de nouveaux cadres pour gérer les changements à venir.

classement

Julia Brown Donnelly Il s’appelait CFO Pinterest, Inc. (NYSE : PINS), au 20 juin. Donnelly reprendra le rôle de Todd Morgenfeld. Comme annoncé précédemment, Morgenfeld quittera Pinterest pour poursuivre de nouvelles opportunités de carrière le 1er juillet. Donnelly a rejoint Pinterest en provenance de Wayfair, où elle était dernièrement vice-présidente et responsable mondiale des finances et de la comptabilité. Au cours de son mandat de plus de sept ans, elle a occupé plusieurs postes à responsabilités croissantes dans la fonction finance. Elle a dirigé une équipe mondiale de 250 employés dans tous les domaines de la comptabilité et de la finance, y compris la finance stratégique, les relations avec les investisseurs, le développement de l’entreprise, la FP&A, la comptabilité, la fiscalité et les opérations financières. Avant Wayfair, elle était investisseur en capital-investissement dans des sociétés de technologie et de médias chez Thomas H. Lee Partners à Boston.

Yaffy (Roxy) Wayne Démissionne de son poste de directrice financière invitation (NYSE : NVTA), une société de génétique médicale, au 30 juin. L’entreprise est à la recherche d’un nouveau directeur financier. Wen continuera son rôle jusqu’à la fin du deuxième trimestre. Christine Georgink, présidente de longue date du comité d’audit du conseil d’administration, assumera le rôle de chef des finances par intérim à compter du 1er juillet. La démission de Wen n’est pas le résultat d’un désaccord avec la Société concernant toute question relative aux opérations, politiques ou procédures conformément à Invitae.

il a entendu

« Ça ne va pas régler ce problème si vous êtes assis de l’autre côté du Pacifique en train de vous crier dessus. Donc, j’espère que nous aurons un vrai engagement. »

— Jamie Dimon, PDG de JPMorgan Chase, a déclaré mercredi lors du JPMorgan Global China Summit à Shanghai, Reuters a rapporté. Simon répondait à une question sur les relations diplomatiques entre la Chine et les États-Unis et a souligné la nécessité d’un « engagement véritable » pour résoudre les problèmes de sécurité et de commerce.