Même les initiés de Google sont sceptiques quant à l’utilité du chatbot Bard AI

(Bloomberg) — Au fil des mois, Google d’Alphabet Inc. Et Discord Inc. Un chat sur invitation uniquement pour les gros utilisateurs de Bard, le chatbot alimenté par l’IA de Google. Les chefs de produit, les concepteurs et les ingénieurs de Google utilisent le forum pour discuter ouvertement de l’efficacité et de l’utilité de l’outil d’IA, certains se demandant si les vastes ressources consacrées au développement en valent la peine.

« Ma règle générale est de ne pas faire confiance aux résultats du LLM à moins de pouvoir les vérifier de manière approfondie », a écrit Dominique Rabigue, chef de produit senior chez Bard, dans un chat Discord en juillet, faisant référence aux grands modèles de langage – des systèmes d’IA formés sur des quantités massives de données.indépendantes ». D’après le texte qui constitue les éléments constitutifs des chatbots comme ChatGPT de Bard et OpenAI Inc. « J’espère que nous arriverons au point où nous le pouvons, mais ce n’est pas encore là. »

« Le plus grand défi auquel je pense est le suivant : quels sont réellement les avantages d’un LLM, en termes d’assistance ? » La googleuse Cathy Pearl, responsable de l’expérience utilisateur chez Bard, l’a déclaré en août. « C’est comme vraiment faire une différence. À déterminer ! »

Depuis que Google a lancé Bard, sa réponse au populaire bot ChatGPT d’OpenAI, en mars, il a ajouté un flux constant de nouvelles fonctionnalités au produit, notamment la capacité de l’outil d’IA à analyser des images et à générer des réponses aux requêtes dans des dizaines de langues. Le mois dernier, Google a dévoilé sa mise à jour la plus ambitieuse à ce jour : connecter Bard à ses services les plus populaires, comme Gmail, Maps, Docs et YouTube. La société a déployé les intégrations d’applications, à partir de l’anglais, le 19 septembre.

Mais comme Google a intégré Bard dans ses produits principaux, la société a également souffert de plaintes concernant l’outil générant des faits inventés et offrant des conseils potentiellement dangereux. Le même jour où la société a présenté les extensions d’application, elle a également annoncé un bouton de recherche Google sur Bard pour aider les gens à revérifier la validité des réponses générées par l’IA de l’outil par rapport aux résultats de son moteur de recherche.

D’autres experts ont fait part de leurs inquiétudes quant aux conditions de travail des milliers d’entrepreneurs à bas salaires que Bard forme, sur la base de ce que les travailleurs considèrent comme des instructions complexes qu’ils doivent exécuter en quelques minutes. Au sein et à l’extérieur de l’entreprise, le géant de la recherche sur Internet a été critiqué pour avoir fourni des informations de mauvaise qualité dans une course pour suivre la concurrence, tout en ignorant les préoccupations éthiques.

Pour Google, assurer le succès de son chatbot Bard AI est extrêmement important. La société est un leader dans le domaine de la recherche, une bouée de sauvetage financière qui génère environ 80 % des revenus de la société mère Alphabet. Mais avec l’arrivée de l’IA générative, la domination de Google dans le domaine de la recherche a été remise en question, certains prédisant que de nouveaux outils intéressants d’OpenAI et d’autres startups pourraient bouleverser la solide position de Google sur le marché.

Deux participants de la communauté Bard de Google sur la plateforme de discussion Discord ont partagé les détails des discussions qui ont eu lieu sur le serveur avec Bloomberg de juillet à octobre. Des dizaines de messages examinés par Bloomberg offrent une fenêtre unique sur la façon dont Bard est utilisé et critiqué par ceux qui le connaissent le mieux, et montrent que même les dirigeants d’entreprise chargés de développer le chatbot se sentent en conflit sur le potentiel de l’outil. Expliquant sa réponse sur les réactions de « méfiance » résultant des grands modèles linguistiques, Rabiej a suggéré de limiter l’utilisation de Bard aux « applications créatives/de brainstorming ». Utiliser Bard pour la programmation était également un bon choix, a déclaré Rabiej, « puisque vous vérifiez inévitablement si le code fonctionne ou non ! »

Google a déclaré dans un communiqué que le débat sur les limites et les capacités de Bard sur le canal Discord de Google est une partie « routinière et sans surprise » du développement de produits. « Depuis le lancement de Bard en tant qu’expérience, nous sommes impatients d’entendre les commentaires des gens sur ce qu’ils aiment et sur la manière dont nous pouvons améliorer encore l’expérience », a déclaré la porte-parole de Google, Jennifer Rudstrom. « Notre canal de discussion avec les personnes qui utilisent Discord est l’une des nombreuses façons dont nous y parvenons. » La société a ajouté qu’elle avait lancé le serveur Discord en tant que communauté sur invitation avant de le rendre plus largement disponible. Lorsque Bard a été lancé, la société a été franche sur ses limites, y compris la capacité de l’outil d’IA à créer des mensonges qui semblent convaincants. Chaque fois que quelqu’un utilise Bard, Google inclut une clause de non-responsabilité sur l’outil indiquant : « Bard peut afficher des informations inexactes ou offensantes qui ne représentent pas les opinions de Google. » Les représentants de l’entreprise ont également déclaré que Google avait mené des tests contradictoires – visant à valider la manière dont il réagirait aux acteurs potentiellement malveillants – en interne avant de déployer Bard, et que l’entreprise espérait en apprendre davantage à mesure que le public continuerait de l’utiliser. Lire la suite : Un robot Google AI formé par des travailleurs « effrayés, stressés et sous-payés ».

Le serveur Discord a été mis en service en juillet, lorsque des milliers d’invitations ont été envoyées aux utilisateurs fréquents de Bard en dehors de l’entreprise. « Partagez vos réflexions et vos idées directement avec l’équipe derrière Bard, recevez des notifications précoces sur les mises à jour des produits et connectez-vous avec d’autres passionnés d’IA », lit-on dans l’invitation envoyée le 10 juillet. La description du serveur décrit la chaîne comme la communauté « officielle » des utilisateurs de Bard, et Jack Krawczyk, chef de produit senior chez Bard, a envoyé une vidéo selfie à la communauté lors du lancement de l’outil en Europe.

Discord n’a pas répondu à une demande de commentaire sur le chat.

La communauté en ligne compte actuellement environ 9 000 personnes, et quelques modérateurs de discussion sont des employés de Discord. La plupart des discussions tournent autour de la promotion de Bard et de l’IA ; Certains utilisateurs ont fait des affirmations fantaisistes, et peut-être trompeuses, sur les capacités de l’outil, notamment qu’ils ont construit un ordinateur d’échecs quantique en utilisant Bard ou qu’ils peuvent utiliser le robot pour rechercher sur le Web des données sur les cotes des paris sur le baseball et exécuter des simulations complexes. (Les employés de Google ont participé à un chat Discord pour dire que Bard n’avait pas ces capacités.)

Danielle Griffin, récente doctorante. Il n’est pas rare que des logiciels open source et de petits moteurs de recherche suscitent des conversations entre passionnés, a déclaré le diplômé de l’UC Berkeley qui étudie la recherche sur le Web et a rejoint le groupe Discord en septembre. Mais Griffin, qui a critiqué la manière dont Google façonne les interprétations du public sur ses produits, a déclaré qu’il se sentait « mal à l’aise » car la conversation était quelque peu confidentielle.

Le chat Bard Discord n’est peut-être qu’« un groupe de discussion inopiné, à grande échelle et à long terme ou une communauté de passionnés d’IA, mais la puissance de Google et l’importance d’une discussion ouverte sur ces nouveaux outils m’ont fait réfléchir ». Il a ajouté, notant que les autres efforts de l’entreprise pour obtenir les commentaires de la communauté, tels que la connexion à la recherche Google, étaient plus ouverts au public.

Sur le forum Bard, les utilisateurs ont soulevé d’autres questions épineuses liées à Google, donnant un aperçu de la manière dont le géant de la technologie travaille dur pour atténuer les critiques du public. À la mi-juillet, un membre du groupe a évoqué le projet Nimbus, un contrat de 1,2 milliard de dollars pour Google et Amazon.com Inc. Fournir à l’armée israélienne des outils d’intelligence artificielle, selon une revue des messages par Bloomberg. Le membre a fait part de ses inquiétudes quant au rôle de Google dans l’utilisation meurtrière de l’IA et a été rapidement banni du groupe, les modérateurs disant aux utilisateurs qu’ils devraient éviter « la politique, la religion ou d’autres sujets sensibles » dans le chat.

Le même mois, un autre utilisateur a demandé pourquoi Google s’appuyait sur des « entrepreneurs sous-payés et surmenés » pour améliorer les réponses de Bard. على الرغم من أن الشركة صرحت علنًا بأنها لا تعتمد فقط على المقاولين لتحسين تشغيل Bard للذكاء الاصطناعي، وأن هناك عددًا من الطرق الأخرى لتحسين دقته وجودته، إلا أن تريس واركينتين، مدير إدارة المنتجات في Bard، رد قائلاً: التأكيد على أهمية المدخلات البشرية لتدريب خوارزميات Froid.

« Le raffinement humain est crucial pour que Bard soit un produit pour tout le monde ; l’alternative est que les utilisateurs n’ont pas la possibilité de contrôler les fonctionnalités du produit, ce qui serait une énorme erreur à mon avis », a écrit Warkentin dans le chat. Nous n’avons pas besoin d’un produit de type « tour d’ivoire ». » -Nous avons besoin de quelque chose qui puisse convenir à tout le monde !

Les gens ont également échangé leurs points de vue sur les conséquences des coûts énormes nécessaires à la maintenance de grands modèles linguistiques. « Est-ce que quelque chose est fait pour réduire les coûts énormes en ressources d’un LLM ? » » a demandé un utilisateur sur le serveur Discord. « En particulier la consommation d’eau par requête et le besoin massif de GPU (dont la production nécessite beaucoup d’exploitation minière) ? »

« Je considère cela comme la conception de puces… ou de superordinateurs », a répondu Perl, responsable de l’expérience utilisateur chez Bard. « Je pense que nous continuerons à trouver des moyens d’obtenir le même comportement avec moins de ressources. »

Il y avait également des inquiétudes quant à l’exactitude de Bard dans le chat. Warkentin, le chef de produit, a souligné lors d’une discussion sur les insultes de Bard que Google a fait de grands progrès depuis le lancement de l’outil d’IA. « Nous sommes très concentrés sur la réduction des hallucinations et l’augmentation de la réalité ; c’est l’un de nos principaux indicateurs de réussite », a-t-il déclaré. « Nous nous sommes un peu améliorés depuis le lancement, mais c’est un travail en cours, alors continuez d’essayer et envoyez-nous vos commentaires. quand quelque chose ne va pas !

Fin septembre, le compte Discord officiel de Bard a publié un résumé des questions et réponses de son événement « Office Hours », qui vise à répondre aux questions de la communauté sur les intégrations récemment annoncées de Bard avec Google Apps. Lorsqu’on lui a demandé s’il y avait une chance que Bard s’écarte de la réalité en résumant ses courriels, le compte officiel de Bard a répondu : « Nous avons fait de notre mieux pour que cela se produise le moins possible. Mais comme Bard est encore en train d’apprendre et de grandir, il est possible qu’il Le compte dit que les gens devraient vérifier et référencer les sources utilisées par Bard. « Si Bard hallucine sur l’une des intégrations, veuillez nous le faire savoir dans le canal de rapport de bugs ! »

Rabiej, chef de produit Bard, a également souligné l’importance du nouveau bouton « Vérifier les réponses » de l’outil d’IA. « Cela mettra en évidence des choses qui pourraient ne pas être vraies en orange », a-t-il déclaré en octobre. Il a également affirmé que Bard n’a pas de réelle compréhension du texte qu’il ingère, mais que l’outil répond simplement avec plus de texte, en fonction des invites de l’utilisateur : « Rappelez-vous, Bard, comme tout grand modèle de langage, est un modèle génératif — il est. » Ne pas rechercher les choses et les résumer pour vous, c’est comme créer un script.

D’autres employés ont exprimé leur ambivalence à l’égard de l’IA générative de manière plus générale. « En prenant du recul par rapport à mon point de vue généralement négatif sur l’impact que peut avoir l’IA de nouvelle génération, je pense que l’éducation est l’un des domaines les plus intéressants et les plus potentiels de cette technologie », a déclaré James, concepteur d’expérience utilisateur. pour. Cool, dans la communauté Discord.

James a déclaré que les établissements d’enseignement supérieur et inférieur pourraient utiliser la technologie « pour aider à créer des expériences plus riches pour les étudiants grâce à un accès à une assistance presque 24h/24 et 7j/7 sur divers sujets, une fois que la crainte du public à ce sujet aura disparu ».

©2023 Bloomberg LP