Le PDG d’OpenAI, Sam Altman, arrive à la Maison Blanche pour rencontrer le vice-président Kamala Harris sur AI, le jeudi 4 mai 2023, à Washington.

Eva Fauci | PA

OpenAI a annoncé mercredi qu’il s’attaque aux hallucinations contre l’intelligence artificielle, en utilisant une nouvelle méthode pour former des modèles d’IA.

La recherche intervient à un moment où la désinformation émanant des systèmes d’IA est plus controversée que jamais, au milieu du boom de l’IA générative et de la préparation de l’élection présidentielle américaine de 2024. OpenAI a accéléré le boom de l’IA générative l’année dernière lorsqu’il a publié ChatGPT, son privé Il est pris en charge par GPT-3 et GPT-4, a dépassé les 100 millions d’utilisateurs mensuels en deux mois et établirait un record pour l’application à la croissance la plus rapide. À ce jour, Microsoft a investi plus de 13 milliards de dollars dans OpenAI, et la startup a été évaluée à près de 29 milliards de dollars.

Les hallucinations de l’IA se produisent lorsque des modèles comme ChatGPT d’OpenAI ou Google Bard fabriquent complètement des informations, se comportant comme s’ils publiaient des faits. Un exemple : dans la vidéo promotionnelle de février de Google pour Bard, le chatbot fait une Réclamation invalide À propos du télescope spatial James Webb. Plus récemment, ChatGPT a cité des cas « fictifs » dans un dossier devant un tribunal fédéral de New York, et les avocats de New York impliqués pourraient être passibles de sanctions.

« Même les modèles modernes ont tendance à produire des faussetés – ils montrent une tendance à inventer des faits dans les moments d’incertitude », ont écrit les chercheurs d’OpenAI dans le rapport. « Ces hallucinations sont particulièrement problématiques dans les domaines qui nécessitent une réflexion en plusieurs étapes, car une seule erreur logique suffit à faire dérailler une solution beaucoup plus vaste. »

La nouvelle stratégie potentielle d’OpenAI pour lutter contre les insultes : entraîner les modèles d’IA à se récompenser pour chaque étape individuelle correcte du raisonnement lorsqu’ils parviennent à une réponse, plutôt que de simplement récompenser le résultat final correct. Cette approche s’appelle «gestion des processus» plutôt que «gestion des résultats» et pourrait conduire à une IA mieux interprétable, selon les chercheurs, car la stratégie encourage les modèles à suivre une chaîne de «pensées» de type humain.

« Détecter et atténuer les erreurs logiques ou les hallucinations dans un modèle est une étape critique vers la construction d’une IA conforme. » [or artificial general intelligence] », a déclaré Carl Kopp, mathématicien chez OpenAI, à CNBC, notant que bien qu’OpenAI n’ait pas inventé l’approche de modération des processus, la société contribue à la faire avancer. L’impulsion de cette recherche est de traiter les hallucinations afin de créer des modèles plus capables de résoudre des problèmes de pensée difficiles. »

Cobb a déclaré qu’OpenAI a publié un ensemble de données d’accompagnement de 800 000 étiquettes humaines qu’il a utilisées pour former le modèle mentionné dans l’article.

Ben Winters, conseiller principal au Centre d’information sur la confidentialité électronique et chef de projet pour l’IA et les droits de l’homme, a exprimé son scepticisme, déclarant à CNBC qu’il serait intéressé de voir l’ensemble de données complet et les exemples qui l’accompagnent.

« Je ne pense pas que cela à lui seul atténue de manière significative les inquiétudes concernant la désinformation et les résultats incorrects … lorsqu’il est réellement utilisé dans la nature », a déclaré Winters. Il a ajouté: « Il est certainement important qu’ils prévoient de mettre en œuvre ce qu’ils ont trouvé grâce à leurs recherches ici [into their products]Et, s’ils ne le sont pas, cela soulève des questions assez sérieuses sur ce qu’ils sont prêts à rendre public. »

Parce qu’il n’est pas clair si l’article d’OpenAI a été évalué par des pairs ou dans un autre format, Suresh Venkatasubramanian, directeur du Center for Technical Responsibility de l’Université Brown, a déclaré à CNBC qu’il considérait la recherche plus comme une observation initiale qu’autre chose. .

« Cela va nécessiter un changement dans la communauté de la recherche avant que nous puissions dire quoi que ce soit de précis à ce sujet », a déclaré Venkatasubramanian. « Dans ce monde, il y a beaucoup de résultats qui sortent très régulièrement, et en raison d’une instabilité générale dans le fonctionnement des grands modèles de langage, ce qui pourrait fonctionner dans un cadre, un paradigme et un contexte pourrait ne pas fonctionner dans un autre cadre, paradigme, et le contexte.

Venkatasubramanian a ajouté : « Certaines des choses hallucinogènes qui inquiètent les gens sont [models] Configurez les citations et les références. Il n’y a aucune preuve dans cet article que cela fonctionnera pour cela… Je ne dis pas que cela ne fonctionnera pas ; Je dis que ce document ne fournit pas cette preuve. »

OpenAI n’a pas répondu à une demande de commentaire demandant si la recherche a été examinée en externe à quelque titre que ce soit, ou quand, le cas échéant, la société prévoit de mettre en œuvre la nouvelle stratégie dans ChatGPT et ses autres produits.

« Il est certainement bienvenu de voir des entreprises essayer de bricoler le développement de leurs systèmes pour tenter de minimiser ce type d’erreurs – je pense que la clé est d’interpréter cela comme une recherche conjointe, étant donné les nombreux obstacles qui existent à des formes plus profondes de responsabilité », a déclaré Sarah Myers-West, directrice générale de l’Institute of Technology AI Now, pour CNBC.

Ouest ajouté,[OpenAI is] Un petit ensemble de données de rétroaction au niveau humain a été publié avec cet article, mais il n’a pas fourni de détails clés sur les données utilisées pour former et tester GPT-4. Il reste donc une énorme opacité qui remet en question tout effort significatif de responsabilisation en matière d’IA, même si ces systèmes affectent déjà directement les gens.