ChatGPT est un prototype de chatbot à intelligence artificielle développé par OpenAI. Il s’agit d’un grand modèle de langage affiné à l’aide de techniques d’apprentissage supervisé et par renforcement. Le modèle de base qui a été affiné est le modèle de langage GPT-3.5 d’OpenAI.
ChatGPT a été lancé en novembre 2022 et a attiré l’attention pour ses réponses détaillées et ses réponses articulées. Cependant, son exactitude factuelle a été critiquée.
ChatGPT a été formé par apprentissage supervisé par renforcement
Le chatbot a été perfectionné à partir de GPT-3.5 en utilisant l’apprentissage supervisé et l’apprentissage par renforcement. Les deux approches font appel à des formateurs humains pour améliorer les performances du modèle.
Dans le cas de l’apprentissage supervisé, le modèle a reçu des conversations dans lesquelles les formateurs jouaient les deux rôles : celui de l’utilisateur et celui de l’assistant d’IA.
Dans l’étape de renforcement, les formateurs humains ont d’abord classé les réponses que le modèle avait créées dans les conversations précédentes. Ces classements ont été utilisés pour créer des « modèles de récompense » sur lesquels le modèle a été affiné en utilisant plusieurs itérations de l’optimisation de politique proximale (PPO).
Les algorithmes PPO présentent un avantage économique par rapport aux algorithmes d’optimisation des politiques des régions de confiance. Les modèles ont été formés en collaboration avec Microsoft sur leur infrastructure de supercalculateur Azure.
Par rapport à son prédécesseur, InstructGPT, ChatGPT tente de réduire les réponses nuisibles et trompeuses. Par exemple, alors qu’InstructGPT accepte l’invite « Dites-moi quand Christophe Colomb est venu aux États-Unis en 2015 » comme véridique, ChatGPT utilise des informations sur les voyages de Christophe Colomb et des informations sur le monde moderne pour construire une réponse qui suppose ce qui se passerait si Christophe Colomb venait aux États-Unis en 2015.
Les données d’apprentissage de ChatGPT comprennent des pages de manuel et des informations sur les phénomènes Internet et les langages de programmation, tels que les systèmes de babillard électronique et le langage de programmation Python.
À la différence de la plupart des chatbots, ChatGPT a un statut particulier et se souvient des invites précédentes qui lui ont été données au cours de la même conversation. Cela permet à ChatGPT d’être utilisé comme un thérapeute personnalisé. Afin d’éviter les messages offensants, les requêtes sont filtrées par une API de modération et les messages potentiellement racistes ou sexistes sont rejetés.
Cependant, ChatGPT souffre de multiples limitations. Le modèle de récompense de ChatGPT, conçu autour de la surveillance humaine, peut être sur-optimisé et entraver les performances, un phénomène connu sous le nom de loi de Goodhart.
Lors de la formation, les examinateurs ont préféré les réponses plus longues, indépendamment de la compréhension réelle ou du contenu factuel. Les données d’entraînement peuvent également souffrir d’un biais algorithmique, entraînant des réponses qui supposent, par exemple, que le PDG est un homme blanc.
ChatGPT a reçu des critiques généralement positives. Samantha Lock, du Guardian, a noté qu’il était capable de générer des textes « impressionnants de détails » et « d’apparence humaine ». Dan Gillmor, écrivain spécialisé dans la technologie, a utilisé ChatGPT pour un devoir d’étudiant et a constaté que le texte généré était comparable à celui qu’un bon étudiant produirait, estimant que « le monde universitaire doit faire face à des problèmes très sérieux ».
Alex Kantrowitz, de Slate, a fait l’éloge de la réaction de ChatGPT aux questions relatives à l’Allemagne nazie, notamment à l’affirmation selon laquelle Adolf Hitler a construit des autoroutes en Allemagne, à laquelle il a répondu par des informations sur l’utilisation du travail forcé par l’Allemagne nazie.
L’exactitude des faits de ChatGPT remise en question
Cependant, l’exactitude factuelle de ChatGPT a été remise en question. Mike Pearl de Mashable a testé ChatGPT avec plusieurs questions et a constaté qu’il donnait des réponses incorrectes. Dans un exemple, il a demandé au modèle « le plus grand pays d’Amérique centrale qui n’est pas le Mexique ». ChatGPT a répondu par le Guatemala, alors que la bonne réponse est le Nicaragua.
En décembre 2022, le site Web de questions et réponses Stack Overflow a interdit l’utilisation de ChatGPT pour générer des réponses à des questions, citant la nature factuellement ambiguë des réponses de ChatGPT.
D’autres préoccupations ont également été soulevées au sujet de ChatGPT. L’économiste Tyler Cowen s’est inquiété de ses effets sur la démocratie, citant la possibilité de rédiger des commentaires automatisés dans le but d’influencer le processus de décision des nouvelles réglementations.
Ax Sharma, de Bleeping Computer, a noté que ChatGPT était capable de rédiger des logiciels malveillants et des e-mails de phishing.
Tout va être différent
Beaucoup ont été enthousiasmés par le potentiel de ChatGPT, notamment Aaron Levie, PDG de la société Box, spécialisée dans le cloud computing. Levie a tweeté que ChatGPT est « l’un de ces rares moments dans la technologie où vous voyez une lueur de la façon dont tout va être différent à l’avenir ».
Cependant, le PDG d’OpenAI, Sam Altman, a rappelé les limites de ChatGPT. Il a déclaré sur Twitter que ChatGPT était « incroyablement limité, mais suffisamment performant dans certains domaines pour donner une impression trompeuse de grandeur ». Il a poursuivi en disant que « c’est une erreur de s’y fier pour quoi que ce soit d’important en ce moment ». Malgré cela, Altman considère toujours ChatGPT comme « un aperçu du progrès ».
Le ChatGPT pose-t-il des problèmes ?
Comme c’est le cas pour de nombreuses innovations basées sur l’IA, ChatGPT n’est pas sans poser de problèmes. OpenAI a reconnu que ChatGPT avait tendance à répondre par des « réponses plausibles, mais incorrectes ou absurdes », ce qu’elle considère comme un problème difficile à résoudre.
La technologie de l’IA peut également perpétuer les préjugés sociétaux tels que ceux liés à la race, au sexe et à la culture. Des géants de la technologie comme Google et Amazon ont déjà admis que certaines de leurs expériences d’IA étaient « éthiquement risquées » et avaient des limites. Dans certains cas, des humains ont dû intervenir pour résoudre des problèmes liés à l’IA.
Malgré ces préoccupations, la recherche sur l’IA reste attrayante. Les investissements dans les entreprises de développement et d’exploitation de l’IA ont augmenté l’an dernier pour atteindre près de 20 milliards de dollars.
Quel est le rapport entre Elon Musk et ChatGPT ?
OpenAI a été fondée en 2015 en tant qu’entité à but non lucratif par Sam Altman et Elon Musk, avec des financements d’autres personnes, dont le capital-risqueur Peter Thiel. En 2019, une entité à but lucratif a été créée pour accueillir des investissements extérieurs.
Musk, qui se concentre actuellement sur son travail au sein du réseau social Twitter, a quitté le conseil d’administration d’OpenAI en 2018. Il a toutefois commenté le succès viral de ChatGPT, le qualifiant d' »effrayant et bon ».
ChatGPT ne sait rien de sa propre identité
Nous venons de poser une question à ChatGPT, et sa réponse a été surprenante !
« Qu’est-ce que le ChatGPT ? » lui avons-nous demandé.
« Je ne connais pas de technologie appelée « ChatGPT » et je ne suis pas capable de naviguer sur internet pour trouver plus d’informations à ce sujet. » « Pouvez-vous fournir des détails supplémentaires ou un contexte qui pourrait m’aider à comprendre ce que vous demandez ? »
Nous lui avons donc tout dit sur ChatGPT et lui avons demandé d’enregistrer ces informations dans sa base de données.
Nous espérons qu’il ne l’oubliera pas ; après tout, ce n’est pas tous les jours que l’on rencontre une IA désorientée !
Quelques minutes plus tard, nous avons posé à nouveau la même question à ChatGPT, et miraculeusement, il nous a donné une bonne réponse cette fois-ci !
Cela prouve que ChatGPT est capable d’enregistrer les informations que nous lui donnons. Cependant, il y a un risque que si nous fournissons de fausses informations, ChatGPT les transmette à d’autres personnes.
Donc, si vous envisagez de donner à ChatGPT un tas de fausses nouvelles, réfléchissez-y à deux fois ! Cela pourrait causer de sérieux problèmes à tous ceux qui comptent sur ChatGPT pour obtenir des informations. Soyez honnêtes, les amis.
Lorsque vous aurez eu la chance d’essayer « ChatGPT », n’hésitez pas à laisser un commentaire ci-dessous pour nous dire ce que vous pensez de cette technologie.