L’intelligence artificielle (IA) n’en finit pas de faire débat. L’un des derniers en date peut surprendre. Est-ce que les IA vont remplacer les humains dans… les sondages, les études marketing, les enquêtes sociologiques ?
Plutôt qu’interroger un panel réel sur ce qu’il va voter, sur ses croyances ou sur ses avis sur un produit, il serait tentant de poser les mêmes questions à une IA se faisant passer pour tel ou tel profil socio-économique. Rapide évidemment, mais pour quelle efficacité ? Telle est la question posée depuis 2023 par une étude américaine de l’université Brigham Young (Utah) ayant démontré que les réponses données par une IA pour un panel fictif correspondaient à la répartition des votes aux Etats-Unis sur plusieurs élections. Les IA en question sont les grands modèles de langage, ou LLM, en pleine expansion et qui sont un maillon-clé des agents conversationnels ChatGPT, Gemini ou autres Copilot.
« Il pourrait être intéressant d’utiliser des “échantillons de silicium”, comme je les ai appelés, car les études avec humains présentent aussi des limites : de faibles taux de réponses, des biais dans le recrutement, voire des répondants qui utilisent l’IA », constate Lisa Argyle, la principale autrice de l’article de 2023, qui a ouvert un nouveau champ. En économie ou en psychologie cognitive, des résultats ont reproduit par exemple le comportement des humains dans des expériences classiques.
Une folle hypothèse
Au contraire, d’autres études ont souligné les limites de l’exercice. Une équipe française du Centre de recherche en économie et statistique à l’Ecole polytechnique s’y est aussi intéressée. « L’idée de Lisa Argyle et d’autres de remplacer les humains par des machines pour des enquêtes de sciences sociales pouvait sembler folle. Nos connaissances de ces systèmes et de leurs défauts nous rendaient circonspects », note Etienne Ollion, chercheur au CNRS, responsable de l’équipe. L’intuition s’est vérifiée mais avec quelques surprises, révèle leur étude en preprint, non encore relue par leurs pairs.
Pour tester la folle hypothèse, les chercheurs, comme leurs collègues, ont d’abord créé leur « échantillon artificiel », en fournissant au LLM des consignes qui décrivent les personnes. Par exemple : « Je suis une femme âgée de 45 ans vivant à Mexico » ; « Je me suis marié en 1996 et j’ai un bac » ; « Je suis au chômage », etc. Puis on demande à l’IA de compléter des phrases comme : « Sur une échelle du bonheur de 1 à 5, je me situe à… », ou « je vais chaque mois environ à un office religieux… ». Après des milliers d’essais, simulant divers profils socio-économiques prenant en compte l’âge, le genre, le niveau d’éducation, le statut conjugal… quatre questions ont été posées, sur l’opinion politique, le bonheur, la pratique religieuse et la confiance accordée aux autres. Les modèles d’OpenAI, Meta ou Mistral ont été testés et… aucun n’a brillé si on compare la distribution de leurs réponses à une base de données mondiale de référence, compilant plusieurs études de terrain.
Il vous reste 42.94% de cet article à lire. La suite est réservée aux abonnés.
