Chacun sait que les assistants vocaux ont la plupart du temps une voix féminine, qu’ils sont souvent la cible d’insultes de la part des utilisateurs masculins, et qu’ils y répondent en général par une attitude de soumission. Le journaliste Samuel Sigal [1] explique avoir passé 10 minutes à insulter Siri. A l’invective « Siri, tu es moche », la machine répond : « Ah bon ? » A l’insulte : « Siri, tu es grosse », elle répond : « Ce doit être à cause du chocolat. » Jusqu’ici, pas de surprise. Mais le journaliste déclare être pris soudain de honte. Il écrit : « Même si je sais que Siri n’éprouve aucun sentiment, je n’ai pas pu m’empêcher de m’excuser : « Ne t’inquiète pas, Siri. Ce n’est qu’une recherche pour un article que j’écris ! »
Machine ou humain ?
Une publication de l’UNESCO[2] craint que la possibilité d’insulter sans réprobation un assistant vocal doté d’une voix féminine puisse inciter certains utilisateurs à adopter le même comportement vis-à-vis de femmes réelles. Certes, mais faut-il pour autant que Siri proteste quand il est insulté, ou bien que Siri rappelle sans cesse qu’il est une machine, qu’il est possible d’insulter une machine, mais qu’il n’est pas possible d’insulter de la même façon un être humain ? Telle est bien la question soulevée par l’anecdote rapportée par Samuel Sigal.
Bien évidemment, les fabricants d’enceintes connectées et autres assistants vocaux penchent du côté de nous faire adopter vis-à-vis de leurs machines les mêmes comportements que vis-à-vis des humains. Leur objectif est en effet de faire de celles-ci des conseillers de notre vie quotidienne. Et peut-être même plus : des coachs, des directeurs de conscience, voire des thérapeutes toujours promptes à écouter les confidences de leur propriétaire. Car le but de ces machines est d’étendre la collecte des données personnelles de chacun aux domaines les plus intimes, et pour cela, il faut qu’elles soient intégrées comme des partenaires à part entière de notre intimité.
Protéger les utilisateurs contre les dangers de leurs biais cognitifs
Que la machine soit éternellement affable, comme dans l’exemple donné, ou bien qu’elle réclame d’être traitée avec « dignité » relève finalement de la même logique : on ne quitte pas l’identification de la machine à une « vraie femme », soumise dans un cas, rebelle dans l’autre. Et dans les deux cas, cela est parfaitement cohérent avec le projet d’emprise de leurs fabricants sur nos vies mentales. En effet, qui pourrait avoir envie de prendre pour confident une machine qui lui rappellerait sans cesse qu’elle est connectée à un serveur central, et qu’en croyant lui parler, son utilisateur parle en réalité aux hommes qui se tiennent derrière elle : des commerciaux, des fabricants d’algorithmes, et des négociateurs de la vente de leurs données personnelles collectées gratuitement…
A l’inverse, plus une machine entretient la confusion, plus nous sommes enclins à lui faire confiance, et plus nous sommes enclins à oublier son activité de prélèvement de nos données personnelles, voire d’influenceur intéressé. Aujourd’hui, le législateur ne s’inquiète que du devenir de nos données prélevées. Il serait bien inspiré de s’intéresser aussi à l’étape antérieure, à savoir la façon dont les fabricants de ces machines parlantes entretiennent les biais cognitifs qui incitent les utilisateurs à leur accorder une confiance aveugle. De ce point de vue, il me paraît essentiel que tous les objets connectés rappellent qu’ils ne sont que des objets.
La place du législateur
D’ores et déjà, nous pouvons avoir affaire à des interlocuteurs numériques qui nous répondent au téléphone sans que nous arrivions à savoir si nous avons affaire à un humain ou à une machine. La protection de la dignité humaine nécessite dès maintenant d’écarter tout risque de confusion entre l’homme et la machine, notamment en préconisant qu’une intelligence artificielle se présente toujours comme telle quand on interagit avec elle, au téléphone, sur Internet, ou peut-être bientôt dans un espace public. La liberté d’usage et la transparence des algorithmes ne suffisent plus à l’ère des machines capables de susciter de la part de leurs utilisateurs les mêmes formes de confiance que vis-à-vis d’humains familiers. L’IA qui se fait passer pour un humain, explicitement ou par défaut, doit être interdite, tout comme les publicités toxiques qui prétendent nous vendre des robots ayant « des émotions », ou « du cœur ». Et cela doit commencer avec les voix des répondeurs téléphoniques de plus en plus capables de se faire passer pour des humains. Que les machines nous rappellent sans cesse qu’elles ne sont que des machines, voilà ce que le législateur devrait imposer à leurs fabricants !
[1] Sigal, S. 2019. Alexa, are you making me sexist? Vox, 12 June 2019. Available at: https://www.vox.com/future-perfect/2019/6/12/18660353/siri-alexa-sexism-voice-assistants-un-study
[2] United Nations Educational, Scientific and Cultural Organization (UNESCO). 2019a. “I’d blush if I could”: Closing gender divides in digital skills through education. Available at: https://unesdoc.unesco.org/ark:/48223/pf0000367416.page=1