Il est probable que nous verrons des gros titres suggérant que Siri est raciste, d’après les conclusions d’une étude de l’Université de Stanford. La réalité, cependant, est un peu différente…
L’étude publiée dans la revue Actes de l’Académie nationale des sciences ont conclu que les systèmes de reconnaissance vocale créés par les géants de la technologie avaient un préjugé racial et que le système d’Apple était le pire. Le moteur de reconnaissance d’Apple a mal identifié 23 % des mots sont prononcés par des Blancs, mais 45 % de ceux prononcés par des Afro-Américains.
Il y a cependant deux très grand Mises en garde concernant les conclusions.
Tout d’abord, il ne s’agissait pas d’un test des systèmes réels : Siri, Alexa, Google Assistant, etc. Les chercheurs ont plutôt utilisé des outils de reconnaissance vocale fournis par les entreprises pour être utilisés par d’autres, explique le rapport. Le New York Times.
L’étude a testé cinq outils disponibles au public, proposés par Apple, Amazon, Google, IBM et Microsoft, que tout le monde peut utiliser pour créer des services de reconnaissance vocale. Ces outils ne sont pas nécessairement ceux qu’Apple utilise pour créer Siri ou qu’Amazon utilise pour créer Alexa. Mais ils peuvent partager des technologies et des pratiques sous-jacentes avec des services comme Siri et Alexa.
Chaque outil a été testé l’année dernière, fin mai et début juin, et il est possible qu’ils fonctionnent différemment désormais. L’étude souligne également que lorsque les outils ont été testés, celui d’Apple était configuré différemment des autres et nécessitait des travaux d’ingénierie supplémentaires avant de pouvoir être testé.
Deuxièmement, le discours afro-américain transcrit par les systèmes était ce que les chercheurs décrivent comme de l’anglais vernaculaire afro-américain, c’est-à-dire qu’il contient beaucoup d’argot.
Basés dans une communauté rurale majoritairement afro-américaine de l’est de la Caroline du Nord, dans une ville de taille moyenne de l’ouest de New York et à Washington DC, les testeurs noirs parlaient ce que les linguistes appellent l’anglais vernaculaire afro-américain – une variété d’anglais parfois parlée par les Afro-Américains dans les zones urbaines et dans d’autres régions des États-Unis. Les blancs se trouvaient en Californie, certains dans la capitale de l’État, Sacramento, et d’autres dans une zone rurale et majoritairement blanche située à environ 480 kilomètres.
Aucune différence n’a été constatée lorsque les mêmes mots d’argot étaient prononcés par des personnes blanches ou afro-américaines, le biais décrit concerne donc la reconnaissance de la terminologie, plutôt que des accents ou des voix.
Cela dit, il est raisonnable d’examiner les performances des systèmes de reconnaissance vocale face à l’argot couramment utilisé. Je suis juste un peu perplexe quant à la raison pour laquelle ils n’ont pas mené l’étude avec les services réellement utilisés par chaque entreprise. Donc, non, cela ne nous dit pas si Siri est raciste ou non.
Siri a récemment été mis à jour avec un questionnaire du CDC pour aider à déterminer si vous êtes susceptible d’avoir la COVID-19.