Pas besoin d’être un pro du machine learning pour en avoir entendu parler : les algorithmes ont des biais ! Experts et ONG alertent sur les biais sexistes dans les systèmes de recrutement ou dans certains logiciels de crédit. Sans parler des biais racistes qu’on prête à la reconnaissance faciale ou aux logiciels d’aide à la décision judiciaire.

La cause essentielle de ces problèmes est connue : ce sont… nos propres biais. Car un algorithme "apprend" en analysant des masses de données. Lorsque ces données reflètent des jugements humains, l’algo en reproduit la logique – et les biais en tous genres. C’est d’ailleurs pourquoi, contrairement à une idée répandue, il ne suffit pas pour "dé-biaiser" un algorithme de lui cacher les caractéristiques protégées (genre, ethnicité, etc.).

Mais ce n’est pas tout. Une étude récente de deux chercheuses espagnoles suggère que cet apprentissage des biais pourrait fonctionner dans les deux sens. Quand ils ont été conseillés par un algorithme biaisé, les humains vont en reproduire les biais, même quand ils doivent, par la suite, s’en passer et décider seuls.

Bref, attention en choisissant vos algorithmes : non seulement ils ont des biais, mais ils pourraient vous les refiler !