Wired et les journalistes d’investigation néerlandais de Light House Reports, ont associé leurs forces pour enquêter sur l’un d’entre eux. Ils ont obtenu le code et les données d’entraînement du système, leur permettant de reconstruire le système de scoring de l’aide sociale à Rotterdam pour tester son fonctionnement.

En 2017, la ville a déployé un nouveau système de lutte contre la fraude aux allocations mis en place par Accenture. Le système génère un score de risque sur tous les bénéficiaires de l’aide sociale.

En 2021, la ville de Rotterdam a suspendu ce système après avoir reçu un audit sur celui-ci, commandé par le gouvernement.

Les journalistes ont montré que le fait d’être une femme impacte le classement négativement. De même, le fait d’avoir des enfants, le fait d’être seul et de sortir d’une relation longue, le fait d’avoir des difficultés financières.

“Pour l’algorithme, il semblait que les jeunes étaient plus susceptibles de commettre une fraude à l’aide sociale, mais il a tiré cette conclusion sur la base d’un échantillon si petit qu’il était effectivement inutile.”

Un autre problème, soulignent les journalistes, tient au fait que nombre de fraudes relèvent surtout d’erreurs, liées au fait que tout changement de vie ou de revenu doit être signalé rapidement (c’est le cas notamment, on l’a vu dans le livre du sociologue Vincent Dubois, sur la mise en couple, qui est un statut binaire pour l’organisme d’aide, quand dans la réalité, c’est parfois un peu plus compliqué). Ces algorithmes pourtant traitent les erreurs comme la fraude délibérée de la même manière.

“Ces systèmes prennent également des informations nuancées et les aplatissent. Le champ de commentaire dans le système de Rotterdam, par exemple, où les assistants sociaux sont invités à faire des observations générales, est binaire. Tout commentaire est converti en “1”, tandis qu’un champ vide est converti en “0”. Cela signifie que les commentaires négatifs et positifs affectent le score de la même manière. Si, par exemple, un travailleur social ajoute un commentaire indiquant « ne montre aucun désir d’obtenir des résultats », cela a le même effet sur le score de risque qu’un commentaire indiquant « montre un désir d’obtenir des résultats ». Le manuel remis aux assistants sociaux pour l’évaluation des bénéficiaires ne mentionne pas que leurs commentaires seront introduits dans l’algorithme de notation des risques, ni que les commentaires positifs et négatifs seront lus de la même manière.”

Rotterdam est la seule ville qui a partagé le code de son système. Qu’elle a remis la liste des variables, les évaluations des performances du modèle, le manuel utilisé par ses data scientists, ainsi que le modèle d’apprentissage. C’est cette transparence inédite qui a permis de montrer combien le système était déficient. En 2017, Accenture promettait des résultats impartiaux et équitables.

L’automatisation des aides publiques a laissé une traînée de scandales dans son sillage, rappelle Wired, évoquant des problèmes d’accusation de fraude sociale massive dans le Michigan, comme en Australie, ou aux Pays-Bas. Non seulement ces déploiements ont accusé des innocents de fraude sociale, mais bien souvent, en leur demandant des remboursements indus, ces systèmes leur ont enfoncé la tête sous l’eau.

Sources:

• https://hubertguillaud.wordpress.com/2023/03/07/dans-la-machine-a-suspicion-des-limites-des-systemes-de-scoring-de-laide-sociale-a-rotterdam/

• https://www.wired.com/story/welfare-state-algorithms/