Le précédent rapport du NIST sur l'estimation de l'âge a été publié il y a 10 ans. Comme le conclut le rapport, des progrès considérables ont été réalisés au cours de ces 10 années. En 2014, des tests ont été effectués à partir d'un ensemble de données constitué à partir de photographies de demandes de visa collectées dans les bureaux consulaires au Mexique. L'ensemble de données comprend 5 738 091 sujets, ou personnes, avec un total de 6 249 294 images de ces sujets capturées à une résolution de 252 x 300 pixels.
En utilisant exactement le même ensemble de données en 2024, le NIST a constaté que cinq des six algorithmes testés surpassaient l'algorithme le plus précis testé en 2014, et que la meilleure erreur absolue moyenne (MAE) calculée pour cet ensemble de données était passée de 4,3 à 3,1 ans.
Cela représente un réel progrès et nous pouvons nous attendre à ce que ces technologies continuent de s'améliorer à mesure que les algorithmes et les données sont constamment perfectionnés.
Le NIST a utilisé quatre ensembles de données supplémentaires dans le test de 2024 :
1. Photos d'identité judiciaire du FBI - 1 482 667 sujets photographiés à l'aide d'un équipement photographique standardisé, la majorité des images ayant une résolution de 480 x 600 pixels.
2. Passages frontaliers - 632 520 personnes filmées par des caméras web orientées par les agents d'immigration
3. Photos pour les demandes d'immigration - 802 332 sujets photographiés à l'aide d'un équipement photographique standardisé lors d'un entretien en présence d'un agent dans les bureaux de l'immigration aux États-Unis. La majorité des photos ont un fond blanc uniforme, les sujets ne portent pas de lunettes, ils sont photographiés de face et les images ont une résolution de 300 x 300 pixels.
4. Kalina Everyday - 1 991 autoportraits pris quotidiennement à des fins d'étude longitudinale
Une conclusion importante est que la précision de l'estimation de l'âge était souvent la plus faible lorsque l'on utilisait l'ensemble de données sur les passages frontaliers et la plus élevée lorsque l'on utilisait les photos des demandes d'immigration. On peut supposer que cela est probablement lié à la qualité respective des images dans ces ensembles de données, les images des passages frontaliers étant capturées de manière non standardisée à l'aide de webcams bon marché, avec des arrière-plans encombrés et un éclairage variable, tandis que les photos des demandes d'immigration sont de meilleure qualité grâce au processus de capture standardisé.
Cette conclusion nous indique que les déployeurs de telles technologies devraient tenir compte de l'impact que leur contexte de déploiement pourrait avoir sur les performances opérationnelles. Les détaillants, par exemple, pourraient constater qu'une caisse équipée d'une caméra de meilleure qualité, positionnée de manière à bénéficier d'un éclairage optimal et d'un arrière-plan moins encombré, est capable de fonctionner avec plus de précision qu'un déploiement de qualité inférieure et donc de gêner moins les acheteurs avec des contrôles d'identité inutiles.
Pour tirer le meilleur parti de cette technologie, les déployeurs, qu'il s'agisse de détaillants hors ligne ou de services en ligne, doivent vérifier que leurs performances sur le terrain correspondent à celles obtenues lors des tests en laboratoire.
Une autre conclusion est que le port de lunettes a une incidence sur l'erreur d'estimation, quatre des six algorithmes testés affichant des erreurs d'estimation plus élevées chez les hommes et les femmes portant des lunettes. Avec le temps, nous devrions nous attendre à ce que ces différences de performance s'atténuent, à mesure que les fournisseurs de technologies auront accès à davantage de données d'entraînement et de test couvrant ces apparences.
Cependant, cette constatation indique que les tests devraient également tenir compte d'autres facteurs liés à l'apparence, tels que le port de cosmétiques, de piercings, de faux cils et même de tatouages.
Il est très encourageant de voir le NIST aller au-delà du type de peau de Fitzpatrick dans son traitement des biais démographiques. Il utilise plutôt le pays de naissance comme indicateur de l'origine ethnique, car cette donnée est disponible dans les demandes d'immigration auxquelles il a accès, mais il fait preuve d'une grande transparence quant aux imperfections de cet indicateur :
1. il ignore les variations ethniques locales
2. une partie de la population aura des ancêtres transnationaux
Toutes tranches d'âge et tous algorithmes confondus, le rapport tend à montrer que les taux de faux positifs, où l'âge réel est inférieur à la limite d'âge légale, sont les plus élevés chez les femmes d'Afrique de l'Ouest et les plus faibles chez les hommes d'Europe de l'Est. Mais ce que nous ne pouvons pas dire, sans travaux supplémentaires, c'est comment cette différence de performance se compare au jugement équivalent d'un être humain, ni même à partir de quel seuil nous devrions considérer les différences de performance comme discriminatoires.
Le NIST est un laboratoire scientifique mondialement reconnu chargé d'évaluer et d'atténuer les risques liés aux systèmes d'IA, conformément au décret présidentiel de Joe Biden. Son rapport jouera un rôle essentiel dans le renforcement de la crédibilité et de la confiance du secteur en fournissant une vérification indépendante des performances des systèmes.
Serve Legal peut aider les fournisseurs et les déployeurs de technologies d'estimation de l'âge à aller plus loin en créant des ensembles de données spécialement conçus pour faciliter les tests à l'aide d'images pré-collectées ou de présentations en direct avec des données de référence couvrant plusieurs caractéristiques démographiques, différences de présentation décorative et facteurs environnementaux.
%20(1)-2.png)
