Qui figure dans le jeu de test hausa de FLEURS

La partie test hausa de FLEURS contient 621 énoncés lus, soit environ 3,3 heures d’audio. Ses métadonnées attribuent l’étiquette « féminin » à 620 d’entre eux et l’étiquette « masculin » à un seul.

FLEURS est un benchmark de parole conçu par Google, qui couvre 102 langues (Conneau et al., 2022). De nombreux articles y publient des résultats pour le hausa. Sa configuration hausa s’appelle ha_ng, pour le hausa tel qu’il est parlé au Nigeria. Nous avons regardé qui figure dans sa partie test, car c’est le jeu de test qui décide de ce qu’un score peut affirmer.

Ce que contient la partie test

Le 12 octobre 2026, nous avons lu le fichier de métadonnées de cette partie, data/ha_ng/test.tsv, dans le dépôt google/fleurs sur Hugging Face (CC BY 4.0). Il recense 621 énoncés, soit environ 3,3 heures d’audio au total. Le plus court dure 6,1 secondes et le plus long 78,9 secondes. La médiane est de 17,9 secondes.

Chaque énoncé porte une étiquette de genre. Parmi eux, 620 portent l’étiquette « féminin ». Un seul porte l’étiquette « masculin » : l’énoncé 505 dans l’ordre du fichier, qui dure 12,8 secondes. Les métadonnées ne donnent aucun identifiant de locuteur ; elles ne permettent donc pas de savoir combien de personnes différentes ont été enregistrées.

Pourquoi c’est important

Un taux d’erreur sur les mots (WER) mesuré sur cette partie décrit la façon dont un modèle entend du hausa lu par des voix étiquetées « féminin », dans un ensemble étiqueté « hausa du Nigeria ». C’est utile, et c’est la limite de ce que cette partie peut montrer.

Cette partie ne permet pas d’établir un score distinct pour les hommes. Un seul énoncé est un exemple, et un taux calculé sur lui ne voudrait rien dire. Elle ne dit rien non plus, directement, du hausa du Niger. Quand un article publie un chiffre unique pour le hausa sur FLEURS, ces limites accompagnent ce chiffre, que l’article les mentionne ou non.

Ses limites

• De la parole lue. Les locuteurs de FLEURS lisent des phrases tirées de FLoRes-101, un benchmark de traduction construit à partir d’articles Wikimedia en anglais (Conneau et al., 2022). Le registre est celui du hausa écrit, lu à voix haute. La conversation spontanée en est absente.
• Une seule variété. La configuration est étiquetée « hausa du Nigeria ». Rien n’y est étiqueté comme hausa du Niger.
• Une seule étiquette de genre, ou presque. 620 énoncés sur 621 portent la même étiquette ; le genre ne peut donc pas être étudié avec cet ensemble.
• Des locuteurs inconnus. Sans identifiants de locuteur, nous ne pouvons pas vérifier combien de voix contiennent ces 3,3 heures, ni si quelques locuteurs y dominent.
• Une orthographe pas encore vérifiée. Nous n’avons pas encore vérifié avec quelle régularité ses transcriptions écrivent les lettres crochetées ɓ ɗ ƙ ƴ. Cette vérification compte pour le calcul des scores, et elle fera partie de notre note de réévaluation.

Ce que nous en faisons

Il vaut toujours la peine de publier des résultats sur FLEURS, car cela permet de les comparer aux travaux publiés. Quand nous le ferons, nous indiquerons la partie utilisée, le normaliseur et sa version, ainsi que les limites ci-dessus.

Pour les affirmations que FLEURS ne permet pas d’étayer, il nous faut d’autres jeux de test. Rumbu prévoit un jeu de test hausa à locuteurs disjoints, qui précise ses dialectes, ses genres et ses conditions téléphoniques, et qui sera figé avant toute collecte de données d’entraînement. D’ici là, nous dirons à quelles questions nous ne pouvons pas encore répondre.