Pourquoi nous publions chaque score hausa deux fois

En hausa, un taux d’erreur sur les mots (WER) dépend de la façon dont le texte est nettoyé avant le calcul du score. Nous publierons chaque résultat en « strict », qui conserve les lettres crochetées, et en « replié », qui les retire.

Le taux d’erreur sur les mots (WER) compte les mots sur lesquels un système de reconnaissance de la parole s’est trompé, sous forme de substitutions, de suppressions et d’insertions, puis divise ce nombre par le nombre de mots de la référence. Avant de compter, l’outil de notation nettoie les deux textes. En hausa, cette étape de nettoyage peut changer le score sans que rien ne change dans le modèle.

Deux scores

Nos deux scores commencent de la même façon. Les majuscules et la ponctuation sont des conventions d’écriture : nous les retirons donc des deux textes, et nous écrivons tout signe semblable à une apostrophe avec un seul et même caractère, ʼ.

Le score « strict » conserve ensuite les lettres crochetées ɓ ɗ ƙ ƴ et l’apostrophe. Un mot écrit avec k là où la référence porte ƙ compte comme une erreur.

Le score « replié » (folded en anglais) ramène ɓ ɗ ƙ ƴ à b d k y, c’est-à-dire qu’il replie chaque lettre crochetée sur la lettre simple correspondante, et supprime l’apostrophe avant le comptage.

Le repliement existe pour une raison légitime. Le hausa est souvent saisi sur des claviers qui n’ont pas ces lettres ; beaucoup de transcriptions omettent donc les crochets ou placent une apostrophe devant une lettre simple. Si une référence a perdu un crochet que le modèle, lui, a écrit, le score strict compte comme une faute l’orthographe correcte du modèle.

Un exemple détaillé

La paire ci-dessous a été construite pour illustrer le calcul. La seconde ligne n’est la sortie d’aucun modèle.

Référence : Ana yin allurar rigakafi kowace Talata da Alhamis, daga ƙarfe takwas na safe.

Hypothèse : ana yin allurar rigakafi kowace talata da alhamis daga karfe takwas da safe

Les vaccins sont administrés tous les mardis et jeudis, à partir de huit heures du matin.

Après nettoyage, chaque ligne compte 13 mots, et il reste deux différences. Le modèle a écrit karfe sans le crochet du ƙ, et il a écrit da là où la référence porte na.

Le score strict compte les deux : 2 erreurs sur 13 mots, soit un WER de 15,4 %. Le score replié fait de ƙarfe et de karfe un seul et même mot, ce qui laisse 1 erreur sur 13, soit 7,7 %.

Sans aucun nettoyage, la même paire obtient 6 erreurs sur 13 mots, soit 46,2 %. Quatre mots corrects, Ana, Talata, Alhamis et safe, comptent comme des erreurs à cause d’une majuscule ou d’un signe de ponctuation.

Ce que le repliement cache

Dans cet exemple, le repliement divise le score par deux. L’erreur qu’il efface est le crochet manquant, le type d’erreur qu’un lecteur hausa remarque en premier.

En hausa, ɓ ɗ ƙ ƴ sont des lettres à part entière, qui notent des sons distincts. Une transcription qui écrit kasa pour ƙasa (terre, pays) est fausse aux yeux d’un lecteur hausa, et le score replié la juge correcte. Un système de reconnaissance de la parole qui n’écrit jamais de lettre crochetée peut obtenir un bon score replié tout en produisant un texte qu’un locuteur du hausa doit corriger à la main.

L’apostrophe pose la même question. Ceux qui écrivent le hausa utilisent plusieurs caractères différents pour la noter. Un outil de notation qui ne les unifie pas compte sa'a et saʼa comme deux mots différents, et un outil qui traite l’apostrophe comme une ponctuation coupe saʼa en deux.

Notre règle

Chaque WER en hausa publié par le Lab sera donné deux fois, strict et replié, côte à côte. L’écart entre les deux montre dans quelle mesure un résultat dépend de l’orthographe. Nous indiquerons le normaliseur et sa version.

Le nôtre sera publié sous le nom de normaliseur Maʼauni v1, avec des cas de test, et la figure de cette page fonctionnera avec le même code. Nous n’avons pas encore publié de score hausa qui nous soit propre. Quand nous le ferons, il suivra cette règle.

Si vous publiez des résultats en hausa et souhaitez recalculer leurs scores avec un normaliseur commun, écrivez-nous à contact@namuai.org.