64 lectures dépassent 30 secondes
Mesurer la reconnaissance vocale du hausa
Nous avons mesuré la reconnaissance vocale du hausa avec des reconnaisseurs publics et des jeux de test publics, et constaté que les conventions d’orthographe et le choix du sous-ensemble font varier un score à peu près autant que, sur de la parole lue, le choix entre deux reconnaisseurs de même taille. Dans la partie test hausa de FLEURS, environ la moitié des formes de mots écrites avec un crochet apparaissent aussi sans crochet.
Ce que nous avons trouvé
Orthographe
Les références contredisent leur propre orthographe
Le hausa s’écrit avec quatre lettres crochetées que la plupart des claviers n’ont pas. La notation stricte les garde ; la notation repliée les ramène à b, d, k et y.
écrit avec le crochetécrit sansChaque mot apparaît autant de fois que dans les références du test hausa de FLEURS.
Les références de quatre jeux de test comptent de 0,91 à 5,14 lettres crochetées pour 100 mots ; le jeu de radiodiffusion compte 8 ƙ en 12 066 mots. Dans FLEURS, 74 des 147 formes de mots écrites avec un crochet apparaissent aussi sans crochet, et la graphie crochetée représente 46 % de leurs occurrences. Pour un reconnaisseur de 1B sans adaptation sur FLEURS, les crochets expliquent 13,8 % des corrections de caractères en notation stricte, et les limites des mots 16,6 %.
FLEURS
Qui figure dans le jeu de test hausa de FLEURS
La partie test publique de FLEURS pour le hausa contient 621 enregistrements : 3,34 heures de phrases encyclopédiques lues à voix haute, sans identifiant de locuteur.
620 enregistrements sont étiquetés « féminin » et un « masculin » : un score distinct pour les hommes ne peut donc pas être calculé. Les 621 enregistrements ne lisent que 331 phrases : 116 une fois, 140 deux fois et 75 trois fois. 64 enregistrements, un cinquième de l’audio, dépassent 30 secondes, et 18 dépassent 40 ; un filtre courant de 3 à 20 secondes en garde 386.
Reconnaisseurs
Un décodeur à qui l’on indique la langue reste en hausa
Sur les enregistrements au téléphone d’un locuteur consentant, un reconnaisseur de 1B doté d’un décodeur à qui l’on indique la langue atteint 9,5 % de CER ; un autre doté d’une tête CTC, 38,4 %.
- parole lue par des volontaires3,85,8
- FLEURS6,56,7
- parole lue communautaire4,36,7
- monologues spontanés6,16,7
- téléphone, un locuteur9,538,4
% d’erreur de caractères, strict · traits : intervalles à 95 %, jeu téléphone seulement
Le modèle CTC a écrit 80 phrases sur 167 en partie dans des écritures non latines, avec des lettres arabes dans 64 d’entre elles. Le décodeur n’en a écrit aucune. Un reconnaisseur public affiné pour le hausa avait une erreur médiane par énoncé plus élevée qu’un reconnaisseur multilingue sans adaptation sur les trois jeux, 7,5 contre 3,9 % sur FLEURS ; pas d’intervalles.
Oubli
Un modèle affiné sur le zarma oublie les crochets du hausa
Sur FLEURS, sans adaptation, le reconnaisseur CTC de 1B écrit la lettre crochetée de la référence dans 131 cas sur 502 ; la plupart des autres deviennent des lettres simples.
ɓ42
ɗ163
ƙ247
ƴ50
comme dans la référencecrochet perduune autre lettresupprimée
Erreur de caractères hausa, replié, FLEURS (483 énoncés sans chiffre de 40 s au plus)
4,6 %051015Chaque carré est une lettre crochetée ; dans une même lettre, l’ordre est arbitraire.
Après un affinage sur le zarma seul, il en écrit une, et il écrit 310 fois la lettre zarma ŋ pour le n du hausa. Avec du hausa remis dans l’entraînement, il en écrit 134 sur 502 comme dans la référence, mais pas les mêmes : 81 ɗ sur 163 et 39 ƙ sur 247, contre 39 et 81. Son CER replié en hausa monte de 4,6 à 12,4 %. Remettre du hausa, à hauteur d’environ un cinquième des énoncés, le maintient à 5,3 % au point de contrôle choisi sur le zarma.
La suite
- Une relecture du normaliseur et des paires de mots avec et sans crochet par des locuteurs natifs.
- Un jeu de test hausa à locuteurs disjoints, qui précise ses dialectes, ses genres et ses conditions d’enregistrement, avec du hausa du Niger et de la parole au téléphone.
- Des tests d’écoute pour les tons et la longueur des voyelles.
- Des conventions de transcription et une évaluation pour les longs passages de parole spontanée.
- Un entraînement conjoint pour des reconnaisseurs qui servent le hausa et ses langues voisines.
L’article
Measuring Hausa Speech Recognition: Spelling, Test Sets and What a Score Means
Namu AI Labnovembre 202614 pagesPDF
Résumé
Le résumé de l’article, en anglais.
Hausa is written with four hooked letters that most keyboards lack, ɓ ɗ ƙ ƴ, and an apostrophe that is typed in several ways, while tone and vowel length are not written at all. A Hausa error rate therefore depends on how text is cleaned before scoring and on whose spelling the reference follows. We report what we learned from measuring Hausa speech recognition with public recognisers and public test sets. We describe a text normaliser with three scores: strict, which keeps the hooked letters; folded, which removes hooks and apostrophes; and space-free. The references disagree with themselves: in the public FLEURS Hausa test split, about half of the word types written with a hook also occur without it, and the hooked spelling accounts for 46% of those words' occurrences. The split holds 621 recordings of 331 sentences; 620 are labelled female, none carries a speaker identifier, and 64 are longer than 30 seconds. On read speech, zero-shot multilingual recognisers of about 1B and 3B parameters reach 4 to 8% character error rate (CER). Folded word error rate (WER) is 2.7 to 4.9 times folded CER on every set, except where a recogniser drifts into other scripts. On one speaker's phone recordings, a recogniser with a CTC head reaches 38% CER and writes 80 of 167 phrases partly in non-Latin scripts, while one of the same size with a language-model decoder, told the language, reaches 9.5%. A public recogniser fine-tuned for Hausa has a higher median per-utterance CER than a zero-shot multilingual one on the three sets where we compared them; we computed no intervals for that comparison. Of the 502 hooked letters in 483 FLEURS references, a zero-shot recogniser writes 131 as in the reference. After fine-tuning on Zarma alone it writes 1, and its Hausa folded CER rises from 4.6 to 12.4%; with Hausa mixed back into training it writes 134, and its CER is 5.3% at the checkpoint selected on Zarma. All results are automatic measurements; no native speaker has yet reviewed the normaliser or the spelling counts.
Donnez plus de voix à cette recherche
La suite demande de la parole consentie de beaucoup plus de locuteurs. Si vous parlez hausa ou zarma, vous pouvez enregistrer de courtes missions depuis votre téléphone.
