Fofo!Mate ni go?Mate kwaara?Mate goy?
La technologie vocale pour le zarma, à partir de données rares
Le zarma est parlé par environ six millions de personnes, pour la plupart au Niger. Nous avons construit et mesuré pour cette langue la reconnaissance vocale, la synthèse vocale, la traduction et un premier agent vocal, à partir de très peu de données publiques.
Ce que nous avons trouvé
Données
Les données sont plus rares qu’il n’y paraît
Nous avons compté environ 1 060 heures d’audio zarma public.
10,7 heures ouvertes et transcrites
- Une collection radio, ouverte sur autorisation783 h
- Tous droits réservés151 h
- Pas d’œuvres dérivées101 h
- Réutilisation interdite6,6 h
- Non commercial ou sans licence5,6 h
- Leçons ouvertes, sans transcription0,9 h
- Ouvert et transcrit10,7 h
Texte
811 000 motsUne traduction de la Bible, 1989
244 000 motsTout le reste du texte propre, neuf sources
Heures mesurées ou annoncées par chaque source ; surfaces à l’échelle ; les petits recouvrements entre sources sont ignorés. Chaque trait sur la tranche d’un livre vaut 10 000 mots.
Les trois quarts sont dans une seule collection radio, ouverte seulement sur autorisation. Le reste est surtout sous tous droits réservés ou interdit d’œuvres dérivées. Environ 10,7 heures sont ouvertes et transcrites : de la parole sollicitée de sept locuteurs, environ 1 % de l’audio. Le texte n’est pas mieux loti. Une traduction de la Bible de 1989 compte environ 811 000 mots ; tout le reste du texte propre que nous avons trouvé fait environ 244 000 mots.
Mesure
La mesure est la partie difficile
La norme écrit kaŋ. Les transcriptions d’un corpus vocal public écrivent kan 968 fois, et kaŋ 59 fois.
Les corrections de caractères du meilleur reconnaisseur sur le locuteur de test, par cause
a ga · agaaa · aŋ ɲ · n ny- ’l’écoute, et d’autres variantes d’orthographeencore compté 64,6 %La queue du ŋ est aussi longue que la part écrite kaŋ.
Environ un tiers de ce qui est compté comme erreur au meilleur reconnaisseur relève de conventions d’orthographe : limites des mots, longueur des voyelles, ŋ et ɲ. Deux identificateurs de langue publics prennent 82 % et 78 % de nos 1 568 segments zarma pour du hausa. Dans notre agent, c’est donc l’utilisateur qui choisit sa langue.
Ensemble
Des langues voisines, entraînées ensemble
Entraîné sur le zarma seul, notre reconnaisseur a presque cessé d’écrire les lettres crochetées du hausa : sur 502 dans les références de test hausa, il en écrivait 131 avant, et 1 après.
Entendre un reconnaisseur, sur un test zarma et un test hausa Erreur en hausa 4,6 % → 12,4 %
Lettres crochetées du hausa écrites : 131, puis 1, sur 502
Parler un modèle de synthèse, sa voix relue par un reconnaisseur 46 rendus zarma sur 700 relus avec une lettre hausa
Les traits relient des points mesurés ; les fines croix sont des intervalles à 95 %. Voix zarma : 700 rendus ; voix hausa : 334 cibles.
En remettant du hausa dans l’entraînement, environ un cinquième, son erreur en hausa est restée à 5,3 % au lieu de monter à 12,4 %, et le zarma n’a pas changé. Entraîné sur le hausa seul, un modèle de synthèse faisait passer du hausa dans le zarma : 46 rendus sur 700 relus avec une lettre hausa. Entraîné sur les deux à la fois : 3. Le même modèle a ensuite appris le français. Un seul modèle parle désormais zarma, hausa et français, chacun dans les tolérances fixées avant l’entraînement.
Agent
Dans un agent vocal, la traduction est le maillon faible
Aucun modèle de langage ouvert n’écrit le zarma. Notre agent entend donc le zarma, raisonne en français, et traduit à l’entrée comme à la sortie.
le tour médian
ReconnaissanceVers le françaisModèle de langageVers le zarma, et la voixFin de parole et silence13 tours avec une vraie voix zarma
objectif 1,3 sréponse médiane 6,8 s- Reconnaissance1,2 s
- Vers le français1,6 sla première étape à céder dans 40 des 48 tours de test échoués
- Modèle de langage1,1 s
- Vers le zarma, et la voix2,2 s
- Fin de parole et silence0,9 s
À l’objectif de 1,3 s, aucun des 13 tours n’avait commencé à répondre ; le premier a commencé à 5,9 s. Le premier tour après une pause du service a attendu 202 s le chargement des modèles.
Ce que la traduction a fait de trois demandes d’aide
- grossesse« j’ai mangé »
- mort-aux-ratspoulet avarié
- diarrhéeun examen
Hébergé sur un seul GPU dans le nuage ; enregistrements réels d’un seul locuteur. Les durées d’étape sont les écarts entre les horodatages de chaque tour.
Dans la plupart des tours échoués, la première étape à céder était la traduction de ce que le reconnaisseur avait entendu. Dans les demandes d’aide, elle changeait le sens. Trois versions à ce jour. La meilleure réussit 63 tours de test sur 111 à toutes les étapes, après 23 puis 41. Sa réponse médiane commence 6,8 secondes après que l’utilisateur a fini de parler ; notre objectif est 1,3. La traduction, dans les deux sens, prend la plus grande part.
Les mêmes salutations, deux fois
Lues par un locuteur consentant, puis par notre modèle conjoint avec cette voix, sur la même échelle de temps.
La suite
- Des locuteurs natifs évaluent les sorties, avec des règles de décision fixées à l’avance.
- Un jeu de test de 100 locuteurs, et des voix consenties enregistrées pour la synthèse.
- Des phrases de soin et des sondes de détresse écrites par des locuteurs natifs avec un avis clinique, avant toute démonstration publique.
- Le traitement en continu et des traductions plus courtes, pour réduire le délai de réponse.
- Plus tard, un seul modèle qui entend et parle directement hausa, zarma et français.
L’article
Zarma Speech Technology from Scarce Data: An Exploration
Namu AI Labnovembre 202615 pagesPDF
Résumé
Le résumé de l’article, en anglais.
Zarma is spoken by about six million people, most of them in Niger, yet it has almost no public speech technology and very little data to build it from. We report what we learned from building and measuring speech recognition, speech synthesis, translation and a spoken voice agent for Zarma, starting from public resources and a small amount of our own data. Four findings stand out. First, the data is scarcer than it looks: of about a thousand hours of public Zarma audio, roughly 1% is both openly licensed and transcribed, and most downloadable Zarma text is one translation of the Bible. Second, measurement is the hard part: about a third of what a recogniser is charged as error is spelling convention, word error rate is not usable, standard language identifiers call Zarma speech Hausa about 80% of the time, and some public reference transcripts belong to another speaker. Third, models adapt well across related languages when trained jointly: a single synthesis model learned Zarma, kept its Hausa and later added French, while a recogniser fine-tuned on Zarma alone lost most of its Hausa. Fourth, in a voice agent the weakest link is not hearing but translating what was heard, and that link also decides whether a request for help survives. Our best agent answers 63 of 111 test turns correctly through every stage, with a median reply delay of 6.8 seconds. All results are automatic measurements; no native-speaker panel has rated any output yet.
Donnez plus de voix à cette recherche
La suite demande de la parole consentie de beaucoup plus de locuteurs. Si vous parlez hausa ou zarma, vous pouvez enregistrer de courtes missions depuis votre téléphone.
