Environ 11 heures sur 268 sont de la parole du Niger utilisable
La technologie vocale en peul pour le Niger
Nous avons fait l’inventaire de ce qui existe en technologie vocale pour les deux variétés de peul du Niger. Sur environ 268 heures de parole peule ouverte et transcrite, environ 11 heures utilisables viennent du Niger. Nous avons donc fixé un plan de test à 110 locuteurs avant toute mesure.
Ce que nous avons trouvé
Heures
Beaucoup de peul, peu du Niger
Les collections publiques contiennent environ 268 heures de parole peule transcrite, sous licence ouverte.
257 h passent à travers248 h d’autres variétés et 9,15 h de parole de l’ouest du Niger dont les transcriptions ne correspondent pas à l’audio
Radio du Niger, sur demande seulement 291 h Brouillons automatiques pour 100 h. Aucune heure vérifiée par une personne.
reste : une variété du Niger, avec une transcription fidèle à l’audioune autre variétéouest du Niger, transcription qui ne correspond pas à l’audioUn carré vaut une heure ; le dernier carré d’un groupe est coupé à sa fraction. Les variétés vont à peu près d’ouest en est ; la place d’un carré dans son tas ou dans la pile ne veut rien dire.
Environ 11 de ces heures sont dans les deux variétés du Niger, avec des transcriptions qui correspondent à leur audio : 9,5 heures de trois locuteurs de l’est, et 1,15 heure de l’ouest, de deux locuteurs. La plus grande source du Niger est une collection radio de 291 heures, ouverte sur autorisation, avec des brouillons de transcription automatique pour 100 heures, dont aucun n’a été vérifié par une personne.
Étiquettes
Les étiquettes publiées décrivent souvent une autre parole
Les 1 972 phrases peules d’un jeu de parole lue, classé sous un code de langue du Sénégal, sont toutes du texte en peul du Nigeria ; qui les a lues n’est pas documenté.
Dedans
Classé sous le SénégalDu texte peul du Nigeria
Les 1 972 phrases sont toutes des lignes d’un texte peul du Nigeria. Qui les a lues n’est pas documenté.
Dedans
Peul de l’ouest du Niger155 enregistrements correspondent à leur audio
Deux locuteurs, 1,15 h. Le texte seul ne dit pas leur variété.
- 596transcriptions dont la longueur ne suit pas l’audio, sous 4 étiquettes (7,94 h) ; 592 se retrouvent aussi dans la partie pulaar
- 150correspondent à leur audio, mais 140 se retrouvent aussi chez un locuteur pulaar
- 5répètent les enregistrements d’une autre étiquette, avec les mêmes durées
- 155correspondent à leur audio et à leur consigne : 2 locuteurs, 1,15 h
Un carré par phrase ou par enregistrement. Les enregistrements sont groupés selon la vérification ; leur ordre dans un groupe n’est pas dans les données. La vérification a lu les métadonnées et le texte, sans écoute.
Dans le seul corpus ouvert étiqueté « peul de l’ouest du Niger », 596 enregistrements sur 906 ont des transcriptions dont la longueur ne suit pas celle de leur audio : nous mettons donc ce corpus de côté.
Variétés
L’ouest et l’est du Niger sont loin l’un de l’autre
Une enquête dialectale dans l’est du Niger a trouvé 34 à 53 % de similarité lexicale avec l’ouest ; les auditeurs de l’est ont compris entièrement un texte du Nigeria, et mal le texte de l’ouest.
Les nombres
Le peul du centre-est du Niger emprunte à l’arabe ses dizaines, et au hausa dubu pour 1000.
- 5 : absent de nos sources
- 6 : absent de nos sources
- 20 : asherin
- 30 : talatin
- 1 000 : dubu
Échantillons de 12 000 mots, orthographe repliée. L’échantillon de l’ouest du Niger compte 6 548 mots, des étiquettes de locuteur qui contiennent ses deux locuteurs dont la transcription correspond à l’audio ; leur variété n’est pas établie. Seuls les noms de nombres cités par le rapport sont montrés.
Dans les textes publics, la parole de l’est du Niger se place près des données du Nigeria et du Cameroun, et loin du Pulaar et du Maasina. Les nombres diffèrent aussi : le peul de l’ouest du Niger et le Pulaar comptent par cinq, alors que le peul du centre-est du Niger utilise des emprunts arabes pour les dizaines. La synthèse vocale a donc besoin d’un réglage selon la variété.
Plan
Un jeu de test dimensionné avant tout résultat
Avec 55 locuteurs de l’ouest et 45 de l’est, un vrai gain de 1 point peut se voir dans chaque variété ; une seule région, ou les Woɗaaɓe à eux seuls, ne peuvent être que rapportés.
- Ouest, 55 locuteursdemi-largeur appariée 0,5peut valider un gain de 1 point
- Est, 45 locuteursdemi-largeur appariée 0,55peut valider, de justesse
- Diffa, 10 locuteursdemi-largeur appariée 1,0rapporté à part
Écart-type de la différence par locuteur, en points :11,5, supposé2,5 Simulation à graine fixe, 300 répétitions de 1 000 tirages bootstrap. L’écart entre locuteurs n’a jamais été mesuré pour le peul ; il sera réestimé après les 20 premiers locuteurs de test. Une silhouette est un locuteur prévu ; dans un groupe, l’ordre ne veut rien dire.
Le jeu de test du Niger : 110 adultes, dont la moitié de femmes, 55 locuteurs de l’ouest et 45 de l’est, plus 10 de Diffa rapportés à part. Les modèles apprennent sur les données publiques, gardent le hausa, le zarma et le français en les remettant dans l’entraînement, s’adaptent au Niger, et ne sont promus qu’en franchissant des seuils fixés à l’avance.
La suite
- Vérifier les tranches publiques et construire la suite d’évaluation publique.
- Y mesurer des références sans entraînement préalable, présentées comme indicatives.
- Enregistrer et figer le jeu de test du Niger à 110 locuteurs, avec une transcription par des locuteurs natifs.
- Fixer une convention d’orthographe avec des locuteurs natifs.
- Entraîner et promouvoir des modèles pour le peul de l’ouest du Niger, puis pour le peul du centre-est du Niger, selon les seuils fixés.
L’article
Fulfulde Speech Technology for Niger: Varieties, Resources and a Plan
Namu AI Labnovembre 202617 pagesPDF
Résumé
Le résumé de l’article, en anglais.
Fulfulde is one language with many varieties, spoken from Senegal to Chad, and Niger has two of them: a western variety around Niamey and Dosso and a central-eastern variety from Tahoua to Diffa. We surveyed what exists for building speech recognition and speech synthesis in these two varieties: public speech and text with their terms of use, the varieties that public models list, and the numbers that have been published. We have not run any model on Fulfulde for this report; it is a survey and an evaluation plan fixed before any result. Four findings stand out. First, Fulfulde has far more open data than Zarma, but little of it comes from Niger: of about 268 hours of openly licensed, transcribed speech, about 11 hours are in Niger's varieties with transcripts that fit their audio, and the largest Niger source, 291 hours of radio, is gated and has no transcript checked by a person. Second, published labels are unreliable: a read-speech set filed under a Senegal locale reads Nigerian text, and in the only open corpus labelled Western Niger Fulfulde, 596 of 906 recordings carry transcripts whose length does not follow their audio, and nearly all of these transcripts also appear in the same corpus's Pulaar part. Third, Niger's two varieties are far apart: a dialect survey found that eastern listeners understood a Nigerian text fully and the western reference text poorly, and public text places eastern Niger speech beside Nigerian and Cameroonian data. Fourth, spelling varies widely, from transcribers who mark vowel length in 0 to 4% of words to edited texts that mark it in 36 to 44%. No public recogniser has a language id for Western Niger Fulfulde, and we found no published number on Niger Fulfulde speech. We describe a 110-speaker Niger test set, sized by a speaker-level bootstrap, and the gates we fixed in advance.
Donnez plus de voix à cette recherche
La suite demande de la parole consentie de beaucoup plus de locuteurs. Si vous parlez peul, vous pouvez enregistrer de courtes missions depuis votre téléphone.
