- construit
- prévu
Recueillir une parole consentie dans les langues du Sahel
Les enregistrements publics dans les langues du Niger viennent de très peu de locuteurs. Nous avons donc conçu un programme pour enregistrer une parole consentie, avec les personnes qui parlent ces langues. Ce rapport en donne la conception ; rien n’a encore été recueilli.
Ce que nous avons trouvé
Lacune
Peu de locuteurs, et peu de types de parole
Sur environ 1 060 heures d’audio public en zarma, environ 10,7 heures sont à la fois sous licence ouverte et transcrites, soit à peu près 1 %.
Peul du centre-est du Niger
3 locuteurs ouvert, 9,5 h
110 locuteurs jeu de test prévu, 10,2 h
Types de parole zarma ouverte
- Spontanée guidée10,7 h
- Conversationrien d’ouvert
- Téléphonerien d’ouvert
- Enfantsrien d’ouvert
La place des heures ouvertes dans le champ ne veut rien dire. Les points comptent les locuteurs ; la part des heures de chacun n’est pas dans nos données.
Ces enregistrements ouverts en zarma viennent de sept locuteurs, et ceux en peul du centre-est du Niger, de trois. Les jeux de test que nous avons conçus prévoient 100 et 110 locuteurs. Nous n’avons trouvé, en zarma, aucune parole ouverte de conversation ou de téléphone, aucune parole d’enfant, et aucun jeu de test public avec de nombreux locuteurs tenus à l’écart de l’entraînement.
Locuteurs
Cinq voix d’entraînement mémorisées
Affiné sur environ sept heures de cinq locuteurs, un reconnaisseur a vu sa perte d’entraînement passer de 125 à 37, tandis que la perte sur le locuteur hors entraînement montait de 153 à 221, sur des échelles qui peuvent différer.
Pertes telles que la recette les donne ; les deux peuvent être sur des échelles différentes, ne comparez que leur sens. Un seul locuteur hors entraînement et un seul transcripteur : résultat indicatif.
Sur le locuteur hors entraînement, le taux d’erreur sur les caractères (CER), en forme repliée, est passé de 29,0 % à 25,7 %, puis n’a pas varié de plus de 0,2 point entre 2 000 et 5 000 mises à jour. C’est le même niveau que le meilleur reconnaisseur sans adaptation, à 25,5 %. Avec cinq locuteurs, entraîner plus longtemps a peu apporté, alors le programme vise d’abord le nombre de locuteurs.
Parcours
Un enregistrement, du téléphone au jeu de données
Des adultes enregistrent de courtes missions parlées, sur téléphone ou sur le web, hors ligne s’il le faut. Il y a 113 missions publiées, dans quatre langues d’enregistrement.
Étape 1 sur 8
Enregistrer Construit
La mission et la révision de l’accord sont figées avant que le micro s’ouvre, et l’enregistrement renvoie au consentement sous lequel il a été fait. Hors ligne, le téléphone n’enregistre que sous un consentement déjà confirmé par le serveur.
L’application web envoie des morceaux de 60 secondes au plus, et réessaie avec un délai qui part de 15 secondes et va jusqu’à 5 minutes. Un reçu suppose que le serveur ait relu les octets stockés. Deux personnes jugent chaque enregistrement, et chaque évaluateur, évaluatrice ignore qui a parlé. Deux avis concordants décident, un désaccord fait appel à une troisième personne, et un rejet demande toujours deux personnes. Il est prévu que les enregistrements acceptés entrent dans des versions datées et figées, et qu’un enregistrement retiré en soit purgé sous 7 jours.
Test
Un jeu de test équilibré dès la conception
Le jeu de test zarma prévu compte 100 adultes, 50 femmes et 50 hommes, en quatre tranches d’âge, enregistrés en présence d’un facilitateur, avec un consentement limité à l’évaluation.
une femmeun hommegenre non montré
11,2 h heures par type de parole
- Lecture 2,8 h 20 phrases nouvelles chacun
- Parole spontanée 4,2 h environ 2,5 min chacun
- Conversation 1,7 h 10 paires, 10 min chacune
- Appel 1,7 h 50 locuteurs
- Note vocale 0,8 h 50 locuteurs
Une conception : rien n’a été enregistré. Chaque point est un locuteur prévu.
Selon le lieu où chacun a grandi : Niamey 30, la région de Dosso 25, la vallée du fleuve (région de Tillabéri) 20 et le Zarmaganda 25. Environ 11,2 heures en tout : phrases lues, parole spontanée, conversations sur deux canaux, appels téléphoniques ordinaires et notes vocales, le tout transcrit deux fois, sans brouillon automatique.
La suite
- Une vérification, par des locuteurs natifs, des consignes orales et de l’accord de participation dans chaque langue.
- Un premier pilote en hausa, sur invitation.
- Les contrôles sur le serveur, et des versions d’écoute compressées pour chaque évaluateur, évaluatrice.
- La première version d’un jeu de données, avec sa déclaration de données.
- Les jeux de test zarma et peul.
- Les voix de studio pour la synthèse vocale, sous leur propre licence.
L’article
Collecting Consented Speech in the Languages of the Sahel: Design of a Mobile Programme
Namu AI Labnovembre 202616 pagesPDF
Résumé
Le résumé de l’article, en anglais.
The main obstacle to speech technology for the languages of the Sahel is data. Our earlier explorations measured how little there is: of about 1,060 hours of public Zarma audio, about 10.7 hours are both openly licensed and transcribed, all from seven speakers; open transcribed speech in the Fulfulde of Niger comes to about 12 hours; there is no public conversational, telephone or children's speech in Zarma and no public test set with many speakers; and a recogniser fine-tuned on five speakers memorised their voices within about a thousand updates while its error on a new speaker stopped falling. We describe the programme designed in response. Adults record short spoken missions in Hausa, Zarma, Tamasheq and Fulfulde in a collection app on the phone and the web, under a versioned agreement bound to every recording. Recordings travel in small hashed units and count as received only when the server has read back the exact stored bytes. Evaluators who passed an identity check and a listening test judge each recording without knowing who spoke; two agreeing judgments decide, and a withdrawal is designed to reach every stored copy, datasets included. Speaker-balanced test sets of 100 to 110 speakers are to be recorded in assisted sessions under evaluation-only consent, and voices for synthesis in a studio under their own licence. Every set will carry a data statement and a frozen version. The programme is opening: no contributor's speech has been collected, the app has been tested only on a development deployment with synthetic accounts, and several parts are plans, which we mark. We report the design, the reasons for it, and its limits and risks.
Donnez plus de voix à cette recherche
La suite demande de la parole consentie de beaucoup plus de locuteurs. Si vous parlez hausa, zarma, peul ou tamasheq, vous pouvez enregistrer de courtes missions depuis votre téléphone.
