Données
Le hausa tel qu’on le parle, enregistré avec le consentement des locuteurs
Les modèles de parole apprennent la langue qu’on leur donne. Nous construisons la parole hausa et zarma que les jeux de données publics laissent de côté, avec celles et ceux qui la parlent.
Le problème
La parole hausa publique est étroite
La plupart des données publiques de parole hausa ont été lues à voix haute à partir d’un texte, au Nigeria, par des personnes à l’aise avec une application sur téléphone. FLEURS, un benchmark dont de nombreux articles rapportent les résultats, comporte un jeu de test hausa étiqueté « hausa du Nigeria », dans lequel 620 énoncés sur 621 sont prononcés par des femmes. Ce n’est pas le hausa que parlent nos utilisateurs, et les modèles entraînés et testés sur ces données apprennent une version étroite de la langue.
Notre approche
La recueillir ensemble, avec des règles claires
Rumbu est notre programme pour constituer la parole hausa qui manque, à la manière dont une communauté entretient un grenier : ensemble, avec soin, et avec des règles claires sur qui peut y puiser. Nous enregistrerons le hausa du Niger et du Nigeria dans ses variétés régionales : des conversations entre deux personnes sur des canaux séparés, de la parole transmise par des appels téléphoniques ordinaires comme par des applications, et des personnes qui ne lisent pas, invitées à parler à partir d’images et de questions plutôt que d’un texte.
Chaque personne enregistrée donnera son consentement éclairé en hausa, choisira à quoi sa voix pourra servir, et sera rémunérée pour son temps. Chaque jeu de données sera accompagné d’une déclaration de données (data statement) qui indique qui y figure, comment il a été enregistré et ce qu’il ne permet pas d’étayer.
Nous publierons ce que le consentement et la loi permettent, et dirons clairement ce que nous gardons en accès fermé, et pourquoi.
Ce que comprendront nos donnéesRumbu est en ouverture : rien n’a encore été collecté
Conversation à deux
Des locuteurs sur des canaux séparés, pour que chevauchements, signaux d’écoute et interruptions restent exploitables pour la recherche full-duplex.
Appels téléphoniques ordinaires
La parole sur les lignes téléphoniques que les gens utilisent réellement, ainsi que sur des applications.
Variétés régionales
Le hausa du Niger et du Nigeria, écrit dans l’orthographe de chaque pays.
Jeux de test figés
Sans locuteurs communs, stratifiés par dialecte et par genre, figés avant la collecte des données d’entraînement.