Un seul modèle de synthèse vocale pour le hausa, le zarma et le français
Nous avons étendu un seul modèle de synthèse vocale avec clonage de voix du hausa au zarma, puis au français, et mesuré chaque langue à chaque étape. Le modèle à trois langues les garde toutes les trois dans des tolérances fixées avant tout calcul de score ; le français est jugé par un seul reconnaisseur, sur un jeu de test corrigé.
Ce que nous avons trouvé
Accent
L’entraînement sur le hausa seul a fait passer des lettres hausa dans le zarma
Après un entraînement sur environ 128 heures de hausa, un reconnaisseur doté d’un modèle de langage a trouvé le zarma aussi intelligible qu’avant : 11,5 % contre 11,8 %.
Parole zarma naturelle : 1 segment sur 888 en contient une.
Le hausa écrit ces quatre lettres crochetées.
Deux reconnaisseurs relisent les mêmes rendus
% d’erreur de caractères, replié
Chaque carré est un rendu : 140 phrases mises de côté, en 5 voix. Les données ne disent pas quels rendus contenaient une lettre crochetée, ni laquelle : leur place est arbitraire. Bandes : intervalles à 95 %.
Un reconnaisseur CTC, qui n’a pas de modèle de langage, a entendu une différence : 13,7 % contre 11,7 %. 46 rendus zarma sur 700 contenaient désormais une lettre crochetée du hausa, contre 7 pour le modèle de base, et 1 segment sur 888 de parole zarma naturelle.
Rejeu
Remettre du hausa dans l’entraînement l’a conservé
Nous avons ensuite entraîné le modèle sur 3,6 heures de zarma, avec du hausa dans un quart des échantillons. En partant de la base publique, la relecture du hausa donnait 3,0 %, contre 1,8 % pour la version 1.0.
Choisissez le point de départ et la part de hausa gardée
Environ un quart de hausa
40 % de hausa
Depuis la base publique
Pas entraînéLa part de 40 % n’a été essayée qu’en partant de la version 1.0.Depuis la version 1.0
HausaZarma
Relecture du hausa, % d’erreur de caractères (reconnaisseur avec modèle de langage)
toléranceversion 1.0
1,8 %base publique
2,9 %1,9 %1,52,02,53,03,5Aucun changement mesurable : +0,11 point (−0,12 à +0,35). C’est devenu la version 1.1.
Rendus zarma avec une lettre crochetée du hausa : 3 sur 700 (version 1.0 : 46)
Hausa : 334 cibles de 20 locuteurs présents dans les données d’entraînement de la version 1.0. La tolérance, fixée avant toute mesure : au plus 0,5 point de plus que la version 1.0. Différences appariées, intervalles à 95 % ; les barres de part sont approximatives.
En partant de la version 1.0, avec du hausa dans environ un quart des échantillons, la relecture du hausa donnait 2,1 % : dans la tolérance, mais un changement mesurable. Avec du hausa dans 40 % des échantillons, la relecture du hausa donnait 1,9 %, sans changement mesurable par rapport à la version 1.0. Ce modèle est devenu la version 1.1. La version 1.1 a aussi amélioré le zarma de 1,1 à 3,2 points par rapport à la version 1.0, et les lettres du hausa ont disparu : 3 rendus sur 700.
Français
Le français était conservé, et désormais il est pratiqué
Un modèle, trois versions : d’abord le hausa, puis le zarma en gardant le hausa, puis le français en gardant les deux.
Le français est pratiqué, et les trois langues restent dans leur tolérance.
Hausaajouté dans la 1.0, environ 128 h
2,3 %, contre 2,4 % pour la 1.1dans la tolérance
Zarmaajouté dans la 1.1, 3,6 h
10,5 %, contre 10,4 % pour la 1.1dans la tolérance
Françaisajouté dans la 1.2, 6,5 h
2,4 %, contre 2,2 % pour la base publiquedans la tolérance
tolérance : au plus 0,5 point de plusla version de comparaisonentraînépas encore entraîné
Relecture par le reconnaisseur sans modèle de langage, erreur de caractères repliée ; bandes : intervalles à 95 % quand la source les donne ; fenêtre : au plus 0,5 point de plus. Chaque version est comparée à la précédente dans une même évaluation, le français à la base publique. La 1.1 a été mesurée dans les deux évaluations : hausa 2,3 % et 2,4 %, zarma 10,5 % et 10,4 %.
Avant tout entraînement en français, la relecture du français donnait 2,1 % pour la version 1.0 et 2,2 % pour la version 1.1, à égalité avec la base publique à 2,2 %. La version 1.2 a pratiqué le français dans environ un cinquième des échantillons, et sa relecture donnait 2,4 %, dans la tolérance de 0,5 point par rapport à la base, sur le jeu de test corrigé. Elle a maintenu le zarma à 10,5 %, contre 10,4 % pour la version 1.1, et le hausa à 2,3 %, contre 2,4 %.
Estimateur
Qui figure dans les données dépend de l’estimateur
Un estimateur rapide, fondé sur la hauteur de la voix, attribuait aux femmes environ 14 % des heures d’entraînement en français.
HFHFHFHFHFHFHFHFHFHFHFHFHFHFHFHFHFHFHFHFclassés de même par les deux estimateurs et l’outilune femme, comme l’outil la plaçait
Des estimations de hauteur, pas des étiquettes humaines. La place des 20 est arbitraire ; pour les 44 autres, que les trois classaient de même, les données ne donnent pas le genre.
Comparé à un outil d’analyse phonétique sur 64 locuteurs hausa, il était en désaccord sur 20, en classant chaque fois parmi les hommes un locuteur que l’outil plaçait parmi les femmes. Un estimateur de hauteur plus minutieux était d’accord sur les 64, et attribuait aux femmes 34 % des heures de français.
La suite
- Des jurys d’écoute de locuteurs natifs en hausa, en zarma et en français, avec des règles de décision écrites au préalable.
- De nouveaux locuteurs zarma enregistrés, qui ont donné leur consentement pour la synthèse vocale.
- Un corpus d’entraînement en français, équilibré à l’aide d’un estimateur de genre vérifié, avec davantage de parole nigérienne.
- Des enregistrements de rires, de soupirs et d’autres formes de parole expressive en zarma et en hausa.
L’article
One Speech Synthesis Model for Hausa, Zarma and French: Adding Languages One at a Time
Namu AI Labnovembre 202614 pagesPDF
Résumé
Le résumé de l’article, en anglais.
We grew one voice-cloning speech synthesis model from Hausa to Zarma and then to French, and measured at every step whether the new language cost the earlier ones. Starting from a public massively multilingual model, we fine-tuned it on about 128 hours of read Hausa (version 1.0), then on about 3.6 hours of Zarma from five speakers with Hausa in 40% of the training samples (version 1.1), then added French at about a fifth of the samples (version 1.2). Two recognisers of different architecture read the renders back (one in the French stage); we report folded character error rate (CER) with 95% intervals, and count Hausa hooked letters in Zarma read-backs as a proxy for a Hausa accent. Training on Hausa alone kept the base model's French but, by this proxy, carried Hausa sounds into Zarma: 46 of 700 Zarma renders contained a Hausa hooked letter, against 7 for the base model. Training on Zarma with 40% Hausa lowered Zarma CER by 1.1 to 3.2 points against the Hausa model, removed the hooked letters (3 of 700) and moved Hausa by +0.11 points (interval −0.12 to +0.35); the same Zarma data with Hausa in a quarter of the samples, started from the public base instead, ended 1.2 points behind the Hausa model on Hausa. The three-language model holds French, Zarma and Hausa within tolerances fixed before scoring, with French judged by one recogniser on a test set we repaired after the registered set failed. Several effects outside the model were as large as the effect of training: the choice of voice spread Zarma CER from 9 to 16%, digits left as numerals raised it to about 20%, silence in a reference clip became long pauses in the renders, one truncated reference transcript made every system fail on its voice, and a pitch-based estimator put women at 14% of the French hours where a more careful one found 34%. All results are automatic measurements; no native-speaker panel has rated any output.
Donnez plus de voix à cette recherche
La suite demande de la parole consentie de beaucoup plus de locuteurs. Si vous parlez hausa ou zarma, vous pouvez enregistrer de courtes missions depuis votre téléphone.
