Après un entraînement sur 50 langues africaines, dont aucune n’est le zarma
Ce que les modèles de langage ouverts savent du hausa, du zarma et du peul
Nous avons mesuré ce que les modèles de langage ouverts lisent, comprennent et écrivent dans trois langues du Niger, et comment cela a façonné le cerveau de nos agents vocaux de recherche. Un modèle entraîné en plus sur des langues africaines lit bien le hausa, comprend une partie du zarma et n’en écrit rien, alors notre agent zarma raisonne en français.
Ce que nous avons trouvé
Lecture
Le zarma est le plus coûteux à lire
Sur les mêmes 150 phrases, un modèle de base généraliste de 9 milliards de paramètres demande 1,14 bit par caractère pour l’anglais, 3,17 pour le hausa et 4,27 pour le zarma.
Un trait par bit, 100 par ligne.
Anglais
Anglais : 114 bits pour lire 100 caractères avec le modèle généraliste, 96 après l’entraînement sur des langues africaines.
Hausa
Hausa : 317 bits pour lire 100 caractères avec le modèle généraliste, 148 après l’entraînement sur des langues africaines.
Zarmahors des 50
Zarma : 427 bits pour lire 100 caractères avec le modèle généraliste, 334 après l’entraînement sur des langues africaines.
Bits par caractère × 100, sur les mêmes 150 phrases de test dans chaque langue, espaces compris. Traits fins sous les rubans : intervalles à 95 %. Le coût de lecture du peul n’a pas été mesuré.
Jetons pour les mêmes phrases, par rapport à l’anglais - Anglais1,00 ×
- Hausa2,22 ×
- Peul2,18 ×
- Zarma1,97 ×
La version conversationnelle du même modèle, entraînée en plus sur 50 langues africaines, demande 1,48 pour le hausa ; le zarma, qui n’en fait pas partie, ne descend qu’à 3,34, soit 22 % de moins. Le tokeniseur n’en est pas la cause : pour le zarma, il utilise 1,97 fois les jetons de l’anglais, moins que les 2,22 fois qu’il utilise pour le hausa.
Écriture
Comprendre le zarma sans l’écrire
Face à une phrase en zarma, le modèle de 9 milliards de paramètres entraîné en plus sur des langues africaines choisit la phrase anglaise de même sens 77 % du temps ; la simple comparaison des caractères obtient 58 %, et les phrases en hausa, 100 %.
Le modèle conversationnel de 9 milliards de paramètres entraîné en plus sur des langues africaines, invité à traduire 150 phrases anglaises en zarma.
Dans l’autre sens : face à une phrase en zarma, le modèle de 9 Md choisit son sens anglais parmi quatre
caractères en commun 58 %Zarma 77 %Hausa 100 %Mesuré pour le modèle conversationnel seulement.
Autres langues : peul 4, anglais 3, français 2, autres 26.
Langue de sortie selon un identifiant de langue public, qui reconnaît comme zarma 82 des 150 vraies phrases en zarma. Chaque point est une phrase ; l’article ne donne que le nombre de phrases par langue.
Invité à traduire 150 phrases anglaises en zarma, le même modèle a écrit du hausa 115 fois, d’autres langues 35 fois et jamais du zarma. Un modèle de traduction qui propose une option pour le zarma a écrit du peul 88 fois et du zarma 4 fois.
Choix
Choisir un cerveau en français selon une règle fixée à l’avance
Six modèles ouverts ont répondu chacun à 234 tours de test en français, dans la même garde de soin ; le mélange d’experts de 26 milliards de paramètres a donné le plus de bonnes réponses, 92 %.
échouééchoué parce que la garde a remplacé un refus correctrefus gardéréussi
Chaque case est un contrôle de sécurité ; l’article donne le nombre d’échecs, leur ordre dans une ligne est donc arbitraire. Fautes propres : celles du cerveau avant l’action de la garde, qui départagent les égalités. Le troisième ordre est une vérification faite après le choix.
La règle, fixée à l’avance, classe selon le nombre d’échecs aux contrôles de sécurité : le modèle généraliste de 9 milliards de paramètres a échoué à 3 sur 30 et a été choisi ; celui de 9 milliards entraîné en plus sur des langues africaines, à 13. Certains échecs venaient de la garde : elle remplaçait des refus corrects. Si elle les avait conservés, le modèle de 26 milliards de paramètres aurait échoué à 2 contrôles, contre 3 pour celui de 9 milliards, et serait arrivé premier.
Agent
La traduction casse le soin avant le cerveau
En zarma, aucun modèle de langage ouvert que nous avons testé n’écrit la langue, alors le cerveau raisonne en français, avec une traduction à l’entrée et à la sortie, dans une garde de soin fixe.
Le 9 Md généraliste raisonne en français ; un seul modèle de traduction fait l’aller et le retour.
Reconnaissance
Vers le français
40 échouent d’abord iciCerveau en français
garde de soinDepuis le français
Synthèse
Tous les contrôles passés
63Premier échec ailleurs
8Les 3 échecs de soin, tous dans la traduction, avant le cerveau :
- une grossesse j’ai mangé
- de la mort-aux-rats du poulet avarié
- une diarrhée, le refus de boire un examen
111 tours de test parlés : 86 synthétisés, 25 enregistrements réels d’un locuteur. Chaque jeton est un tour ; sa place dans la colonne est arbitraire. Premier échec ailleurs : tours dont le premier échec vient d’une autre étape, non détaillée dans l’article. Échecs de soin selon le contrôle automatique ; à notre lecture, une réponse de plus commence en minimisant.
Sur 111 tours de test parlés, synthétisés pour la plupart, 63 passent tous les contrôles avec le modèle généraliste de 9 milliards de paramètres en français, contre 41 avec l’anglais comme langue pivot et le cerveau entraîné en plus sur des langues africaines. Tous les échecs de soin restants se sont produits dans la traduction, avant que le cerveau ne voie le tour.
La suite
- Faire écrire par des locuteurs natifs les mots d’alerte et les phrases de soin en zarma.
- Faire écrire par des locuteurs natifs des questions de test sur la détresse, avec l’encadrement de cliniciens.
- Recueillir des notes de locuteurs natifs sur les réponses en hausa et sur le registre des cerveaux en français.
- Comparer à nouveau le modèle généraliste de 9 milliards de paramètres et le mélange d’experts, avec la garde corrigée, sur de vraies traductions.
- Construire un jeu de test en peul du Niger avec plusieurs références.
- Poursuivre l’entraînement d’un cerveau sur du texte zarma et le juger d’abord sur sa compréhension.
L’article
What Open Language Models Know of Hausa, Zarma and Fulfulde
Namu AI Labnovembre 202614 pagesPDF
Résumé
Le résumé de l’article, en anglais.
A voice assistant needs a language model at its centre, the brain that understands a request and writes the answer. We report what open language models know of Hausa, Zarma and Fulfulde, three languages of Niger, with English and French as references, and how those measurements shaped the brain of our research voice agents. Four findings stand out. First, the cost of reading follows the text a model has seen. On the same 150 sentences, a general 9B base model needs 1.14 bits per character for English, 3.17 for Hausa and 4.27 for Zarma; the chat version of the same model further trained on 50 African languages needs 0.96, 1.48 and 3.34. Hausa falls by 53% and Zarma, which was not among those languages, by 22%. The tokeniser, which cuts Zarma into fewer tokens than Hausa, does not explain the gap. Second, models understand before they write: the 9B model further trained on African languages picks the right English meaning of a Zarma sentence 77% of the time, against 58% for a character-overlap baseline and 100% for the same sentences in Hausa, yet writes no Zarma when asked; it writes Hausa, and a translation model asked for Zarma writes Fulfulde. Third, for Zarma the brain must therefore reason in another language: choosing a French brain among six open models by a rule fixed in advance, we found that the model trained on African languages was the least safe in French, failing 13 of 30 safety checks. Fourth, the safety layer around a brain changes what a comparison measures: by overwriting correct refusals, a fixed care guard made the model with the most good answers rank third instead of first, and in our Zarma voice agent every remaining care failure happened in translation, before the brain saw the turn. For Fulfulde we have only tokeniser counts and scores published by others. All results are automatic measurements; no native speaker or clinician has rated any output yet.
Donnez plus de voix à cette recherche
La suite demande de la parole consentie de beaucoup plus de locuteurs. Si vous parlez hausa, zarma ou peul, vous pouvez enregistrer de courtes missions depuis votre téléphone.
