namu
namu-ai.orgÉcouter Aïr
Actif

Maʼauni

Une mesure honnête pour la parole en hausa et en zarma

Lire les questionsVoir l’avancementCollaborer

Quand peut-on se fier à un taux d’erreur sur les mots (WER) en hausa ?

Des jeux de test, une normalisation du texte, des protocoles d’écoute et des benchmarks qui donnent un sens à un résultat en hausa ou en zarma. Un taux d’erreur sur les mots en hausa peut changer sans que le modèle change le moins du monde.

Jeux de test

Figés, sans locuteurs communs, avec leurs catégories et leurs limites indiquées.

Normalisation

Formes strictes et repliées, publiées avec des cas de test.

Écoute

Des protocoles à l’aveugle, à plusieurs évaluateurs, avec leur accord publié.

Un taux d’erreur sur les mots en hausa peut changer sans que le modèle change le moins du monde. Un outil d’évaluation traite l’apostrophe de saʼa comme une espace. Un autre supprime les nombres. Une transcription écrit kasa là où le locuteur a dit ƙasa. Un jeu de test où 620 énoncés sur 621 sont prononcés par des femmes ne peut pas vous dire comment un modèle entend les hommes, et un jeu enregistré au Nigeria ne peut pas vous dire comment il entend le Niger. La plupart des chiffres publiés pour le hausa sont donnés sans ces conditions : ils ne peuvent donc pas être comparés, et ils peuvent être flatteurs.

Maʼauni est notre programme de mesure. Nous publierons un normaliseur de texte hausa versionné, avec des cas de test, qui conserve les lettres crochetées ɓ ɗ ƙ ƴ comme les sons distincts qu’elles sont. Chaque résultat que nous communiquerons sera donné deux fois, en mode strict et en mode replié (folded), pour que les lecteurs voient à quel point il dépend de l’orthographe. Nous construisons des jeux de test à locuteurs disjoints qui indiquent quels dialectes, genres et conditions téléphoniques ils contiennent, et quelles affirmations ils ne permettent pas d’étayer. Nous menons des tests d’écoute en aveugle et randomisés avec des locuteurs natifs, et nous indiquerons le degré d’accord entre les auditeurs.

Tout chiffre que nous publions sera toujours accompagné de ses conditions. Quand nous ne pouvons pas mesurer quelque chose, nous le dirons.

Ce que nous n’affirmons pas encore

  • Nous présentons des normes et des outils, pas un classement.
  • Nos études d’écoute comptent jusqu’ici trop peu d’évaluateurs pour rapporter un accord ; nous ne les présenterons pas comme validées.
  • Les mesures internes ne paraissent qu’avec leurs conditions, après examen.

Strict et replié Une même transcription notée de deux façons, calculée dans votre navigateur avec un alignement mot à mot.

Replier les lettres crochetées divise ce taux d’erreur par deux et masque la faute qu’un lecteur hausa remarque en premier.

QuestionsCe que ce programme cherche à établir

  1. 01

    Qu’est-ce qu’un normaliseur de texte correct et versionné pour évaluer le hausa et le zarma, et de combien les résultats publiés varient-ils d’une chaîne d’outils à l’autre sur les mêmes sorties ?

  2. 02

    Quels jeux de test permettraient d’étayer des affirmations par dialecte, par genre et par canal pour le Niger et le Nigeria, et jusqu’à quelle taille chaque cellule peut-elle descendre ?

  3. 03

    Comment évaluer le ton et la longueur vocalique dans la parole synthétisée quand l’orthographe ne les note pas ?

  4. 04

    Quelle est la fiabilité des juges automatiques par rapport aux auditeurs natifs pour le hausa ?

AvancementSeules les étapes terminées sont datées

  1. Fait · Oct 2026Normaliseur hausa implémentéFormes stricte et repliée, unification des apostrophes, correction des lettres crochetées. Interne ; v1 à publier.
  2. Fait · Oct 2026Chaîne d’outils pour tests d’écoute en aveuglePages de notation randomisées, avec statistiques d’accord. Interne.
  3. En coursNormaliseur v1Publication avec des cas de test ; le module explicatif de ce site tournera sur le même code.
  4. À venirNote de réévaluationDes modèles hausa ouverts, évalués sur des jeux de test publics avec plusieurs normaliseurs, en mode strict et en mode replié.
  5. À venirProtocole d’écoute v1Plusieurs évaluateurs, dialecte de chaque évaluateur consigné, protocole préenregistré ; accord publié.
  6. À venirJeu de test v1Issu de Rumbu, avec ses cellules et ses règles de suppression explicitées.
  7. À venirBenchmarksCodec et full-duplex, chacun avec une fiche d’évaluation.

Ce que nous publierons

  • Normaliseur Maʼauni v1 (hausa et zarma), avec un portage web et des cas de test
  • Un jeu de test recueilli avec consentement, avec une déclaration de données
  • Un kit ouvert de tests d’écoute
  • Article : que vaut un WER en hausa ?

Travaillez avec nous sur Maʼauni

Nous recherchons des auditeurs natifs de différents dialectes du hausa, et des chercheurs qui souhaitent réévaluer leurs résultats en hausa avec un normaliseur commun.

Nous écrire

Lectures

Autres recherches

Toute la recherche

Hira

Des modèles de parole qui écoutent pendant qu’ils parlent, conçus pour le hausa et évalués d’après la façon dont les locuteurs du hausa prennent réellement la parole à tour de rôle.

Rumbu

De la parole hausa recueillie avec consentement et une juste rémunération, auprès des personnes et dans les lieux que les jeux de données publics laissent de côté.

Zarma

Les premières ressources de parole ouvertes et recueillies avec consentement, et des résultats de référence (baselines) honnêtes, pour le zarma, parlé par environ six millions de personnes le long du fleuve Niger.

Tankaɗe

Les méthodes qui transforment des archives radiophoniques, des enregistrements de terrain et de l’audio participatif en données en hausa et en zarma sur lesquelles un modèle peut apprendre et auxquelles un lecteur peut se fier.