Tankaɗe
De l’audio brut à des données fiables
Quels choix de nettoyage des données de parole changent ce qu’un modèle apprend ?
Les méthodes qui transforment des archives radiophoniques, des enregistrements de terrain et de l’audio participatif en données en hausa et en zarma sur lesquelles un modèle peut apprendre et auxquelles un lecteur peut se fier. La plupart de l’audio en hausa dans le monde n’a jamais été fait pour des machines.
Segmenter
Découper les longues émissions et les enregistrements de terrain en énoncés.
Recouper
Garder ce sur quoi deux systèmes de reconnaissance s’accordent, et l’aligner mot à mot.
Réparer
Restaurer les lettres crochetées et l’orthographe, et étiqueter chaque licence.
La plupart de l’audio en hausa dans le monde n’a jamais été fait pour des machines. Ce sont des émissions de radio avec de la musique sous les informations, des entretiens téléphoniques à l’antenne, des prêches, des personnes qui lisent des phrases dans des téléphones bon marché. Avant que la moindre partie de cet audio puisse apprendre quoi que ce soit à un modèle, quelqu’un doit décider de ce qui est de la parole, de qui parle, de ce qui a été dit, de la façon dont cela doit s’écrire, et de la possibilité même de l’utiliser.
Tankaɗe est notre recherche consacrée à ce travail. Nous le traitons comme de la recherche, et non comme du nettoyage, parce que chaque choix change ce qu’un modèle apprend. Coupez les segments au mauvais endroit, et l’alternance des tours de parole disparaît. Acceptez une transcription qui omet les lettres crochetées ɓ, ɗ et ƙ, et le modèle apprend qu’elles n’ont pas d’importance. Améliorez un audio bruité avec un modèle génératif, et vous entraînez sur des sons que personne n’a prononcés.
Notre chaîne de traitement segmente l’audio radiodiffusé et en effectue la diarisation, filtre les transcriptions selon l’accord de deux systèmes de reconnaissance indépendants, aligne chaque mot dans le temps, corrige et uniformise l’orthographe du hausa, supprime la musique et les rediffusions, et associe à chaque fichier dérivé la licence de sa source. Nous mesurons ce que chaque étape conserve et ce qu’elle écarte, et nous vérifions les seuils par rapport à des transcriptions humaines.
Nous publierons les outils, les seuils et les rendements, afin que d’autres, travaillant sur des langues africaines, puissent tamiser leur propre audio, et voir où notre tamisage a fait fausse route.
Ce que nous n’affirmons pas encore
- Nos rendements et nos seuils restent internes jusqu’à leur publication dans un compte rendu, avec leurs conditions.
- La chaîne de traitement n’est pas terminée : les horodatages des mots sont provisoires tant qu’il n’existe pas d’annotations manuelles.
- Nous ne redistribuons ni contenu radiodiffusé de tiers ni aucune source au-delà de sa licence.
La vie d’un énoncé Enregistré, segmenté, aligné, normalisé et vérifié au regard du consentement du locuteur.
QuestionsCe que ce programme cherche à établir
- 01
Comment calibrer un pseudo-étiquetage fondé sur l’accord lorsque les références écrites sont elles-mêmes incohérentes ?
- 02
Peut-on retrouver une véritable structure conversationnelle à partir d’audio radiodiffusé en mono, et quelle est l’ampleur de l’erreur par rapport à de vrais enregistrements sur deux canaux ?
- 03
Quel est l’effet de l’amélioration générative sur le ton, les consonnes crochetées et l’identité du locuteur ?
- 04
Comment les restrictions de licence et de consentement doivent-elles se propager à travers les jetons (tokens), les alignements et les points de sauvegarde (checkpoints) pour qu’un usage interdit soit impossible ?
AvancementSeules les étapes terminées sont datées
- Fait · Oct 2026Chaînes de traitement construites pour l’audio radiodiffusé et la parole spontanéeSegmentation, accord entre deux systèmes de reconnaissance, alignement, correction orthographique et étiquettes de licence. Interne.
- En coursRédiger un compte rendu de l’existantLes chaînes de traitement et leurs rendements, au niveau d’exigence requis pour une publication.
- À venirVérification humaineUn jeu d’audit de transcriptions et d’horodatages des mots annotés à la main ; seuils revalidés.
- À venirPublier l’outilAvec le module linguistique hausa et des cas de test.
- À venirPublier des données dérivéesTranscriptions et alignements d’émissions du domaine public, avec une déclaration de données.
- À venirModule zarmaAppliquer l’outil au zarma et rendre compte de ce qui n’a pas fonctionné.
Ce que nous publierons
- Une chaîne de curation ouverte, avec des modules hausa et zarma
- Des données dérivées issues de la curation, là où les licences le permettent
- Un schéma de propagation des licences
- Article : tamiser l’audio radiodiffusé en hausa — rendements, seuils et ce qu’ils coûtent
Travaillez avec nous sur Tankaɗe
Nous recherchons des transcripteurs en hausa pour constituer le jeu d’audit, et des équipes qui font la curation d’audio dans d’autres langues africaines, avec qui comparer nos méthodes.
Nous écrireAutres recherches
Toute la rechercheHira
Des modèles de parole qui écoutent pendant qu’ils parlent, conçus pour le hausa et évalués d’après la façon dont les locuteurs du hausa prennent réellement la parole à tour de rôle.
Rumbu
De la parole hausa recueillie avec consentement et une juste rémunération, auprès des personnes et dans les lieux que les jeux de données publics laissent de côté.
Zarma
Les premières ressources de parole ouvertes et recueillies avec consentement, et des résultats de référence (baselines) honnêtes, pour le zarma, parlé par environ six millions de personnes le long du fleuve Niger.
Maʼauni
Des jeux de test, une normalisation du texte, des protocoles d’écoute et des benchmarks qui donnent un sens à un résultat en hausa ou en zarma.