Actif

Hira

La conversation full-duplex en hausa

Lire les questions Voir l’avancement Collaborer

Une machine peut-elle écouter pendant qu’elle parle, en hausa, et prendre la parole à tour de rôle comme le font les locuteurs du hausa ?

Des modèles de parole qui écoutent pendant qu’ils parlent, conçus pour le hausa et évalués d’après la façon dont les locuteurs du hausa prennent réellement la parole à tour de rôle. Les gens ne parlent pas à tour de rôle en attendant poliment le silence.

Une oreille

Transforme la parole hausa en quelque chose qu’un modèle de langage peut lire.

Un cerveau

Un modèle multilingue, dont nous ne réentraînons pas les poids, décide quoi dire.

Une bouche

Construite sur l’architecture Moshi de Kyutai, elle parle tout en continuant d’écouter.

Les gens ne parlent pas à tour de rôle en attendant poliment le silence. Ils répondent avant la fin d’une phrase, disent « to » et « eh » pendant que l’autre parle encore, s’arrêtent quand on les interrompt, et étirent une salutation sur de nombreux échanges, parce que c’est la salutation qui compte. La plupart des systèmes vocaux ignorent tout cela : ils attendent, transcrivent, réfléchissent, puis parlent.

Hira est notre travail de recherche sur la parole full-duplex en hausa : des modèles qui entendent et parlent en même temps. Notre système actuel, Aïr, découpe le problème en trois. Une oreille transforme la parole hausa en quelque chose qu’un modèle de langage peut lire. Un cerveau, un modèle multilingue dont nous ne réentraînons pas les poids, décide de ce qu’il faut dire. Une bouche, construite sur l’architecture Moshi de Kyutai, parle tout en continuant d’écouter, ce qui lui permet d’attendre, de s’arrêter ou de signaler qu’elle écoute.

Nous sommes partis de là parce que, lors de notre première tentative, où un seul modèle devait tout apprendre à la fois, le modèle a appris le rythme de la conversation, mais pas son sens. Les questions sont désormais plus difficiles. À quel moment les locuteurs du hausa prennent-ils leur tour de parole ? Quels signaux d’écoute (backchannels) utilisent-ils, et où ? Un modèle peut-il apprendre cela à partir de dizaines d’heures de conversation réelle, quand les systèmes publiés en ont utilisé des dizaines de milliers ? Et comment le mesurer sans emprunter des réponses tirées de l’anglais ?

Nous publierons ce que nous mesurons, y compris ce qui ne fonctionne pas.

Ce que nous n’affirmons pas encore

La démo en direct d’Aïr n’est pas aujourd’hui un système parole à parole de bout en bout : son audition passe encore par une transcription.
Aïr n’a pas appris l’alternance des tours de parole en hausa. Le moment de ses prises de parole repose sur une politique de décision et sur des distributions issues d’autres langues, tant que la conversation réelle en hausa n’a pas été mesurée.
Aucun résultat d’Aïr n’est encore publié. Les chiffres internes paraîtront avec leurs conditions, après examen.
Le cerveau est un modèle multilingue tiers (McGill AfriqueQwen). Nous ne réentraînons pas ses poids, et ce n’est pas nous qui l’avons entraîné.

Deux voix, une même ligne de temps Le full-duplex, ce sont des chevauchements, des signaux d’écoute et des interruptions. Voici comment le Lab les montrera pour chaque conversation enregistrée.

Répliques tirées de la page Aïr de namu-ai.org. Le minutage est illustratif tant qu’aucun enregistrement consenti à deux voix n’est publié.

QuestionsCe que ce programme cherche à établir

01
Quelles sont les normes temporelles de la conversation en hausa — silences, chevauchements, fréquence, position et inventaire des signaux d’écoute — au Niger et au Nigeria, en face à face et au téléphone ?
02
Un modèle duplex peut-il conserver les aptitudes à l’alternance des tours de parole d’un modèle de base anglais tout en apprenant le contenu hausa auprès d’un cerveau distinct, et de combien de conversation réelle en hausa a-t-il besoin pour sonner hausa plutôt que traduit ?
03
La séparation thinker–talker (une oreille, un cerveau et une bouche) offre-t-elle un meilleur compromis que les modèles duplex à flux unique pour les langues peu dotées, en mesurant conjointement la pertinence, la latence et le naturel ?
04
Comment évaluer le comportement full-duplex dans une langue qui n’a aucun benchmark de prise de parole, et qui en juge ?

AvancementSeules les étapes terminées sont datées

Fait · Oct 2026Prototype thinker–talker en fonctionnementL’oreille, le cerveau et la bouche tournent comme une seule chaîne de recherche en direct. Interne ; compte rendu à venir.
En coursAïr en parole à parole, de bout en boutEntraînement de l’oreille sur de l’audio téléphonique réel, pour que l’audition ne passe plus par une transcription.
À venirD’abord mesurer les humainsEnregistrer, avec leur consentement, des conversations en hausa sur deux canaux au Niger et au Nigeria ; publier leurs statistiques temporelles.
À venirUn modèle de projection de l’activité vocale pour le hausaTester si les modèles de prise de parole anglais ou multilingues se transfèrent, sur un jeu hausa tenu à l’écart.
À venirBenchmark full-duplex hausa v0Des tâches notées par rapport à la conversation humaine en hausa, avec un protocole d’évaluation calibré sur des évaluateurs natifs.
À venirJugement conversationnel par des locuteurs natifsAu moins cinq évaluateurs de plusieurs dialectes ; accord entre évaluateurs indiqué.
À venirDémo publique et articleAvec une fiche système et un registre de consentement des voix.

Ce que nous publierons

Statistiques temporelles de la conversation en hausa
Un benchmark full-duplex pour le hausa
Article : thinker–talker pour le full-duplex en langues peu dotées, avec le résultat négatif qui y a conduit
Une démo d’Aïr, signalée comme préversion de recherche

Travaillez avec nous sur Hira

Nous recherchons des locuteurs du hausa, rémunérés, pour des enregistrements à deux, des évaluateurs de langue maternelle de différents dialectes, et des chercheurs qui travaillent sur l’alternance des tours de parole.

Nous écrire

Lectures

Autres recherches

Toute la recherche