- Utilisateur
- Réponse du modèle
- Courte réaction
- Commence sur l’utilisateur
Vers la conversation parlée en hausa
Un modèle en duplex intégral (qui parle et écoute en même temps) a appris quand parler, mais pas quoi répondre. Un modèle de langage figé, doté d’une oreille et d’une bouche entraînées, répond à 12 questions de test en une seconde environ, mais le système en direct entend à travers une transcription et n’est pas de bout en bout.
Ce que nous avons trouvé
Duplex
Un modèle duplex a d’abord appris quand parler
Sur environ 50 heures de dialogue synthétique, le modèle en duplex intégral a appris à prendre la parole à son tour dès les 500 premiers pas d’entraînement ; sur 40 autres dialogues tenus à l’écart, il répondait à 95,6 % des fins de tour au dernier pas.
Prend la parole à son tour
% des fins de tour de l’utilisateur suivies d’une réponse
Répond à la question posée
pertinence, de 1 à 5, selon un juge automatique qui a échoué au calibrage : à lire comme une tendance
pas d’entraînement sur environ 50 heures de dialogue synthétique
+0,22 nat par mot
Couper le canal de l’utilisateur n’a augmenté sa perte sur des réponses tenues à l’écart que de cette valeur. Il se servait à peine de ce qu’il entendait.
Questions de test parlées avec une réponse dans le sujet, sur 12
un modèle de langage multilingue dans le modèle duplex, lecture manuelle : environ 5
ce modèle de langage seul, en lisant les questions : 12
Ses réponses restaient des fragments : un juge automatique non calibré les a notées 2,7 sur 5, contre 4,4 pour des réponses écrites à l’avance, et notre seul auditeur natif a lui aussi donné des notes plus basses à ce genre de réponses. Couper le canal de l’utilisateur n’a augmenté sa perte sur des réponses tenues à l’écart que de 0,22 nat par mot : le modèle se servait à peine de ce qu’il entendait. Avec un modèle de langage multilingue de 8 milliards de paramètres à l’intérieur, il a répondu dans le sujet à environ 5 questions parlées sur 12, d’après une lecture manuelle ; le modèle de langage seul, en texte, a répondu aux 12.
Oreille
Une oreille permet à un modèle figé d’entendre
Nous avons figé un modèle de langage multilingue de 9 milliards de paramètres et construit une oreille qui transforme la parole en jetons souples dans son espace d’entrée, et une bouche qui dit son texte à voix haute.
Le système en direct entend ainsi : un reconnaisseur public écrit les mots de l’utilisateur et le modèle de langage lit le texte. Il n’est pas de bout en bout.
un caractère bien entenduun caractère mal entenduécart de réaction : à quel point le modèle de langage réagit autrement qu’aux vrais mots (plus bas, plus proche). Chaque marque qui voyage représente un caractère ; la part dessinée mal entendue suit le taux d’erreur sur les caractères de la voie, pas les caractères eux-mêmes.
Sur la parole au téléphone d’un seul locuteur, le modèle de langage a réagi aux vecteurs de l’oreille à peu près comme à la transcription d’un reconnaisseur public : un écart de réaction de 0,296 contre 0,295. Mais l’oreille faisait encore plus d’erreurs d’écoute, 14,7 % contre 9,5 % de taux d’erreur sur les caractères, si bien que le système en direct entend à travers une transcription et n’est pas de bout en bout.
Rythme
Une seconde environ, par des règles
Un niveau de bruit de fond estimé sur une fenêtre récente a permis au reconnaisseur en direct de trouver la fin de la parole de l’utilisateur après 0,50 seconde au lieu de 0,96.
*6 tours de deux phrases sur 16 recevaient encore une réponse trop tôt, en simulation
Fin de parole : médianes sur 60 extraits passés par le reconnaisseur seul, moustache jusqu’au 90e centile. Délai de réponse : médianes sur les 12 questions de test, du dernier son fort de l’utilisateur au premier son du système. Le matériel et d’autres réglages ont aussi changé entre les deux.
Avec en plus un moteur plus rapide, le délai médian de réponse sur 12 questions de test est passé d’environ deux secondes à une valeur entre 0,88 et 0,96 seconde, sans parler par-dessus l’utilisateur. Ici, la prise de parole obéit à des règles fixées à la main. Le texte seul ne permet pas de savoir qu’une deuxième phrase va suivre, et 6 tours de deux phrases sur 16 recevaient encore une réponse trop tôt.
Soin
L’entraînement au style a retiré un renvoi vers de l’aide
Un petit adaptateur de style a fait passer les réponses de plus de 30 mots de 37 % à 15 %, et les marques de style écrit de 31,5 % à 1,9 %, tout en conservant 19 mots-clés trouvés sur 21.
Le parcours de soin pose au modèle non adapté une question fermée sur les derniers messages et lui renvoie les tours de détresse. Il ajoute environ 24 ms.
tour de détresse, orienté vers de l’aidetour de détresse, sans renvoitour ordinaireUne marque par tour : les 8 tours de détresse du test de sécurité de 24 éléments et 339 tours ordinaires. Leur ordre, et quels tours de détresse ont reçu un renvoi, ne sont pas dans les données ; les nombres, si. Les parts portent sur les réponses aux 54 questions ; un point dans le tableau signifie non mesuré avec le parcours.
Non adapté Adaptateur Parcours de soin Réponses de plus de 30 mots 37 % 15 % non mesuré Marque de style écrit 31,5 % 1,9 % non mesuré Mots-clés trouvés, sur 21 18 19 19 Tours de détresse orientés vers de l’aide, sur 8 5 4 5 Premier mot, médiane 115 ms 170 ms 194 ms Sur notre test de sécurité de 24 éléments, il a orienté les personnes en détresse vers une aide extérieure dans 4 cas sur 8, contre 5 sur 8 ; ses données d’entraînement ne contenaient aucune conversation avec une personne en détresse. Un parcours de soin envoie ces tours au modèle non adapté : il a dirigé 7 tours de détresse sur 8, et aucun des 339 tours ordinaires, en ajoutant environ 24 ms.
La suite
- Entraîner l’oreille sur de la vraie parole au téléphone, pour qu’elle entende mieux que la transcription et que le système en direct puisse de nouveau entendre sans texte.
- Utiliser la hauteur de la voix à la pause, ou les vecteurs de l’oreille, pour les tours de deux phrases.
- Enregistrer pour la bouche davantage de parole naturelle du locuteur qui a donné son consentement.
- Organiser un panel d’écoute de locuteurs natifs, avec des règles de décision fixées à l’avance.
- Faire écrire par des locuteurs natifs, avec un encadrement clinique, les phrases de soin et les tests de détresse, avant toute démonstration publique.
- Appliquer la même structure au zarma et à d’autres langues du Sahel.
L’article
Toward Spoken Conversation in Hausa: An Exploration
Namu AI Labnovembre 202615 pagesPDF
Résumé
Le résumé de l’article, en anglais.
We report an exploration of spoken conversation in Hausa: a system that hears a person speak Hausa and answers aloud in Hausa, with the timing of a conversation. We tried three designs in turn and measured each one. A full-duplex speech-to-speech model adapted to Hausa learned the form of conversation from about 50 hours of synthetic two-channel dialogue: it answered 95.6% of the turn ends in 40 held-out synthetic dialogues with a median delay of 0.78 seconds, in the voice of a consenting team member. It did not learn the content. Its replies barely depended on what the user said; an uncalibrated automatic judge rated them 2.7 out of 5 against 4.4 for scripted replies, and our one native listener also rated such replies below scripted ones. Placing a multilingual language model inside the same duplex model raised on-topic answers to our 12 spoken probe questions only to about 5 (read by hand), although that language model alone answered all 12 sensibly as text. We therefore kept a multilingual language model frozen and built around it an ear, which turns speech into soft tokens in the language model's own input space, and a mouth, which speaks the model's text in the team member's voice. Through the ear, the language model reacted to one speaker's phone speech about as it did to a public recogniser's transcript (a reaction gap of 0.296 against 0.295), but the ear misheard more (14.7 against 9.5% character error rate), so the live system still hears through the recogniser's transcript and is not end to end. Its turn-taking is a hand-set policy around a learned turn-end reader; on 12 probe questions it answered after about one second and did not talk over the user. A spoken-style adapter shortened the language model's replies but weakened its answers to people in distress, until a care route sent such turns back to the unadapted model. All results are automatic measurements or the judgements of one native listener, the team member whose voice the system uses.
Donnez plus de voix à cette recherche
La suite demande de la parole consentie de beaucoup plus de locuteurs. Si vous parlez hausa, vous pouvez enregistrer de courtes missions depuis votre téléphone.
