Modélisation acoustique

Comme nous l'avons vu précédemment, la reconnaissance de la parole statistique consiste à trouver la séquence de mots $\hat{W}$ telle que :

$$\hat{W} = argmax_{W} P(W|X)$$

avec $W$ une séquence de mots et $X$ une séquence d'observations acoustiques (c'est-à-dire une séquence de vecteur de paramètres acoustiques étudiés dans le chapitre précédent).

En appliquant la règle de Bayes à la formule précédente, nous obtenons :

$$\hat{W} = argmax_{W} \frac{P(X|W)P(W)}{P(X)}$$

Comme la séquence d'observations $X$ est invariante, la probabilité $P(X)$ est la même quelque soit la séquence de mots $W$ considérée et donc n'a aucune incidence sur la recherche de $\hat{W}$. Ainsi, nous pouvons écrire :

$$\hat{W} = argmax_W P(X|W)P(W)$$

Deux termes apparaissent dans cette formule :

• $P(X|W)$, qui est la probabilité d'apparition de la séquence d'observations acoustiques $X$ lorsque la séquence de mots $W$ est prononcée.

• $P(W)$, qui est la probabilité que la séquence de mots $W$ soit générée dans la langue visée.

Si $P(W)$ est fournie par un modèle de langage, $P(X|W)$ est fournie par des modèles acoustiques, dont nous allons étudier les fondements dans ce chapitre.

Que modéliser ?

Au premier abord, il pourrait sembler naturel que pour obtenir la probabilité $P(X|W)$ nous analysions le signal de parole correspondant à chacun des mots de la langue que nous souhaitons reconnaître. Très vite nous constaterions la nécessité de détenir, pour chacun des mots, des enregistrements audio nous permettant de réaliser une étude statistique pour calculer la probabilité $P(X|W)$. Or, ceci est quasiment impossible : il n'existe pas suffisamment d'enregistrements audio avec leur transcription manuelles. De plus, une bonne modélisation d'un mot ne peut reposer que sur de nombreuses observations de ce mot : il faudrait détenir plusieurs enregistrements pour chacun des mots que l'on souhaite reconnaître, dans différentes conditions acoustiques, et prononcé par un grand nombre de locuteurs différents.

Pour surmonter cette limitation, une solution consiste à ne pas chercher à construire des modèles acoustiques au niveau des mots, mais à un niveau sublexical. L'unité de modélisation acoustique la plus utilisée est le phonème, qui constitue l'unité de sons produits dans une langue parlée. D'autres unités, comme la syllabe, ont pu également être utilisées.

Le phonème : une unité symbolique

Pour indiquer comment se prononce un mot, on utilise un ensemble de symboles, que l'on appelle phonèmes. Chaque phonème représente un son ou une 'famille de sons' discriminant dans une langue : un phonème est le symbole d'un son qui permet a minima de différencier deux mots. Par exemple, le son /r/ et le son /p/ permettent de distinguer les mots 'roule' et 'poule'. On parle de paire minimale pour ces paires de mots utiles pour déterminer le jeu de phonèmes d'une langue.

Cependant, il faut bien garder à l'esprit qu'un phonème est une représentation symbolique : plusieurs réalisations sonores peuvent correspondre à un même phonème. Ces réalisations sonores diffèrent d'un locuteur à un autre, voire même d'un mot à un autre pour un même locuteur. Des différences très sensibles de réalisations peuvent être associés au même phonème, comme pour le phonème /r/ qui peut représenter un [r] normal ('parisien') ou un [r] roulé (sud-ouest de la France, Afrique).

Les phonèmes sont dépendants de la langue : chaque langue possède son jeu de phonèmes. En français, il en existe un peu plus environ 36, comme par exemple ceux présentés dans le tableau suivant :

Jeu de 36 phonèmes pour le français, http://www.eworkshop.on.ca/edu/pdf/Mod12_tableau_36_phonemes.pdf

Avec seulement 36 unités symboliques permettant de décomposer l'acoustique de tous les mots du français, le phonème correspond à un niveau sublexical très intéressant à modéliser acoustiquement.

Coarticulation et assimilation

Comme nous l'avons évoqué précédemment, un même phonème correspond à des réalisations sonores différentes d'un mot à un autre, y compris pour un même locuteur.

C'est le cas par exemple du phonème /b/. Dans le mot 'biberon', il fait référence au son [b], alors que dans le mot 'obstacle', il fera référence au son [p]. Ce phénomène n'est pas réellement audible sans y prêter particulièrement attention, et vient du fait que la prononciation d'un phonème est dépendant des phonèmes qui l'entoure. Ceci s'explique par les contraintes de l'appareil phonologique humain et doit être pris en compte lors de la modélisation acoustique.

Un autre phénomène du même ordre est à prendre en considération : le phénomène d'assimilation, qui consiste en l'acquisition par un phonème des traits acoustiques de son voisin. Par exemple, la phrase "je suis là" se prononce "je sui la", mais peut également se prononcer [chui la]. Dans ce cas, on parle d'assimilation entre les phonèmes /j/ et /s/ qui produisent conjointement le son [ch].

Unité de modélisation : le phonème en contexte (ou triphone)

Comme nous venons de le voir, la modélisation des phonèmes nécessite de considérer, parmi d'autres, les phénomènes de coarticulation et d'assimilation.

Pour cela, ce ne sont pas les phonèmes seuls qui seront modélisés, mais des phonèmes situés en contexte, c'est-à-dire que chaque phonème sera modélisé en fonction de son voisin de gauche et de son voisin de droite : on parle de triphone. À ses voisins, il est possible d'ajouter la position du phonème dans le mot, ce qui est particulièrement utile pour les langues accentuelles (stress en anglais par exemple).

Considérons qu’il existe en français 36 phonèmes à modéliser. Si sont pris en compte les différents contextes (au plus, $36^2 = 1296$ contextes gauches et droits par phonème) et la position du phonème dans un mot (4 positions possibles : début, milieu, fin ou seul), on calcule qu’il y a au plus $3 \times 30^3 \times 4 = 559872$ triphones possibles. Ce nombre est probablement trop important pour assurer une bonne modélisation statistique, car il nécessite un très grand corpus d'apprentissage pour un nombre suffisant élevé de fois chacun des triphones. Heureusement, ce nombre est purement théorique. En pratique, il existe environ 9000 triphones en français : les autres correspondent à des combinaisons impossibles.

Ainsi, un modèle acoustique visera à modéliser un triphone. Il y aura autant de modèles acoustiques que de triphones.

Le passage du niveau phonémique au niveau lexical : des phonèmes aux mots

Ce point sera étudié en TP.

Les modèles de Markov cachés (HMM : Hidden Markov Models)

Pendant des années, les modèles acoustiques utilisés pour la reconnaissance de la parole ont principalement été construits à partir de modèles de Markov (HMM). Les HMM sont des automates probabilistes à états finis qui permettent de calculer la probabilité d’émettre une séquence d’observations.

Pour modéliser les phonèmes, nous construirons autant d'HMM qu'il y a de triphones à modéliser.

Hypothèse markovienne : quasi-stationnarité de la parole

Pour un système de transcription automatique de la parole, les émissions sont les vecteurs de caractéristiques du signal de parole (vus dans le chapitre précédent) et les HMM respectent l’hypothèse markovienne d’ordre 1 : la connaissance du passé se résume à celle du dernier état occupé.

Comme nous l'avons vu, pour capter certains comportements et évolutions du signal dans le temps, on intègre dans les vecteurs de caractéristiques du signal les dérivées premières et secondes des coefficients MFCC.

Les systèmes de reconnaissance de la parole à base de HMM reposent ainsi sur les postulats suivants :

• la parole est une suite d’états stationnaires, représentés par des vecteurs de MFCC et leur dérivées premières et secondes,

• l’émission d’une séquence de ces vecteurs est générée par un HMM respectant l’hypothèse markovienne d’ordre 1.

Architecture générale d'un modèle de Markov

La figure suivante présente un exemple de HMM, avec une topologie courante (modèle gauche-droit, avec saut d’état possible).

Modèle de Markov caché à 5 états

À chaque intervalle de temps, un HMM transite d’un état $i$ à un état $j$ (avec $j ≥ i$ : un état peut boucler sur lui-même) avec une probabilité discrète $a_{ij}$. À chaque instant $t$ un état $j$ est atteint et une émission $o_t$ est générée, associée à une densité de probabilité $b_j(o_t)$.

L’apprentissage d’un modèle acoustique revient alors principalement à estimer les paramètres suivants :

1. les probabilités d’émissions $b_j(o)$ des observations pour chaque état; il s’agit généralement de mélanges de densités de probabilités gaussiennes, définies par leurs vecteurs de moyennes, leurs matrices de covariances (en pratique il s’agit de matrices diagonales), et une pondération associée à chaque densité de probabilité ;

2. les probabilités discrètes $a_{ij}$ qui définissent la topologie du HMM en indiquant la probabilité de transition d’un état vers un autre.

Plus formellement, chaque HMM est composé :

• d'un ensemble ${\mathcal Q}$ d'états $q_i$, dont le nombre (la cardinalité) est choisi empiriquement ('à la main') ;

• d'un ensemble $A$ de probabilités discrètes $a_{i,j}= P(q_{t+1} = j | q_t = i)$ pour aller de l'état $i$ à l'état $j$ ($i,j \in {\mathcal Q}$) ;

• d'un ensemble $B$ de distributions de probabilité d'émission, avec une distribution de probabilité dépendante de l'état pour chaque état du HMM ;

• et d'un ensemble $\Pi$ de probabilités initiales sur les états $\pi_q$, donnant la probabilité pour chaque état $q \in {\mathcal Q}$ d'être l'état initial du HMM.

Ainsi, un HMM est défini par le quadruplet $(\mathcal Q, A, B, \Pi)$.

Les modèles de mélanges gaussiens (GMM : Gaussian Mixture Models)

Les probabilités d'émission $b \in B$ sont soit des distributions discrètes (qui nécessitent moins de calcul mais dont les performances sont moins bonnes), soient des mélanges de fonctions de densité continues. Les modèles probabilistes qui ont été les plus utilisés les dix dernières années avant l'avènement des DNN sont les modèles construits sur les fonctions de densité de probabilité continues multi-gaussiennes, nommés modèles de mélanges gaussiens (GMM).

Avec les GMM, la vraisemblance de l'émission $\boldsymbol{x}$ à l'instant $t$ pour l'état $q$ d'un HMM s'écrit :

$$b_q(\mathbf{x}_t)=\sum_{i=1}^{I} w_{q,i}{\mathcal N}({\mathbf{x}_t}; \boldsymbol \mu_{q,i}, \boldsymbol \Theta_{q,i})$$

avec :

• $\mathbf{x}_t$ la sortie à l'instant $t$

• $I$ le nombre de composants du mélange (le nombre de Gaussiennes)

• $w_{q,i}$ le coefficient de pondération du $i^{ème}$ composant du mélange pour le $q^{ème}$ état

• ${\mathcal N}$ est une fonction de densité Gaussienne à variables multiples, telle que:

\hat{\Lambda}= argmax{\Lambda} L(\Lambda|X) = argmax{\Lambda} \sum{Y\in\mathcal{Y}} \prod{t=1}^m b{y(t)}(\mathbf{x}_t) T{y(t),y(t+1)}

\hat{T}{i,j}=\frac{\sum{r=1}^{R}\frac{1}{Lr}\sum{t=1}^{Mr-1}\alpha_i^r(t)T{i,j}bj(\mathbf{x}{t+1}^r)\betaj^r(t+1)}{\sum{r=1}^{R}\frac{1}{Lr}\sum{t=1}^{Tr-1}\alpha_i^r(t)T{i,j}\beta_i^r(t)}

• $\beta_i^r(t)$ est la probabilité backward de l'état $i$ du HMM à l'instant $t$ de la séquence d'observation $X^r$

• $L_r$ est la vraisemblance totale de la séquence d'observation $X^r$, obtenue avec l'algorithme forward-backward. Nous supposons qu'il n'existe qu'un seul état initial et qu'un seul état final ; dans ce cas, $L_r =\alpha_{N}^r(M_r)=\beta_{1}^r(1)$ avec $N$ le nombre d'états dans le HMM. $L_r$ peut être considérée comme la somme des vraisemblances de tous les chemins reliant l'instant inital $t=0$ à l'instant final $t=R$ en consommant chaque vecteur d'observation.

Estimer la fonction de probabilité d'émission $b_q(\mathbf{x}_t)$ pour l'état $q$ et l'observation $\mathbf{x}_t$ revient à estimer les paramètres $\Gamma_q=(w_{q,i}, \boldsymbol \mu_{q,i}, \boldsymbol \Theta_{q,i})$ du GMM correspondant.

L'utilisation de l'algorithme de Baum-Welch pour l'estimation par maximum de vraisemblance implique les formules suivantes :

\hat{\boldsymbol \mu}{q,i} = \frac{\sum{r=1}^R\sum{t=1}^{T_r} \gamma{q,i}^r(t)\mathbf{x}t^r}{\sum{r=1}^R\sum{t=1}^{T_r} \gamma{q,i}^r(t)}

$\gamma_{q,i}^r(t)$ étant la probabilité d'occupation de l'état $q$ par le $i^{ème}$ composant du mélange gaussien (la $i^{ème}$ Gaussienne) à l'instant $t$, et $\gamma_{q}^r(t)$ étant la probabilité d'occupation de l'état $q$ à l'instant $t$ définie par : $\gamma_{q}^r(t)=\frac{1}{L_r}\alpha_q(t)\beta_q(t)$. La réestimation de l'ensemble des paramètres $\Lambda$ est répétée aussi longtemps que $L(\Lambda|X)$ augmente suffisament à chaque itération du processus.

Adaptation des modèles acoustiques gaussiens

Sera traité lors de la prochaine séance.

Les réseaux de neurones profonds

Sera traité lors de la prochaine séance.

Apprentissage automatique des modèles acoustiques neuronaux

Sera traité lors de la prochaine séance.

Adaptation des modèles acoustiques neuronaux

Sera traité lors de la prochaine séance.