Reconnaissance de Yes/No laide du HTKAdapt dun tutoriel du HTK par Nicolas Moreau

tapes de la ralisationCration de lensemble dapprentissage : Chaque lment du vocabulaire est enregistr plusieurs fois, et tiquet avec le mot correspondantAnalyse acoustique : Les signaux enregistrs sont convertis en une srie de vecteurs de traits.Dfinition des modles HMM : Un HMM est dfini pour chaque lment du vocabulaire de la tche de reconnaissance.Entranement des modles HMM : Chacun est entran avec lensemble dapprentissage correspondant.Dfinition de la tche de reconnaissance : La grammaire suivre est dfinie.Reconnaissance et valuation de la performance sur un corpus de test.

Organisation de lespace de travailOn cre la hirarchie de rpertoires suivante :data/ : emmagasine les donnes dapprentissage et de test (signaux acoustiques, tiquettes, etc.) dans deux sous-rpertoires data/train/ et data/test/.analysis/ : emmagasine les donns de ltape danalyse acoustique.training/ : emmagasine les fichiers concernant linitialisation et lapprentissage.model/ : Emmagasine les modles (HMMs).def/ : emmagasine les fichier de dfinition de la tche de reconnaisance.test/ : emmagasine les fichier ayant trait la validation (test).

Cration du corpus dapprentissageLenregistrement et ltiquetage sont accomplis laide de loutil HSLab (boutons rec, stop, mark et labelAs) :HSLab nom.sigAprs ltiquetage, on obtient un fichier texte .lab de la forme4171250 9229375 sil9229375 15043750 yes15043750 20430625 silOn recommence le processus avec des noms de fichiers diffrents pour chaque enregistrement (e.g. yes01.sig, yes01.lab, yes02.sig, yes02.lab, etc.)

Analyse acoustiqueOn utilise loutil HCopy :HCopy -A -D -C analysis.conf -S targetlist.txtanalysis.conf : fichier de configuration pour lextraction des coefficients acoustiques targetlist.txt : script spcifiant les noms et locations de chaque signal traiter et du fichier de coefficients correspondant gnrer.

MFCC_0_D_A = 12 MFCC + DC + 13 Delta + 13 Acceleration =39 coeff.

Dfinition structurelle des HMMIl faut dfinir le nombre dtats, les fonctions dobservation et les probabilit de transition entre tats : pas vident !Il faut dfinir 3 prototypes de HMM avec les options ~h "yes", ~h "no" and ~h "sil " dans les fichiers de description (hmm_yes, hmm_no, hmm_sil, )

Entranement des HMMElle comprend une phase dinitialisation et une phase dentranement pour chaque HMM

Entranement des HMMInitialisation 1: alignement temporel par algorithme de viterbiHInit -A -D T 1 -S trainlist.txt -M model/hmm0 \-H model/proto/hmmfile -l label -L label_dir nameofhmmnameofhmm : le nom du HMM initialiserhmmfile : fichier descriptif contenant le prototype du HMM trainlist.txt : liste complte des fichiers .mfcc constituant le corpus dapprentissagelabel_dir : Rpertoire des fichiers dtiquetage (.lab) correspondant au corpus dapprentissagelabel : indique quel segment tiquet doit tre utilis sans lensemble dapprentissage (yes,no, ou sil, puisquon a utilis ces noms pour tiqueter les HMMs)model/hmm0 : Rpertoire de sortie (doit exister) pour la description de HMM rsultante.La procdure doit tre rpte pour chaque modle (hmm_yes, hmm_no, hmm_sil).

Entranement des HMMInitialisation 2: initialisation des moyenne et variancesHCompv -A -D T 1 -S trainlist.txt -M model/hmm0flat \-H model/proto/hmmfile -f 0.01 nameofhmmnameofhmm : le nom du HMM initialiserhmmfile : fichier descriptif contenant le prototype du HMM trainlist.txt : liste complte des fichiers .mfcc constituant le corpus dapprentissagelabel_dir : Rpertoire des fichiers dtiquetage (.lab) correspondant au corpus dapprentissagelabel : indique quel segment tiquet doit tre utilis sans lensemble dapprentissage (yes,no, ou sil, puisquon a utilis ces noms pour tiqueter les HMMs)model/hmm0flat : Rpertoire de sortie (doit exister) pour la description de HMM rsultante, doit tre diffrenet que celui de HInit.La procdure doit tre rpte pour chaque modle (hmm_yes, hmm_no, hmm_sil)Pas requis si Hinit utilis, cependant gnre un fichier vFloors qui contient les variances multiplies par un coefficient tabli avec loption f (0.01 ci-dessus)

Entranement des HMMEntranementHRest -A -D -T 1 -S trainlist.txt -M model/hmmi -H vFloors \-H model/hmmi-1/hmmfile -l label -L label_dir nameofhmm

Nameofhmm, hmmfile, trainlist.txt, label_dir, label : comme avantmodel/hmmi : Rpertoire de sortie pour litration courante.

La procdure est rpte plusieurs fois pour chaque modle (hmm_yes, hmm_no, hmm_sil). Le processus sarrte lorsquune variable affiche lcran, change, devient constante

Dfinition de la tche de reconnaissance$word : variable qui prend les valeurs yes ou no{ } : zro ou plusieurs rptions du contenu[ ] : zro ou une rptition du contenu

Les HMM correspondant aux variables start_sil, end_sil, yes et no doivent tre prdfinis et la correspondance emmagasine dans un fichier texte (le dictionnaire de tche) colonne gauche : variableColonne droite : HMMMilieu : nom du rsultat mis

Sauve dans un fichier gram.txt

Dfinition de la tche de reconnaissanceLe systme constitu du rseau de tche, du dictionnaire de t6ache et des HMM associs est alors prt pour faire de la reconnaissance de paroleLe fichier gram.txt doit tre compil pour gnrer un rseau de tche HParse -A -D -T 1 gram.txt net.slf

La reconnaissance en temps diffrHVite -A -D -T 1 -H hmmsdef.mmf -i reco.mlf -w net.slf \dict.txt hmmlist.txt input.mfccinput.mfcc : les donnes dentre reconnatrehmmlist.txt : liste des modles utiliser (yes, no, dil), un par ligne dict.txt : dictionnaire de tchereco.mlf : fichier de sortiehmmsdef.mmf : contient les dfinitions des HMM concatnes

La reconnaissance en temps diffr

La reconnaissance en temps relOn peut aussi faire de la reconnaissance en direct !HVite -A -D -T 1 -C directin.conf -g -H hmmsdef.mmf \-w net.slf dict.txt hmmlist.txtdirectin.conf : fichier de configuration de lentre audio

Pas de fichier prenregistr! linvite READY, on dit un mot au micro et en pressant une cl du clavier, la rponse est fournie.

La reconnaissance en temps rel

*******