5.4.1.2 Con las gramáticas morfosintácticas GR160S-J y GR160S-S

A continuación se presentan los experimentos de referencia, con los 4 locutores, sin utilizar ningún Peso de Inserción de Palabras (PIP) ni ningún Peso Gramatical (PG), es decir, el peso para la información acústica y gramatical es el mismo. La gramáticas utilizadas son GR160S-J y GR160S-S (con sus diccionarios respectivos D-160J y D-160S). Los modelos de Markov son los SCHMM de tres codebooks con pausado de Viterbi  (S3V).

S3V PIP=0;PG=1	Tasa de Aciertos Palabras (WA)
Locutor	GR160S-J	GR160S-S
ENR	78.97	78.31
FER	68.59	68.31
LEA	82.33	81.96
ROM	88.03	88.50

Tabla 5.26 Resultados de la Evaluación (Tasa de Aciertos de Palabra o Word Accuracy) del Módulo Acústico utilizando modelos semicontinuos de Markov de 3 codebooks (S3V) con pausado, con la gramática morfosintáctica de 160 macrocategorías suavizada general del castellano, cambiando el diccionario (D-S, D-J).  Resultados para los 4 locutores (ENR, FER, LEA y ROM) . Sin ponderar la información gramatical frente a la acústica (PG=1) y sin penalizar las inserciones de palabras (PIP=0).

Ajuste de los Pesos de Inserción de Palabras (PIP) en el caso de utilizar una Gramática

Se supone que la incorporación de las restricciones gramaticales en el espacio de búsqueda deben compensar la falta de calidad de los patrones de reconocimiento (modelos HMM), sobre todo si estos no son demasiado buenos. En nuestro caso, vamos a utilizar modelos HMM semicontinuos con tres codebooks (S3HMM), que han demostrado tener un buen comportamiento en ausencia de gramática (Tesis Doctoral de Javier Ferreiros [FER96]). La gramática es GR160S-J, y el diccionario D-160J. Se analiza cómo varía la Tasa de Aciertos de Palabra (TAP) (WA-Word Accuracy, en inglés).

S3V – GR160S-J - PG = 1.0 - PIP variable
ENR		FER		LEA		ROM
PIP	WA	PIP	WA	PIP	WA	PIP	WA
15000	79.71	12000	70.56	10000	82.42	10000	89.71
25000	80.37	22000	70.93	20000	82.42	20000	91.12
35000	79.90	32000	70.84	30000	82.05	30000	90.74
45000	79.43	42000	70.56	40000	81.58	40000	90.93
55000	78.59	52000	70.74	50000	81.58	50000	90.18

Tabla 5.27 Tasa de Acierto de Palabras obtenida con el sistema S3V – GR160S-J, sin ponderar la gramática PG=1.0, y variando el Peso de Inserción de Palabras (PI). Para cada locutor y cada peso PIP se ha obtenido la Tasa de Acierto de Palabras (Word Accuracy)

Ajuste de la Ponderación de la Gramática (PG) sin Penalizar las Inserciones de Palabras (PIP)

A continuación llevamos a cabo el ajuste de la Ponderación de la Gramática (PG), sin penalizar las inserciones de palabras (PIP), con un factor de penalización o ponderación de la información gramatical frente a la del modelo acústico. Los modelos de Markov utilizados son los S3V, la gramática es GR160S-J, y el diccionario D-160J.

S3V PIP=0;PG var GR160S-J	Tasa de Aciertos Palabras (WA)
	Locutores
Peso Gramatical	ENR	FER	LEA	ROM
0.5	75.14	62.71	81.02	84.29
1.0	78.97	68.59	82.33	88.03
1.236	80.18	68.69	82.24	88.50
1.388	79.71	67.10	81.21	88.03
1.5	80.28	68.78	80.84	88.87
2.0	78.13	68.13	82.61	90.00
2.235	76.63	63.45	81.77	86.91
2.387	73.17	62.99	79.43	85.04
2.5	74.57	62.24	79.62	85.60

Tabla 5.28 Tasa de Acierto de Palabras obtenida con el sistema S3V – GR160S-J, sin Penalizar la Inserción de Palabras (PIP=0), y variando la Ponderación Gramatical (PG). Para cada locutor y cada factor de ponderación PG, se ha obtenido la Tasa de Acierto de Palabras (Word Accuracy)

Con los pesos PIP ( Peso de Inserción de Palabras) y PG (Ponderación Gramatical) obtenidos y que producen una mejor Tasa de Acierto de Palabras (WA), considerados como pesos independientes, evaluamos el sistema con la gramáticas GR160S-J y GR160S-S con sus diccionarios respectivos (D-160J y D-160S), con los modelos de Markov semicontinuos de tres codebooks (S3V). Los resultados obtenidos se muestran en la siguiente tabla. Hemos supuesto que los pesos PIP y PG óptimos calculados para la gramática GR160S-J son también óptimos para la otra gramática GR160S-S, hipótesis que no es cierta pues cada gramática necesita del ajuste de los pesos de modo particular. Esto ha sido comprobado al realizar experimentos con la gramática GR160S-S para dos locutores, ENR y FER. En ellos hemos probado a variar el peso PG de 1.5 a 1.0, es decir, no ponderamos el conocimiento gramatical frente al acústico, obteniendo una ligera mejora (WA_ENR: 80.18 , WA_FER: 71.68). Sin embargo, para no tener que realizar tantos experimentos de ajuste para esta gramática, supondremos que los pesos óptimos calculados para GR160S-J son óptimos también para GR160S-S, basándonos en las pocas diferencias que existen entre ellas.

Resultados Combinando los Pesos de Inserción de Palabra (PIP) y la Ponderación Gramatical Óptimos

S3V	Tasa de Aciertos de Palabras (WA)					_
	Locutores
	ENR	FER	LEA	ROM	WAMEDIO
PIP-PG	25000-1.5	22000-1.5	20000-2.0	20000-2.0	PIP-PGOPT
GR160S-J	82.14	73.83	82.71	92.80	84.12
GR160S-S	79.62	70.74	81.02	91.30	80.67

Tabla 5.29 Resultados de la Evaluación (Tasa de Aciertos de Palabra o Word Accuracy) del Módulo Acústico utilizando modelos semicontinuos de Markov de 3 codebooks (S3V) con pausado, con la gramática morfosintáctica de 160 macrocategorías suavizada general del castellano, cambiando el diccionario (D-S, D-J).  Resultados para los 4 locutores (ENR, FER, LEA y ROM) . Con el factor de ponderación de la información gramatical frente a la acústica óptimo en cada caso (PG óptimo) y con la penalización de las inserciones de palabra óptima en cada caso (PIP óptima).

La diferencia entre GR160S-J y GR160S-S es significativa como veremos más adelante en las bandas de probabilidad calculadas.

El uso de una gramática de macrocategorías entrenada con textos diferentes no pertenecientes al dominio semántico de la aplicación, nos hace cuestionar la importancia de la adaptación de los modelos gramaticales al dominio de aplicación, con el objetivo de obtener una mejor cobertura natural, y una menor perplejidad. Para valorar y entender el problema se ha llevado a cabo un análisis de las matriz de macrocategorías utilizada, y se ha generado una matriz entrenada sólo con los textos del corpus DARPA-ESPAÑOL, los del dominio semántico de la aplicación. Esta gramática adaptada sólo servirá para encontrar un punto de referencia, el valor de la mejor tasa de reconocimiento que podría obtenerse al incorporar un modelo gramatical caracterizado por ese conjunto de macrocategorías si los datos de entrenamiento fuesen los más indicados, cosa que no suele ocurrir en la realidad y que puede justificar la necesidad de adaptar las gramáticas obtenidas para el lenguaje en general al dominio semántico de nuestra aplicación. Los pesos utilizados para cada locutor son los pesos óptimos obtenidos en el caso de la gramática no adaptada. Las gramáticas se llamarán ahora GR160A-J y GR160A-S, respectivamente. No necesitan estar suavizadas pues han sido entrenadas con todo el corpus DARPA-ESPAÑOL. Recuerde que sólo sirven para obtener el caso mejor posible si nuestro entrenamiento fuese el más adecuado.

Resultados Combinando los Pesos de Inserción de Palabra (PIP) y la Ponderación Gramatical Óptimos pero utilizando la gramática adaptada al dominio de aplicación (GR160A-x)

Las bandas de probabilidad para los sistemas con la gramática de macrocategorías suavizada, y los diccionarios que modelan las transiciones fonológicas entre palabras propias del habla continua (GR160S-S) y con los nombres propios compuestos como una sola palabra (GR160S-J), se muestran a continuación, en forma de tabla y gráficamente. Además, se han incorporado los sistemas equivalentes pero sin la incorporación de gramáticas (S3V-S, S3V-J), y los sistemas con las gramáticas adaptadas al corpus de frases del dominio de aplicación (GR160A-S, GR160A-J).

S3V	Tasa de Aciertos de Palabras (WA)					_
	Locutores
	ENR	FER	LEA	ROM	WAMEDIO
PIP-PG	25000-1.5	22000-1.5	20000-2.0	20000-2.0	PIP-PGOPT
GR160A-J	88.22	80.18	90.74	95.79	88.73
GR160A-S	88.41	81.30	91.12	96.07	89.22

Tabla 5.30 Resultados de la Evaluación (Tasa de Aciertos de Palabra o Word Accuracy) del Módulo Acústico utilizando modelos semicontinuos de Markov de 3 codebooks (S3V) con pausado, con la gramática morfosintáctica de 160 macrocategorías adaptada al dominio semántico de la aplicación, cambiando el diccionario (D-S, D-J).  Resultados para los 4 locutores. Con el factor de ponderación de la información gramatical frente a la acústica óptimo en cada caso (PG óptimo) y con la penalización de las inserciones de palabra óptima en cada caso (PIP óptima).

SISTEMA	WA Mínimo	WA Medio	WA Máximo
S3V-S	75,831	77,090	78,349
S3V-J	75,026	76,300	77,574
GR160S-S	79,487	80,670	81,853
GR160S-J	83,025	84,120	85,215
GR160A-S	88,457	89,380	90,303
GR160A-J	87,783	88,730	89,677

Tabla 5.31 Bandas de Probabilidad asociadas a los valores promedio de los cuatro locutores para los tres conjuntos de experimentos anteriores (Tabla 5.20, Tabla 5.29 y la Tabla 5.30)

Fig. 5.21 Diagrama donde se observa el valor mínimo, medio y máximo (banda de probabilidad) para cada uno de los sistemas (S3V-S, S3V-J, GR160S-S, GR160S-J, GR160A-S, GR160AJ). Representación gráfica de la Tabla 5.31.

TEST BANDAS	S3V-J	GR160S-S	GR160S-J	GR160A-S	GR160A-J
S3V-S	IGUAL	GRS-S	GRS-J	GRA-S	GRA-J
S3V-J	-----	GRS-S	GRS-J	GRA-S	GRA-J
GR160S-S	-----	-----	GRS-J	GRA-S	GRA-J
GR160S-J	-----	-----	-----	GRA-S	GRA-J
GR160A-S	-----	-----	-----	-----	IGUAL

Tabla 5.32 Tabla de Comparación de los sistemas S3V-S, S3V-J, GR160S-S, GR160S-J, GR160A-S y GR160A-J,  utilizando el test de las Bandas de Probabilidad

Como ya se conoce, de las bandas de probabilidad y de la tabla comparativa anterior, se deduce que la incorporación de gramática supone un aumento significativo de la tasa de acierto de palabras en los sistemas, y que es mejor la gramática cuanto más adaptada está al dominio de aplicación como era lógico de esperar, mientras que, en este caso de gramática no adaptada, el uso de un modelo de palabra única para los nombres propios compuestos introduce también una mejora en el funcionamiento del sistema.

Anterior   I  Siguiente   I  Índice capítulo 5   I  Índice General