5.1.4.3 Perplejidad y Cobertura de la Gramática GRSEM-S

La perplejidad medida sobre el conjunto de datos de evaluación (Test Set Perplexity) es menor que la de la gramática morfosintáctica MC160-S. Ello nos indica que esta gramática es más restrictiva, está más adaptada al dominio de la aplicación, pero probablemente presentará menos cobertura.

_	GRSEM-S
Perplejidad	317.56

Tabla 5.6 Medida de perplejidad del conjunto de datos de evaluación (Test Set Perplexity) con la gramática GRSEM-S

En una primera evaluación de la cobertura de esta gramática sobre el conjunto de evaluación comprobamos que existían tres tipos de problemas de cobertura: de palabras, de categorías semánticas y de sintaxis del concepto. Debemos tener en cuenta que la gramática ha sido generada con las frases del conjunto de entrenamiento y no han observado las frases del conjunto de evaluación. Se encontró que 40 palabras que aparecían en el conjunto de frases de evaluación no estaban incluidas en el diccionario. Todas las categorías semánticas estaban cubiertas. La no cobertura a nivel de palabras supuso una no cobertura de 36 frases de las 87 de evaluación, es decir, un 41.3 % de error de cobertura. Se incluyeron esas 40 palabras en el diccionario, categorizadas adecuadamente, y 23 frases fueron reconocidas o aceptadas por la gramática, disminuyendo de un 41.3 % a un 15 % el error de cobertura.

_	Frases No Cubiertas
ST87 - Evaluación	36 (41.3 %)

Tabla 5.7 Medida de cobertura utilizando la gramática GRSEM-S sobre las frases de evaluación pertenecientes al dominio DARPA-ESPAÑOL antes de completar el diccionario

Las trece frases no cubiertas son: ST0013, ST0022, ST0039, ST0052, ST0054, ST0067, ST0070, ST0071, ST0073, ST0077, ST0082, ST0089, ST0090.

_	Frases No Cubiertas
ST87 - Evaluación	13 (15 %)

Tabla 5.8 Medida de cobertura utilizando la gramática GRSEM-S sobre las frases de evaluación pertenecientes al dominio DARPA-ESPAÑOL, después de completar el diccionario

Anterior   I  Siguiente   I  Índice capítulo 5   I  Índice General