3.7.3 Captura de Nuevos Datos Textuales

Como ya se ha comentado, el corpora textual utilizado para el desarrollo inicial del Sistema de Comprensión y para su evaluación, es reducido. Uno de los problemas que se derivan de la insuficiencia de datos para entrenar el sistema es la alta probabilidad de no modelar (al no observar) la amplia casuística (posibles consultas al Sistema de Información) que se pueden dar en una lengua natural aunque estemos trabajando en un dominio semántico restringido.

Con el fin de poder evaluar el Sistema de Comprensión con datos que hayan sido generados por distintos potenciales usuarios (cada usuario es capaz de expresar una misma consulta en lenguaje natural (LN) de muy variadas maneras debido a la riqueza del lenguaje), así como poder medir la cobertura del diccionario inicial generado a partir de los textos originales en castellano de DARPA-RM-ESPAÑOL, analizando el número de palabras que entran en juego en una aplicación de esta naturaleza, se decidió capturar un conjunto nuevo de frases en LN.

Aunque, como ya comentamos en el Capítulo 2 de esta Tesis, existen varias técnicas utilizadas para la captura de datos para desarrollo y evaluación de sistemas de comprensión de habla:

• Captura mediante la presentación de la aplicación, en base a diagramas E-R simplificados, y descripciones de las características de la misma.
• Captura mediante simulaciones más o menos completas del sistema que es objetivo de diseño e implementación (técnica conocida como “Mago de Oz”).

En nuestro caso por no disponer del sistema cuando se decidió aumentar el conjunto de datos, se optó por el primero de los métodos y se elaboró un documento que se entregó a un conjunto de 25 usuarios. En el documento se incluyó una descripción sencilla del dominio de la aplicación con un diagrama E-R donde se observaba el conjunto de entidades y atributos de las bases de datos sobre los que se podía preguntar, así como las relaciones entre las diversas entidades. Además, se incluía una descripción de cada uno de los campos de las bases de datos, de las funciones (comparativas, negación, distancias, superlativos, etc.) que formaban parte de la ontología de la aplicación, y un conjunto de frases ejemplo que facilitaban la generación de nuevas frases por parte del usuario.

Se les pedía que utilizasen sólo un conjunto seleccionado de valores para algunos campos (campos con valores cerrados) y se les aconsejaba que, mentalmente, se imaginasen la aplicación, y expresasen la consulta del modo más parecido posible a cómo lo harían si se la realizasen oralmente al sistema, sin dar importancia a la gramaticalidad de la misma o al léxico utilizado. Una vez habían pensado en la consulta que querían hacer, la escribían en un fichero de datos. También, se incluyó un conjunto de escenarios que describían posibles consultas que el sistema podría entender y se les animaba a que expresasen una consulta en lenguaje natural con el fin de obtener del sistema la información planteada en cada escenario.

Aunque este método no es tan realista como el del “Mago de Oz”, nos permite analizar el comportamiento y el estilo de distintos usuarios, algunos familiarizados con estas tecnologías y otros no, y ser conscientes de la complejidad inherente en muchas de las consultas que estos escribieron.

Tras recoger las nuevas frases se procedió a su análisis y clasificación, con el fin de seleccionar un conjunto de ellas que perteneciesen al dominio de aplicación y nos permitiese completar el sistema así como evaluarlo.

Es necesario aclarar que las nuevas frases recogidas no han sido utilizadas en la evaluación y en la mejora del sistema actual, quedando reservadas para un futuro próximo, debido a la falta de tiempo para llevar dicha tarea a cabo en el contexto de este trabajo de tesis.

Las distintas clases de frases que se encontraron se definieron de acuerdo con criterios de pertenencia total o parcial al dominio semántico de la aplicación, así como de acuerdo a las restricciones sobre la complejidad de las frases que el sistema iba a ser capaz de procesar:

CLASIFICACIÓN DE LAS FRASES CAPTURADAS DE DISTINTOS USUARIOS CON ESCENARIOS Y UNA DESCRIPCIÓN FUNCIONAL BASADA EN UN DIAGRAMA E-R CORP-SA : procesables (unas 1.700 frases) Ej.1. ¿dónde se encontraba el Zeus el diez del uno del noventa y seis?. Ej.2. La pasada semana, ¿dónde estaban situados el Zeus y el Infanta Elena?. CORP-SM : procesables pero con alguna problema (unas 150 frases) Ej.1 ¿Qué cantidad y de qué calibre son los cañones de los barcos del mar del norte? Ej.2 Dime los barcos que tienen una velocidad media por encima de la económica. CORP-SD : dobles, con dos preguntas (unas 50 frases) Ej.1 ¿Es Barcelona el destino del Coloso y cuál es su velocidad actual? Ej.2 Dime si el barco que alcanza mayor velocidad es el más largo. CORP-SP : posibles pero que requieren un cierto estudio (unas 75 frases) Ej.1 ¿Dónde esta ahora mismo según el radar el último barco salido de Bilbao? Ej.2 Dime la fecha de final del último período de inactividad de los barcos que estén afectados por la alarma gamma. CORP-SX : ambiguas, mal expresadas, no concretas, etc. (unas 110 frases) Ej.1 ¿Qué área de validez tiene el informe de evaluación que mandó ayer el barco más grande que atracó en Mahón? Ej.2 ¿Cuál es el grado cambiado por el informe que el barco Infanta Elena envió antes de salir del puerto de Mahón? CORP-SE : extrañas, sin sentido, sin información, con introducción (150 frases) Ej.1 ¿Cuál será el siguiente grado de la última embarcación que cambió alguno de sus informes y cuándo? Ej.2 ¿Podría decirme cuántos barcos de la zona pacífica tenían menos de 200 litros de combustible la semana pasada y aun no han llegado a puerto?

Anterior   I  Siguiente   I  Índice capítulo 3   I   Índice General