plan de trabajo
PT2. Generación del lenguaje natural mejorado con conocimiento del sentido común
El objetivo principal de este PT es analizar y proponer enfoques NLG novedosos y eficientes que integren conocimiento de sentido común dentro del proceso de generación (en nuestro caso, el conocimiento adquirido como resultado del PT1). Con esto se pretender investigar en una nueva generación de sistemas de GLN de sentido común con cierto grado de consciencia a la hora de saber qué están generado y por qué. Para ello, se proponen varias tareas relacionadas con las arquitecturas de GLN y cómo integrar el conocimiento en esas arquitecturas, que se detallan a continuación. El desarrollo exitoso de estas tareas resultará en el cumplimiento de los objetivos OB3 y OB5. Este paquete de trabajo está liderado por la investigadora Elena Lloret.
Tarea 2.1 Definición y adaptación de modelos de representación para la generación del lenguaje natural
Partiendo del análisis de los recursos e infraestructuras lingüística existentes realizado en el PT1, el objetivo de esta tarea, coordinada por el investigador Armando Suárez, es determinar: 1) qué modelos de lenguaje son los más apropiados y efectivos para representar el lenguaje humano para cada una de las subtareas involucradas en el proceso de NLG (Vicente et al., 2015), generalmente macroplanificación, microplanificación y realización; y, 2) cómo se pueden adaptar los modelos de lenguaje para ciertas tareas específicas de GLN que se abordarán en el proyecto. Además, variables lingüísticas como la intención comunicativa del mensaje también se considerarán importantes a la hora de comparar los diferentes modelos que podrían ser empleados en las tareas de GLN. La inclusión de esta variable permitiría dotar de mayor flexibilidad a los enfoques de GLN, puesto que se podrían generar textos de distinta manera dependiendo de la intención que se persiga. En consecuencia, esta tarea también analizará hasta qué punto los rasgos pragmáticos del lenguaje, como intenciones comunicativas, determinan los elementos lingüísticos que debe incluir el texto generado. Esto permitirá acotar el proceso de generación para producir contenido consciente de su contexto pragmático, yendo más allá de los rasgos léxicos, sintácticos y semánticos utilizados hasta ahora en el estado de la cuestión.
Hito: Modelos de representación de lenguaje para GLN junto con las características que codifican.
Tarea 2.2 Análisis y comparación de tipos de arquitectura de generación del lenguaje natural
El objetivo de esta tarea, coordinada por la investigadora Elena Lloret, es encontrar una arquitectura de GLN flexible, pero a la vez efectiva y eficiente. La arquitectura de un enfoque NLG determina cómo las subtareas antes mencionadas (es decir, macroplanificación, microplanificación y realización superficial) se integran en el proceso de generación. Esta tarea analizará diferentes tipos de arquitecturas, incluyendo arquitecturas y enfoques más tradicionales para ser comparadas con respecto a arquitecturas integradas más recientes . En las arquitecturas tradicionales, las diferentes subtareas se llevan a cabo de manera secuencial en módulos separados, mientras que, en arquitecturas integradas, todo el proceso se realiza conjuntamente en una vez. No se descarta analizar enfoques híbridos, ya que podrían beneficiarse de las ventajas que tiene cada uno de ellos, minimizando sus limitaciones.
Hito: Análisis comparativo sobre arquitecturas de GLN.
Tarea 2.3 Propuesta y desarrollo de enfoques de integración de conocimiento en las arquitecturas del lenguaje natural
El objetivo de esta tarea, coordinada por la investigadora Elena Lloret, es analizar cómo incorporar el conocimiento de sentido común en modelos de GLN. Para ello, se pueden explorar diferentes opciones, entre las que se incluyen las siguientes: i) directamente codificar el conocimiento de sentido común a partir de bases de conocimiento estructuradas como entradas adicionales a un sistema de GLN neuronal; ii) codificar indirectamente el conocimiento de sentido común en los parámetros de las redes neuronales, previo entrenamiento con bases de conocimiento; o, iii) utilizando técnicas de transfer learning que aborden razonamiento de sentido común. En esta tarea, se plantea primero explorar el uso de conocimiento ya disponible en redes semánticas (e.g. LETO (Estevez-Velarde et al., 2019), así como en otros recursos mencionados anteriormente (por ejemplo, Atomic (Sap et al., 2019) o ConceptNet (Speer, Chin y Havasi, 2017), pero también incluyendo nuevo conocimiento obtenidos del PT1. Paralelamente, nuestro objetivo también es determinar hasta qué punto los modelos de lenguaje (por ejemplo, Transformers) pueden modificarse y ajustarse para integrar el conocimiento del sentido común durante el proceso de GLN.
Hito: Propuesta y desarrollo de un enfoque novedoso de GLN basado en el conocimiento del sentido común.
Tarea 2.4 Evaluación de la generación del lenguaje natural
El propósito de esta tarea, coordinada por el investigador Armando Suárez, es evaluar cada resultado intermedio o final asociado con las anteriores tareas. Los enfoques de GLN se pueden evaluar desde diferentes perspectivas según el objetivo de la evaluación (Celikyilmaz et al., 2020). Dentro de este contexto, los métodos extrínsecos son aquellos destinados a determinar si la aplicación diseñada logra su objetivo, mientras que los intrínsecos pretenden examinar el rendimiento del sistema y la calidad de su salida, independientemente de la función principal para la que se diseñó el sistema. Ambas modalidades pueden incluir evaluación automática o humana, pero según estudios recientes, la evaluación humana se considera la estrategia más confiable para evaluar un sistema (Van der Lee et al., 2021), por lo que se priorizará en la medida de lo posible este tipo de evaluación. Es más, tareas y competiciones que se propongan desde la comunidad investigadora y que encajen en nuestro ámbito también se utilizarán como medio de evaluación y comparación de los enfoques de GLN propuestos con respecto a otros métodos desarrollados por otros grupos en las mismas condiciones. Finalmente, no descartamos definir y proponer una nueva tarea compartida centrada en GLN de sentido común para el español con el objetivo de promover la investigación en este tema y poner a disposición de la comunidad los recursos que se hayan obtenido del proyecto CORTEX.
Hito: Obtener resultados competitivos con los enfoques de GLN propuestos para avanzar en el estado del arte y situar la investigación española en la vanguardia del PLN y la IA.