plan de trabajo
WP2. Generación del lenguaje natural mejorado con conocimiento del sentido común
El objetivo principal de este WP es analizar y proponer enfoques NLG novedosos y rentables que integren el conocimiento de sentido común dentro del proceso de generación (en nuestro caso, el conocimiento adquirido de WP1), para que una nueva generación de sistemas NLG de sentido común y conscientes pueda ser producido. Para esto, varias tareas relacionadas con las arquitecturas NLG y cómo integrar el conocimiento se proponen y detallan a continuación. El logro exitoso de todos ellos conducirá a la cumplimiento de los objetivos OB3 y OB5.
Tarea 2.1 Definición y adaptación de modelos de representación para la generación del lenguaje natural
Con bases en el análisis de la infraestructura lingüística existente realizado en WP1, el objetivo aquí es determinar: 1) qué modelos son los más apropiados y efectivos para representar el lenguaje humano para cada una de las subtareas involucradas en el proceso de NLG (Vicente et al., 2015), generalmente macroplanificación, microplanificación y realización de superficies; y, 2) cómo se pueden adaptar para modelos de lenguaje específicos en función de las tareas específicas de NLG que se abordarán, por ejemplo, MarIA, el modelo masivo para el Idioma español mencionado en WP1. Además, algunas variables lingüísticas como la intención comunicativa del mensaje también se considerarán a la hora de la comparación de los diferentes modelos que podrían ser empleados en las tareas de NLG. La inclusión de esta función permitiría el cambio a automático en la forma del texto generado dependiendo de la intención a lograr. En consecuencia, esta tarea también analizará hasta qué punto los rasgos pragmáticos del lenguaje, como intenciones comunicativas, determinan los elementos lingüísticos que debe incluir el texto generado. Esto permitirá acotar el proceso de generación para producir contenido consciente de su contexto pragmático, yendo más allá de los rasgos léxicos, sintácticos y semánticos utilizados hasta ahora en el estado del arte.
Hito: Modelos de representación de lenguaje para NLG junto con las características que codifican.
Tarea 2.2 Análisis y comparación de tipos de arquitectura de generación del lenguaje natural
El objetivo de esta tarea es encontrar una arquitectura NLG flexible pero a la vez efectiva y eficiente. La arquitectura de un enfoque NLG determina cómo las subtareas antes mencionadas (es decir, macroplanificación, microplanificación y realización superficial) se integran en el proceso de generación. Esta tarea explorará y experimentará con diferentes tipos de arquitecturas, incluyendo secuencial (también conocida como pipeline), integrada (también llamadas “extremo a extremo”), y las arquitecturas híbridas. En las arquitecturas secuenciales, las diferentes subtareas se llevan a cabo en módulos separados, mientras que en arquitecturas integradas, todo el proceso se realiza conjuntamente en una vez. Los híbridos podrían beneficiarse de las ventajas que tiene cada uno de ellos, minimizando su limitaciones.
Hito: Benchmarking sobre arquitecturas NLG.
Tarea 2.3 Propuesta y desarrollo de enfoques de integración de conocimiento en las arquitecturas del lenguaje natural
El propósito de esta tarea es analizar cómo incorporar el conocimiento de sentido común en modelos NGL. Para ello, se pueden explorar diferentes opciones, entre las que se incluyen las siguientes: i) directamente codificar el conocimiento de sentido común a partir de bases de conocimiento estructuradas como entradas adicionales a un sistema neuronal red en fase de generación; ii) codificar indirectamente el conocimiento de sentido común en los parámetros de las redes neuronales a través de formación previa sobre bases de conocimiento o explicaciones de sentido común; o, iii) utilizando objetivos multitarea con predicción de relaciones de sentido común. En esta tarea, primero planeamos explorar el uso de conocimiento ya disponible en redes semánticas (e.g. LETO (Estevez-Velarde et al., 2019), así como en otros recursos mencionados anteriormente (por ejemplo, Atomic (Sap et al., 2019) o ConceptNet (Speer, Chin y Havasi, 2017), pero también incluyendo nuevos conocimientos obtenidos del WP1. Paralelamente, nuestro objetivo también es determinar hasta qué punto los modelos de lenguaje neuronal (por ejemplo, Transformers) pueden modificarse y ajustarse para integrar el conocimiento del sentido común durante el procesos NLG.
Hito: Propuesta y desarrollo de un enfoque novedoso de NLG basado en el conocimiento del sentido común.
Tarea 2.4 Evaluación de la generación del lenguaje natural
El propósito de esta tarea es evaluar cada resultado intermedio o final asociado con las anteriores tareas. Los enfoques de NLG se pueden evaluar desde diferentes perspectivas según el objetivo del evaluación (Celikyilmaz et al., 2020). Dentro de este contexto, los métodos extrínsecos son aquellos destinados a determinar si la aplicación diseñada logra su objetivo, mientras que los intrínsecos pretenden examinar el rendimiento del sistema y la calidad de su salida, independientemente de la función principal para la que se diseñó el sistema. Ambas modalidades pueden incluir evaluación automática o humana pero según estudios recientes, la evaluación humana se considera la estrategia más confiable para evaluar un sistema (Van der Lee et al., 2021), por lo que se priorizará en la medida de lo posible este tipo de evaluación. Es más, retos nuevos y existentes, y tareas compartidas que encajen en nuestro ámbito también se utilizarán como medio de evaluación y comparación de nuestros enfoques NLG con respecto a otros métodos desarrollados por el comunidad investigadora en las mismas condiciones. Finalmente, no descartamos que una nueva tarea compartida centrada en NLG de conocimiento mejorado sea definida y propuesta para promover la investigación en este tema.
Hito: Obtener resultados competitivos y/o mejores con nuestros enfoques NLG propuestos para avanzar en el estado del arte y situar la investigación española en la vanguardia de la PNL.