Evaluación de resúmenes en espa ol con Análisis Semántico Latente: Una implementación posible Summaries assessment in Spanish using Latent Semantic Analysis: A possible implementation

Evaluar resúmenes es una tarea compleja debido a que presenta problemas relacionados con la sistematicidad en la evaluación y con la dedicación de gran cantidad de tiempo por parte de los evaluadores. Estos problemas han motivado la indagación de métodos confiables de evaluación automatizada de resúmenes. En este contexto, el objetivo de este trabajo es identificar un método eficiente de evaluación automatizada de resúmenes, basado en el Análisis Semántico Latente (LSA). Los resúmenes fueron realizados por estudiantes de educación secundaria de la ciudad de Valparaíso, Chile. Para llevar a cabo esta tarea se correlacionan los puntajes de la evaluación realizada por tres docentes a 224 resúmenes provenientes de textos predominantemente expositivos, y 129 resúmenes provenientes de textos predominantemente narrativos con los puntajes entregados por tres métodos computacionales, basados en el LSA. Los métodos utilizados son los siguientes: 1) comparación de los resúmenes con el texto fuente de donde provienen, 2) comparación de los resúmenes con un resumen consensuado por lingüistas y 3) comparación de los resúmenes con resúmenes construidos por los tres docentes evaluadores a partir de los mismos textos fuente. Los resultados generales indican que los puntajes de los métodos 2 y 3 son similares estadísticamente a los puntajes asignados por los docentes evaluadores, cuando los resúmenes evaluados provienen de textos predominantemente narrativos. Sin embargo, esta similitud no se replica cuando los resúmenes provienen de textos predominantemente expositivos. Summary assessment is a complex task, due to the problems related to sistematicity and to the time it takes. These problems have motivated the study of reliable automatized assessment methods. In this scenario, the aim of this work is to identify an efficient method for assessing summaries, based on Latent Semantic Analysis (LSA). The summaries were written by students from secondary school in the city of Valparaíso, Chile. To acomplish the mentioned aim, we correlated the scores asigned by three teachers to 244 summaries of predominantly expository texts and 129 summaries of predominantly narrative texts with the scores provided by three computational methods, based on LSA. The methods are: 1) comparison of summaries with the source text, 2) comparison of summaries with a summary developed by the consensus of a group of linguists, and 3) comparison of summaries with three summaries constructed by three language teachers. General results show that the scores asigned by method 2 and 3 are statistically si