Informação & Informação (2020-04-01)

Avaliação do desempenho de um software de sumarização automática de textos

  • Hamilton Rodrigues Tabosa,
  • Osvaldo de Souza,
  • José Carlos dos Santos Cândido,
  • Ana Cristina Azevedo Ursulino Melo,
  • Keila Giullianna Braga Reis

DOI
https://doi.org/10.5433/1981-8920.2020v25n1p189
Journal volume & issue
Vol. 25, no. 1
pp. 189 – 210

Abstract

Read online

Desde 2014 desenvolvemos uma pesquisa com o intuito de produzir um software (protótipo) que seria capaz de elaborar resumos automáticos de textos baseado em técnicas de Processamento de Linguagem Natural e estatísticas de frequência de palavras. Os primeiros testes empíricos da ferramenta geraram resultados que indicaram uma significativa redução da dimensionalidade dos textos, com considerável preservação do seu valor semântico. Neste artigo, apresentamos os resultados da continuidade do nosso trabalho investigative, a partir de uma avaliação humana da qualidade desses resumos a partir da realização de testes cegos. Um grupo de três bibliotecárias recebeu um bloco misto e não identificado de resumos - produzidos por humanos e os resumos automáticos feitos pelo software - e procedeu a uma avaliação, segundo os critérios de corretude gramatical, preservação das ideias centrais, coerência e legibilidade, extensão do resumo, se houve paráfrase ou cópia de fragmentos e, se houve introdução de ideias não contidas no texto original. Os resultados mostraram que em quatro, dos cinco critérios de avaliação adotados, houve equivalência qualitativa entre os resumos produzidos por humanos e os produzidos pelo software, o que parece representar um relativo sucesso, uma vez que o prototipo poderia substituir uma pessoa na atividade de resumir textos sem deixar a desejar, a não ser no quinto creitério de avaliação, referente à dimensão do resumo, em que o texto produzido pelo software foi apontado como extenso além do necessário.

Keywords