Evaluation of Text Diversity over time for Automatically Generated Texts in Sports Journalism, por José David Souto Rocha

A Geração de Linguagem Natural (GLN) é uma área de investigação derivada da Inteligência Artificial (IA), que se insere no domínio do Processamento de Linguagem Natural (PLN). A GLN tem um vasto leque de casos de uso, nomeadamente no jornalismo desportivo, permitindo a geração autónoma de notícias.

A ZOS é uma empresa portuguesa especializada na criação de conteúdos desportivos para a plataforma online zerozero.pt. No decorrer dos últimos anos, a ZOS tem desenvolvido o Prosebot, um sistema GLN capaz de gerar resumos textuais de jogos de futebol com base em dados armazenados pela ZOS. Atualmente, devido à falta de recursos humanos, apenas uma fração dos jogos recebem artigos escritos por jornalistas, deixando uma lacuna na cobertura dos restantes. Os sistemas GLN podem desempenhar um papel importante para colmatar esta lacuna, especialmente em ligas amadoras, que também têm um um público dedicado dentro da comunidade futebolística.

Nesta dissertação, introduzimos uma nova métrica que avalia a diversidade textual em feeds de notícias gerados por sistemas GLN ao longo do tempo. A nossa métrica utiliza o algoritmo de similaridade do cosseno em textos pré-processados, que incorpora tokenização, reconhecimento de entidades (REN) e stemming. Para validar a sua eficácia e robustez, a métrica foi integrada no Prosebot, atuando como módulo externo que tinha como objetivo identificar conteúdos repetitivos nos feeds de notícias do Prosebot. Efetuámos análises comparativas dos feeds de notícias antes e depois deste processo para avaliar o impacto da diversidade textual nas notícias do Prosebot.

Além disso, realizámos três estudos, nos quais comparámos a diversidade textual das notícias geradas pelo Prosebot com as de notícias escritas por jornalistas. O objetivo destes estudos era avaliar o desempenho da nossa métrica em diferentes cenários, onde já esperávamos resultados específicos. Também utilizámos avaliação humana através de um formulário de avaliação com base na experiência de utilizadores. Os resultados estavam de acordo com o que era esperado, fornecendo provas empíricas da eficácia e fiabilidade da métrica. Além disso, realizámos um estudo centrado nas contribuições dos utilizadores para a pós-edição de texto gerado pelo Prosebot, que revelou que os utilizadores são mais mais propensos a alterar frases mais curtas e com mais significado.