Quais estratégias de inteligência artificial são úteis para resumir?

Se eu tenho um parágrafo, quero resumir, por exemplo:

Ponzo e Fila foram ao shopping durante o dia. Eles caminharam por um longo tempo, parando em lojas. Eles foram a muitas lojas. No começo, eles não compraram nada. Depois de ir a várias lojas, eles finalmente compraram uma camisa e um par de calças.

Melhor resumido como:

Eles fizeram compras no shopping hoje e compraram algumas roupas.

Qual é a melhor estratégia de IA para automatizar esse processo, se houver? Se não houver, é porque dependeria primeiro de ter um recurso de informações externas que informasse qualquer algoritmo? Ou é porque o problema é inerentemente contextual?

O post a seguir tem um pouco de matemática, o que espero ajudar a explicar melhor o problema. Infelizmente, parece que este site SE não suporta LaTex:

A sumarização de documentos é um problema muito aberto na pesquisa de IA. Uma maneira de lidar com essa tarefa atualmente é chamada de "resumo extrativo". A estratégia básica é a seguinte: Divida este documento em frases e apresentaremos como resumo um subconjunto de frases que juntas cobrem todos os detalhes importantes da publicação. Atribuir sentença$i$, $1 \leq i \leq n$, uma variável $z_i \in \{ 0, 1 \}$, Onde $z_i = 1$ indica que a frase foi selecionada e $z_i = 0$significa que a frase foi deixada de fora. Então,$z_i z_j = 1$se e somente se as duas frases foram escolhidas. Também definiremos a importância de cada sentença$w_i$ para a sentença $i$ e termos de interação $w_{i,j}$ entre sentenças $i$ e $j$.

Deixei $x_i$ ser os vetores de recurso para sentença $i$. $w_i = w(x_i)$ captura como é importante incluir esta frase (ou os tópicos abordados por ela) enquanto $w_{i,j} = w(x_i,x_j)$indica a quantidade de sobreposição entre frases em nosso resumo. Finalmente, colocamos tudo isso em um problema de minimização:

$$\begin{aligned} \underset{z_i}{\text{maximize }} & \sum_{i} w_i z_i - w_{i,j} z_i z_j \\ \text{s.t. } & z_i = 0 \text{ or } 1 \end{aligned}$$

Isso tenta maximizar o peso total das frases cobertas e tenta minimizar a quantidade de sobreposição. Esse é um problema de programação inteiro semelhante a encontrar o menor conjunto independente de peso em um gráfico e existem muitas técnicas para resolver esses problemas.

Esse design, na minha opinião, captura os problemas fundamentais na sumarização de texto e pode ser estendido de várias maneiras. Vamos discutir isso daqui a pouco, mas primeiro, precisamos especificar completamente os recursos$w$. $w_i = w(x_i)$ poderia ser uma função apenas da frase $i$, mas também pode depender do local da sentença no documento ou de seu contexto (a sentença está no início de um parágrafo? Ela compartilha palavras comuns com o título? Qual é a sua extensão? Menciona nomes próprios? etc)

$w_{i,j} = w(x_i,x_j)$é uma medida de similaridade. Ele mede quantas repetições haverá se incluirmos as duas palavras na frase. Pode ser definido observando palavras comuns entre as frases. Também podemos extrair tópicos ou conceitos de cada sentença e ver quantos são comuns entre eles, e usar recursos de linguagem como pronomes para ver se uma sentença se expande em outra.

Para melhorar o design, primeiro podemos fazer a extração de frase-chave, ou seja, identifique frases-chave no texto e escolha definir o problema acima em termos daquelas, em vez de tentar escolher frases. Esse é um problema semelhante ao que o Google faz para resumir artigos de notícias em seus resultados de pesquisa, mas não estou ciente dos detalhes de sua abordagem. Também poderíamos dividir as frases em conceitos e tentar estabelecer o significado semântico das frases (Ponzo e Fila são pessoas P1 e P2, um shopping é um lugar P, P1 e P2 foram para o lugar P na hora T (dia Modo de transporte andando .... e assim por diante). Para fazer isso, precisaríamos usar uma ontologia semântica ou outros bancos de dados de conhecimento do senso comum. No entanto, todas as partes deste último problema de classificação semântica estão abertas e ainda não vi ninguém progredir satisfatoriamente.

Também poderíamos ajustar a função de perda acima para que, em vez de definir a troca entre a importância da sentença $w_i$ e a pontuação da diversidade $w_{i,j}$manualmente, poderíamos aprender com dados. Uma maneira de fazer isso é usar os Campos Aleatórios Condicionais para modelar os dados, mas muitos outros certamente existem.

Espero que esta resposta explique os problemas básicos que precisam ser resolvidos para avançar em direção a bons sistemas de resumo. Este é um campo ativo de pesquisa e você encontrará os artigos mais recentes via Google Scholar, mas leia primeiro a página da Wikipedia para aprender os termos relevantes