一、简介
问题：
multi-document abstractive summarization，where the input is a collection of related documents from which a summary is distilled。
abstractive 与 extractive
extractive summarization：抽取文本句子作为 summary。缺点是表达能力有限，好处是句子都是符合语法的。
abstractive summarization：生成新文本作为摘要。缺点是句子可能只是单词的组合，从语法上看狗屁不通。
输出输出
输入：wiki 文章的标题 + 非wiki文章（该wiki的引用文章 () +以该标题google到的文章（））。
输出：对应 wiki 文章（）
二、模型
由于 可能非常大，超出了硬件限制，模型分成了两部分：首先使用 extractive summarization 模型抽取输入的一个子集，然后用这个子集来训练 abstractive 模型。这与人类做摘要类似：先高亮出文章的重要句子，然后基于这些句子给出摘要。
extractive stage
对于每一篇文章 , 首先将输入中的段落重新计算 rank，得到段落列表 ， 表示的第个段落的 rank。然后取前 个 tokens 作为第二阶段的输入。
文章共用了五种抽取模型：
- Identity：a trivial extractor，直接使用原输入的前 个 tokens.
- tf-idf：consider ranking paragraphs as documents in a query retrieval problem, where the query is the title of the article。基于 对文章标题 计算tf-idf：
Where , and are the count of the word in the document, total number of documents, and total number of documents containing the word, respectively. - TextRank：一种类似 PageRank 的基于图的算法
- SumBasic：根据词频给词赋分，继而给句子赋分。选出得分最高的句子。选出句子后重新计算词频并重复这个过程，直到达到期望的摘要长度。
- cheating：
abstractive stage
将 按 rank 排序后拼接，然后接上 前缀作为 raw input，然后进行 tokenize:
截取前 个 tokens 作为 input sequence：
abstractive 模型记作 ，即 。将这个问题当成是从长序列（最大取11000）生成短序列（一般少于500）的问题。文章修改了 transformer, 去掉了 encoder：