上下文建模句子

用于语句依赖关系建模的句子交互网络

在很多的文本分析任务中，上下文的建模能力对于任务的性能至关重要，比如为了分析对话中语句的语义，我们需要考虑整...

在很多的文本分析任务中，上下文的建模能力对于任务的性能至关重要，比如为了分析对话中语句的语义，我们需要考虑整段对话的语义环境；在阅读理解中，我们需要合理的对整个文档建模，才能为某个问题选择合适的回答。

清华大学计算机系人工智能实验室朱小燕教授课题组在自然语言处理的顶级会议ACL 2016上发表长文《A Sentence Interaction Network for Modeling Dependence between Sentences》（作者：刘彪、黄民烈、刘松、朱璇、朱小燕），提出了一种基于交互思想的神经网络模型。论文提出了一种新的神经网络模型以建模句子之间的关系，从而更充分地考虑上下文语义，提高相关任务的性能。我们将该模型应用到了答案选择（Answer Selection）和对话意图分析（Dialogue Act Analysis）两个任务中，取得了显著的性能提升。

图1：

Sentence Interaction Network

该模型（SIN）从句子对（Sentence Pair）建模着手来解决复杂的上下文建模问题。给定两个句子，比如一个问题和一个回答，我们需要判断该问题是否被正确的回答了，此时即需要考虑两个句子之间的语义相关性。SIN首先用LSTM分别对两个句子进行建模，得到句子中词的表示。然后用这些词的表示来计算两个句子之间的交互状态，这些交互状态携带了词与词（或短语与短语）之间的语义关系，比如是否语义相近，是否能够回答等。当将这些交互状态引入到句子建模中之后，我们便得到了含有上下文信息的句子表示。用这样的句子表示即可很好的判断这两个句子的语义相关性。

图2：对话分析中上下文的建模

SIN模型可以建模句子对之间的语义关联性，但对更长的上下文依赖关系来说，我们需要加入其它机制来获取更多的上下文信息。比如在对话意图分析中，我们需要判断对话中某句话的意图，即它是否表达了一定的观点，是否在表示疑问等。我们先用SIN建模对话中前一句话的影响，然后用LSTM来建模对话中之前的语句对当前语义的影响，以更加精确的对当前的语句进行分析。

为了分析SIN模型的工作机制，我们将其中交互状态的模长线性映射到了[0,1]区间，并用热力图的形式进行了可视化展示。图中展示的是一个问题到一个回答之间的交互状态模长，可以看到模型恰当的捕捉到了问题与答案之间的对应关系，从而向我们展示出模型对句子间依赖关系强大的建模能力。