當我們環顧身邊的世界，是不是會發現現實世界其實是由無數個相互關聯的事件（Event）所構成的呢？而從古至今，人們也都希望自己擁有未卜先知、預測未來的能力。今天，就帶大家了解一個關于事件預測的任務，一起成為小諸葛(doge.jpg)

今天帶大家了解的任務叫做腳本事件預測(Script Event Prediction) 。何為腳本呢？腳本就是描述了特定人物一系列行為的一個事件序列 ^[1]^ 。如下圖所示，該事件序列就是一個關于鮑勃(假定X就是鮑勃)去餐廳用餐的腳本。而腳本事件預測，就是需要大家根據已給出的事件序列，從候選的若干的事件里面，預測接下來會發生什么事件。

腳本事件預測圖例[2]

然而，腳本事件序列任務并不僅僅是為了預測鮑勃飯后去做什么，作為一項重要的事件推理任務，它能夠為對話系統、推薦系統等重要引用提供基礎，更能夠對人們的行為理解和社會發展起到重要作用。

在腳本中，每個事件通過一個由主語、謂語、賓語和間接賓語構成的四元組來表示。例如 serve(Waiter, Bob, food)，表示 "The waiter serves Bot food (服務生送給鮑勃食物)"。多年以來，關于腳本事件預測已經誕生了不少的研究工作。今天，本文將現有工作劃分為兩大類(當然，這樣的劃分并不絕對，僅作參考)。這樣的劃分依據來源于，當我們把自己想象為要預測事件的小諸葛，我們的預測應該會總兩方面出發。一方面，我們會認真挖掘已給定的事件序列， 通過對當前事件序列不同層面上的語義挖掘與線索發現，來預測接下來發生什么 。另一方面，當第一種方法仍不能帶給我們很好的效果時，我們不得不尋找一些外掛，即 借助外部的知識來輔助我們的預測 。今天，我們將對這兩大類工作進行梳理，并對其中的代表性工作進行簡要介紹。對具體實現感興趣的朋友，歡迎戳相關原論文進行查閱。

基于事件序列本身的事件預測

當我們拿到一個事件序列，我們想必會對它進行由淺入深的分析。最基本地，我們會分別考慮事件序列中的每個事件與候選事件之間的關系，即通過事件對之間的關聯預測事件。

基于事件對關聯建模的事件預測

基于事件對的預測方法，首先是將事件序列中的事件與候選事件形成事件對。在構成事件對后，早先的研究工作會通過概率與統計的相關算法（例如 PMI 算法 ^[3]^ ）計算事件對的共現概率，再通過整個事件序列中事件對的概率綜合來選擇候選事件。

隨著深度學習的發展，研究人員通過深度學習方法進行事件表示，并通過全連接網絡計算事件間的相關性程度。例如，Granroth-Wilding等 ^[4]^ 在AAAI2016通過 What Happens Next? Event Prediction Using a Compositional Neural Network Model ^[5]^ 一文年提出了基于事件對的EventComp方法。該文作者通過詞嵌入方法進行事件元素的表示，使用全連接網絡對事件對是否滿足順承關系進行分類。在訓練過程中，作者通過隨機采樣構建滿足順承關系的正樣本事件對和不滿足順承關系負樣本事件對，通過交叉熵損失進行模型優化。

EventComp圖示

基于事件序列建模的事件預測

然而，基于事件對的方法聚焦于兩兩單獨事件之間的關聯性， 忽略了整個事件序列中的語義交互 。因此，基于事件序列建模的預測方法被廣泛提出。

事件序列級別的建模：SAM-Net: Integrating Event-Level and Chain-Level Attentions to Predict What Happens Next

對于一個事件序列來說，雖然它由若干個單獨的事件構成。但單獨的"事件"并不能完備地表述一件事情的發生。例如，“X讀了菜單、XX下單了菜品、XX完成了付款”，這三個事件合起來構成的事件序列片段表述了一個語義更加完整的"事件"。因此，呂尚文博士于 AAAI2019提出了事件序列片段 (event segment) 的概念，即 由事件序列中若干個語義關聯較強的事件構成的事件子序列 。事件序列片段可以是 連續的若干個事件 ，例如圖(a)中的“X讀了菜單、XX下單了菜品、XX完成了付款”, 也可以是 不連續的若干事件 ，例如圖(b)中的“XX下單菜品”與"XX打包了食物、XX吃掉食物"。

事件片段示例

然而，事件序列中的事件片段并非天然標注出來的，因此這篇論文的關鍵問題就在于 如何從事件序列中找到事件片段，以及如何通過事件片段的語義來進行事件預測 。要解決這一關鍵問題，主要存在兩項挑戰：一是如何對事件進行有效的語義表示從而獲取事件片段；二是融合事件序列中單獨事件與事件片段的語義進行事件預測。

SAM-Net模型圖示

關于第一項挑戰，作者設計自注意力機制建模事件間的語義關聯性，將關聯性強的事件劃分為一個事件序列，并通過DenseNet模型進行事件片段的特征提取。關于第二項挑戰，作者通過事件層面和事件序列層面的注意力機制分別來衡量單個事件和事件片段對事件預測的影響，并在二者的結合下進行最終的事件候選事件預測。

論元級別的建模：WWW2021: Multi-level Connection Enhanced Representation Learning for Script Event Prediction

盡管基于事件對、事件片段的建模方法取得了良好的實驗效果，但上述方法都停留在粗粒度的事件級別的建模，而忽略了事件要素所呈現的復雜語義特征。基于此，岳聚微博士于WWW2021提出，通過同時建模 事件要素級別 、事件級別和事件序列級別的多粒度特征來進行事件預測。

在具體的實現中，主要包括兩個模塊。一是 事件要素表示模塊 ，該模塊以整個事件序列為輸入，通過帶掩碼的多頭自注意力機制學習事件要素間的隱式關聯，得到細粒度的事件要素級別的表示；然后，作者將事件要素向量拼接，通過全連接層和激活函數的特征變換輸出事件級的特征表示。得到初始的事件表示后，作者設計 事件特征抽取模塊 ，借鑒Li et al.^[6]^ 于IJCAI2018提出的基于圖結構建模事件間演化關系的思想，將事件序列轉化到圖結構上，通過圖神經網絡學習事件序列層面上的事件的特征表示，再進行預測。

多粒度級別建模：IJIS2022: What happens next? Combining enhancedmultilevel script learning and dual fusionstrategies for script event prediction

上一篇WWW2021的工作融合的是要素級別和事件級別兩個層面的語義信息，而這一篇發表于International Journal of Intelligent Systems的工作則通過同時建模事件級別、事件序列級別和事件片段級別三種粒度的語義來實現事件預測，取得了優異的實驗性能。

基于圖結構建模的事件預測

IJCAI2018-Constructing Narrative Event Evolutionary Graph for Script Event Prediction

盡管上述基于事件序列的建模方法卓有成效，但仍舊存在難以處理的情況。如下圖所示，圖中包括A,B,C,D,E五個事件，圖(a)要求預測事件C的后續事件為D。然而，根據圖(b)的訓練數據，事件C 的后續事件是E的概率大于為D的概率，這可能導致圖(a)中做出錯誤的預測。然而，如果我們以圖結構來組織數據，就可以發現事件B、C和D往往同時出現，也就是說，圖結構能夠刻畫一種 更加復雜的事件間演化關系 ，這為圖(a)中的事件預測提供了重要線索。

從上述思想出發，哈工大李忠陽博士構建了敘事事件演化圖(Narrative Event Evolutionary Graph, NEEG) ， 如下圖所示 。該圖中的 節點為具體的事件 ， 有向邊表示事件間的演化關系 ， 邊上的權重表示該演化關系出現的頻率 。

敘事事件演化圖示例

在完成演化圖構建后，作者對門控圖神經網絡(Gated Graph Neural Networks, GGNN)進行拓展，實現了可以適應于小規模子圖結構的Scaled Graph Neural Network (SGNN)在圖結構上進行事件表示的學習，再進行事件的預測。

在后來的研究中，基于圖結構進行事件預測的工作仍在繼續。在COLING2020中，來自國防科大的學者通過 Heterogeneous Graph Neural Networks to Predict What Happen Next^[7]^ 一文提出基于異質圖建模的事件預測；在ACL2022中，來自哈工大的杜理博士將圖結構（Graph）與BERT模型結合，在 A Graph Enhanced BERT Model for Event Prediction^[8]^ 一文提出了能夠自動預測事件圖結構信息的方法GraphBERT，避免了測試事件不被事件圖覆蓋的問題。

基于外部知識增強的事件預測

因為腳本中的事件是通過元組表示的，這導致它吧 在腳本中，每個事件都由四個單詞/詞組構成的元組表示，這導致較之傳統的自然語言文本，由事件元組構成的事件序列所能提供的語義信息非常有限。因此，研究人員開始考慮從外部資源庫中 提取知識來增強事件表示。根據引入知識的不同，基于外部知識增強的事件預測工作大體可分為三類。

話語關系增強的事件預測

ACL2019-Multi-Relational Script Learning for Discourse Relations

第一類是基于話語關系建模事件間關系的事件預測。為什么需要事件間的關系來推理后續事件的發生呢？

如下圖所示，對于Step1的事件“Jenny went to her favorite restaurant”，若基于傳統的事件共現性建模，Step2中的事件“She was very hungry”和“It was raining outside”都可能是Step1的后續事件。然而，如果給定了Step2的事件是Step1事件的原因(即因果關系) ，則可以推出Step2中被選定的事件為“She was very hungry”。因此，如果能挖掘事件之間的關系(例如，原因、時序、轉折等)，則能為事件預測提供強有力的線索。

基于上述思想，來自普渡大學的學者 I-Ta Lee 在ACL2019引入了話語數據庫PDTB中的話語關系，設計了一種基于 細粒度多關系建模的事件表示方法 。具體地，作者合計引入了 三大類共11種關系 ：1）COREF_NEXT，指是同一指代鏈上的事件序列關系；2）NEXT，指特定大小上下文窗口之間同時發生的事件；3）Discourse Relations(話語關系)，包括原因、結果和條件等如下表所示的合計9種話語關系。基于事件間的關系類型，分別通過TransE和TransR策略進行事件表示學習，從而進行相關任務的預測。

后續，I-Ta Lee 在其發表于EMNLP2020 的 Weakly-Supervised Modeling of Contextualized Event Embedding for Discourse Relations ^[9]^ 一文中再次通過引入話語關系建模事件間關系進行任務預測，取得了良好的效果。

知識庫增強的事件預測

基于事件知識庫的語義增強：COLING2020-Integrating External Event Knowledge for Script Learning

較之話語關系，事件知識圖譜則更直觀表達了事件間語義關系的信息。例如圖所示，通過的事件三元組可以非常明確地作為事件"Jack felt hungry"的后續事件是"He had lunch"。同理，當我們預測整個事件序列的后續事件時，根據知識庫中的三元組，便可以判斷當前腳本的后續事件是"He left home"。

基于上述思想，COLING這篇論文的關鍵問題就在于 融合外部的事件知識來幫助解決腳本事件預測問題 ，具體包括兩個核心的階段：知識抽取階段以及 知識融合階段 。在知識抽取的階段，作者以腳本序列中的事件作為查詢，在事件知識庫中檢索對應的事件及其對應的 事件三元組 ；在知識融合階段，作者設計了融入尾實體 (Tail only) 、事件模板轉換 (Event Template) 和 關系嵌入表示 (Relation Embedding) 三種知識融合方法獲取外部知識感知的事件表示。最后，基于事件表示進行相應的任務預測。

基于常識知識庫的語義增強 EMNLP2019: Event Representation Learning Enhanced with External Commonsense Knowledge

除了事件知識圖譜，常識知識庫也能為事件預測提供有效的線索。哈工大丁效老師于EMNLP2019的論文指出：客觀事件的發生會被人類的主觀情感所影響，而不同的事件背后所體現的意圖和情感也互不相同，因此通過EventMind ^[10]^ 和 ATOMIC ^[11]^ 兩個常識知識庫引入情感和意圖知識來增強事件表示的語義信息，從而辨別易混淆的事件。

原文本增強的事件預測

第三類被引入的外部知識是 腳本事件本身的原始文本 。正如前文分析，導致腳本事件語義稀疏的重要原因之一就是事件脫離了其本身的上下文，那么，最直觀可以用來增強語義的外部知識就是腳本事件本身的原始文本。

原始文本增強的事件預測 AAAI2023: Rich Event Modeling for Script Event Prediction

在AAAI2023, 中科院計算所的白龍博士指出，腳本事件預測任務的挑戰主要體現在兩方面：一是事件描述，這體現了事件應當包含了怎樣的信息；二是事件編碼，這體現在如何將事件編碼為機器可計算的有效表示。關于 事件描述 ，現有工作中的事件都通過一個由主語、謂語動詞、賓語和間接賓語構成的四元組來表示。由于缺失事件所處的上下文，可能導致謂語動詞的語義模糊(例如，動詞 fall 可能表達"被擊敗"或"落下"的語義），且主語、賓語和間接賓語無法準確描述事件內涵的問題；關于 事件編碼 ，現有的編碼器僅局限于對固定數量論元的事件進行編碼，導致無法處理論元數量不等以及論元間靈活交互的問題。

為了解決上述問題，作者設計了名為 Rich Event Prediction 的方案：通過 Abstract Meaning Representation (AMR) 對事件原屬文本進行解析，從而獲取 rich event prediction，并通過Transformer編碼器來捕捉事件論元間的關聯關系，取得了良好的實驗效果。

總結

上文從兩個方面梳理了現有的腳本事件預測的相關工作，并介紹了代表性的相關工作。其實，除了上文介紹的論文，還有許多非常精彩關于事件預測的工作，感興趣的小伙伴可以盡情挖掘，大家一起成為未卜先知的小諸葛(doge.jpg)