COMET 介绍

COMET 全称 Commonsense Transformers for Automatic Knowledge Graph Construction
论文地址：https://arxiv.org/pdf/1906.05317.pdf

概括起来是，关系三元组，其中是关系头部，是关系，是关系尾部。使作为语言模型输入，使用文本生成预测。

基础介绍

使用 GPT 训练一个常识知识图谱构建模型。数据集是比较有特色的，关系中的实体都是一句话表达的。

模型结构如下图，常规的Transformers。输入向量是词向量+位置向量。模型输入

模型输入是 $X={X^s, X^r, X^o}$ ，其中 $X^s$ 是关系头部，$X^r$ 是关系，$X^o$ 是关系尾部。如下图

训练目标训练目标是给定关系三元组中的 $[X^s,X^r]$ ，使用文本生成预测 $X^o$。

\[\mathcal{L}=-\sum_{t=|s|+|r|}^{|s|+|r|+|o|}{log P(x_t|x_{<t})}\]