STRUCTBERT：将语言结构融入预训练以提升深度语言理解-3，结论

在本文中，我们提出了一种新颖的结构化预训练方法，将词汇结构和句子结构纳入BERT的预训练中。我们引入了词汇结构目标和句子结构目标，作为两种新的预训练任务，用于在不同粒度上深度理解自然语言。实验结果表明，新的StructBERT模型在多种下游任务中取得了新的最先进的结果，包括流行的GLUE基准、SNLI语料库和SQuAD v1.1问答任务。