技术分享 | Category | LR’s Laboratory

语言表示模型BERT,代表来自Transformer的双向编码器表示。旨在通过联合调节所有层中的左右上下文来从未标记的文本中预训练深度双向表示(用来预训练未标记文本的深度双向表示)。因此，预训练的 BERT 模型只需一个额外的输出层就可以进行微调，为各种任务（例如问答和语言推理）创建最先进的模型，而无需大量特定于任务的架构修改。