1️⃣论文阅读-Generative Pre-Training技术分享通过在不同的未标记文本语料库上生成预训练语言模型，然后对每个特定任务进行歧视性微调，可以在这些任务中实现较大的收益。在微调过程中利用任务感知的输入转换来实现有效的传输，同时需要对模型体系结构进行最少的更改。2023-1-16 论文 知识 预训练
2️⃣论文阅读-BERT技术分享语言表示模型BERT,代表来自Transformer的双向编码器表示。旨在通过联合调节所有层中的左右上下文来从未标记的文本中预训练深度双向表示(用来预训练未标记文本的深度双向表示)。因此，预训练的 BERT 模型只需一个额外的输出层就可以进行微调，为各种任务（例如问答和语言推理）创建最先进的模型，而无需大量特定于任务的架构修改。2023-1-20 论文 知识 预训练
