新的开始~

通过在不同的未标记文本语料库上生成预训练语言模型，然后对每个特定任务进行歧视性微调，可以在这些任务中实现较大的收益。在微调过程中利用任务感知的输入转换来实现有效的传输，同时需要对模型体系结构进行最少的更改。

论文阅读-Generative Pre-Training

语言表示模型BERT,代表来自Transformer的双向编码器表示。旨在通过联合调节所有层中的左右上下文来从未标记的文本中预训练深度双向表示(用来预训练未标记文本的深度双向表示)。因此，预训练的 BERT 模型只需一个额外的输出层就可以进行微调，为各种任务（例如问答和语言推理）创建最先进的模型，而无需大量特定于任务的架构修改。

论文阅读-BERT

论文阅读-Attention 

25.K个一组翻转列表

重走BERT路—word2vec

OS与虚拟化安全

大数据项目实战——加油站服务商数据分析平台（一）

用户使用业务日志数据分析

论文阅读系列之时序数据处理

论文阅读系列之生存分析

论文阅读系列之智能制造

检索-增强-生成-RAG

技术分享

心情随笔

刷题日记

论文阅读

友情链接

往期整理

历史归档

文章分类

文章标签

关于我

English

友链

Github

开发

论文

password

icon

date

type

slug

status

title

summary

Post Board

Config

Table

Post Gallery

类型为Notice的文章将被显示为公告

公告

递归

新闻

链表

LR’s Laboratory

知识

预训练

文字

注意力机制