个人免费网站注册com品牌网站建设优化公司哪家好

模型BERT

任务：提取问题和答案

问题的起始位置和结束位置。

数据集

数据集 DRCD+ODSQA

先分词，然后tokenize


文章长度是不同的，bert的token的长度有限制，一般是512， self-attention的计算量是$O(n^2)$,所以无法将长的整篇文章送进去处理。

Train

以正确答案为中心，以固定长度的windows去找问题。关键字，答案一般在关键字附近，在答案的附近画一个window，越大越好。然后将这些片段进行tokenizer，再去训练。

Hints

• Linear Learning rate decay
  

overlapping window， 因为分割可能会看不到，重叠一些部分。 修改doc stride参数。

正确答案不一定是在窗户正中心。

不同的预训练模型，建议使用中文预训练模型。

自动混合精度，有的时候不需要那么高的精度Float32，仅部分卡支持，以加速训练。

如果GPU内存不够的话，可以使用Gradient accumulation，累计参数一次更新。

Kaggle项目

套件：pip install transformers