移动端网站开发技术会员插件wordpress

使用 transformer 将字符串转为 id 序列，字符串为中英文混杂形式，

运行中出现报错：'expected sequence of length 4 at dim 1 (got 0)'

发现是在encoder_plus转换时，将输入的文本根据max_length截断了，导致[MASK]等字段没剪除了，生成的 mask_pos (mask 在字符串中的位置)为空，这样在转为 Tensor 时产生了维度错误。

在预处理时，虽然通过设置的最大长度的对字符串做了筛选，但长度是通过空格split计算的，在encoder转换时，每个汉字对应一个id，英文(注：英文是单词或英文字符的拼接) 则根据vocab.txt中的词替换为 id，这样句长就会超过max_length，截断后会将最后的 [MASK] 删除。

解决方法：

在预处理中用encode将字符串转为id序列，根据 id 序列长度及max_length过滤样本。