解决.errors_impl.InvalidArgumentError: 2 root error(s) found.报错问题

时间:2024-11-11 07:45:23

问题来源:

在使用bert进行fine-tune训练模型时,maxlen设置为512时,会遇到该问题。

问题原因

由于bert的模型默认最大长度为512,而在对文本进行处理时,文本的开头和结尾会加入[cls]和[sep],因此如果我们设置512的最大文本长度,会导致超过默认bert设置的maxlen。

解决方法:

将maxlen的值调小,小于等于510即可。