bert训练的一些技巧(rand ＜ self.skipgram_prb)

self.skip_gram_prb:

• self.skip_gram_prb 是一个实例变量，表示skip-gram掩码的概率。这个值通常在0到1之间，例如0.15，0.2等。
• 例如，如果 self.skip_gram_prb 设置为0.15，则表示有15%的机会进行skip-gram掩码操作。