如何禁用 TOKENIZERS_PARALLELISM=(true | false) 警告? [英] How to disable TOKENIZERS_PARALLELISM=(true | false) warning?
本文介绍了如何禁用 TOKENIZERS_PARALLELISM=(true | false) 警告?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我使用pytorch来训练huggingface-transformers模型，但是每一个epoch，总是输出警告:
I use pytorch to train huggingface-transformers model, but every epoch, always output the warning:
The current process just got forked. Disabling parallelism to avoid deadlocks... To disable this warning, please explicitly set TOKENIZERS_PARALLELISM=(true | false)
如何禁用此警告?
推荐答案
设置环境变量为字符串"false"
要么通过
TOKENIZERS_PARALLELISM=false
在你的外壳中
或通过:
import os
os.environ["TOKENIZERS_PARALLELISM"] = "false"
在 Python 脚本中
in the Python script
这篇关于如何禁用 TOKENIZERS_PARALLELISM=(true | false) 警告?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
