huggingface hub 离线模式

最近在一个新集群上，计算节点不能联网，只有特殊节点可以联网。

现在的代码仓库依赖 huggingface hub 很严重，模型和数据集只能在特殊节点先下载好，然后在计算节点加载缓存。

为了不用绝对目录，可以设置环境变量 HF_HOME：

export HF_HOME="dir_to_pub/.cache/huggingface"

然后特殊节点正常跑，

计算节点上设置 huggingface hub 为离线模式：

export HF_HUB_OFFLINE=1

这样，在每次 AutoTokenizer.from_pretrained 或者 AutoModel.from_pretrained 时，等效于加入 local_files_only=True，就不会再联网去判断缓存是否要更新了（这里如果断网情况下会卡几分钟）