Git LFS Pull

快速下载

在Huggingface等平台上,各种模型数据库文件都会被存储为Git LFS对象。

如果不想使用Huggingface等平台提供的专用工具,如何方便地下载呢?

最简单的,无脑的方法,只需要遵照Huggingface模型页面提供的代码,克隆仓库即可

1
git clone https://huggingface.co/my/model

但是!这种方法会一次性拉取并检出所有文件,包括所有LFS文件对象。

有时,我们并不需要仓库中的所有LFS文件,比方说一部分仓库同时提供.pth.safetensors格式的模型权重,但我们只需要其中一种就够了。

那么,有没有更自定义一点的法子?

我们可以在克隆时忽略克隆完整的LFS对象,只保留LFS对象的指针。与此同时,正常拉取仓库中其他普通文件。

1
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/my/model

这样一来,仓库中所有非LFS对象就获取完毕了,接下来只需要按需获取LFS文件。怎么做呢?非常简单,git lfs pull提供了一个--include/-I参数:

1
git lfs pull --include "*.safetensors"