在本地运行人工智能模型对于隐私和实验来说非常有用,但每个模型都很大。尝试几种尺寸和多种型号的变体,被遗忘的模型权重文件就可能轻松占用 50 GB 甚至更多空间。
每个工具都有自己的存储,并且每个工具都有删除模型的正确方法。使用它可以避免破坏您想要保留的模型。
Ollama
Ollama 将模型存储在 ~/.ollama/models 中。模型数据被分成共享层(“blob”),因此不同的模型可以共享片段。原因如下您应该通过 Ollama 删除模型而不是直接删除 blob 文件。
查看已有模型:
ollama list
这列出了每个模型的大小以及上次修改的时间。
删除模型:
ollama rm llama3:70b
将 llama3:70b 替换为 ollama list 显示的名称。 Ollama 会删除所有不再被剩余模型使用的共享层。
检查总大小:
du -sh ~/.ollama/models
Hugging Face
transformers 和 diffusers 等库将模型下载到 Hugging Face 缓存中,默认为 ~/.cache/huggingface/hub。 Hugging Face 命令行工具可以显示并清理此缓存:
huggingface-cli scan-cache
这列出了每个缓存的模型、数据集和修订版及其大小。要以交互方式选择要删除的内容:
huggingface-cli delete-cache
该工具的较新版本还在 hf 命令下提供了这些命令;运行hf --help进行检查。如果您使用 HF_HOME 或 HF_HUB_CACHE 环境变量设置自定义位置,则缓存将位于此处。
LM Studio
打开 LM Studio 并转到 我的模型。每个下载的模型都列出了其大小。使用模型旁边的菜单将其删除,或在 Finder 中显示其文件夹以检查模型的存储位置。
模型隐藏的其他地方
- Python 虚拟环境 有时在项目文件夹中包含下载的模型文件。
- 图像生成应用程序 通常将检查点和 LoRA 保存在
~/Library/Application Support内自己的文件夹中或您在设置过程中选择的文件夹中。 - Docker 容器 运行模型服务器可以将模型保存在 Docker 的磁盘映像中。请参阅清除开发者缓存。
决定保留什么
在删除之前,请考虑模型的下载时间、您是否使用特定的量化版本以及您是否对其进行了自定义(例如 Ollama 模型文件)。如果连接速度较慢,再次下载大型模型可能需要很长时间。
常见问题
Ollama 在 Mac 上的哪里存储模型?
默认在 ~/.ollama/models 中,除非您已将 OLLAMA_MODELS 环境变量设置到其他位置。
我可以直接删除 ~/.ollama/models/blob 中的文件吗?
不推荐。 Blob 在模型之间共享,因此手动删除它们可能会破坏您想要保留的模型。请改用 ollama rm。
Hugging Face 缓存在 Mac 上的什么位置?
默认在 ~/.cache/huggingface/hub 中。使用 Hugging Face CLI 缓存扫描命令查看其中的内容。