Mac에서 로컬 AI 모델을 찾고 제거하는 방법(Ollama, Hugging Face, LM Studio)

AI 모델을 로컬에서 실행하는 것은 개인 정보 보호 및 실험에 적합하지만 각 모델의 크기가 큽니다. 몇 가지 크기와 여러 모델의 변형을 시도해 보면 잊고 있던 모델이 50GB 이상을 차지하기도 합니다.

각 도구는 자체 저장소를 유지하며 모델을 제거하는 적절한 방법이 있습니다. 이를 사용하면 유지하려는 모델이 손상되는 것을 방지할 수 있습니다.

Ollama

Ollama는 ~/.ollama/models에 모델을 저장합니다. 모델 데이터는 공유 레이어("블롭")로 분할되므로 여러 모델이 조각을 공유할 수 있습니다. 그렇기 때문에 Blob 파일을 직접 삭제하는 대신 Ollama를 통해 모델을 제거해야 합니다.

설치된 모델 확인:

ollama list

여기에는 각 모델의 크기와 마지막 수정 날짜가 나열됩니다.

모델 삭제:

ollama rm llama3:70b

llama3:70b을 ollama list에 표시된 이름으로 바꿉니다. Ollama는 나머지 모델에서 더 이상 사용하지 않는 레이어를 제거합니다.

전체 크기 확인:

du -sh ~/.ollama/models

Hugging Face

transformers 및 diffusers과 같은 라이브러리는 기본적으로 ~/.cache/huggingface/hub Hugging Face 캐시에 모델을 다운로드합니다. Hugging Face 명령줄 도구는 다음 캐시를 표시하고 정리할 수 있습니다.

huggingface-cli scan-cache

여기에는 캐시된 각 모델, 데이터셋, 리비전이 크기와 함께 나열됩니다. 대화형으로 삭제할 항목을 선택하려면:

huggingface-cli delete-cache

최신 버전의 도구는 hf 명령 아래에도 이러한 명령을 제공합니다. hf --help을 실행하여 확인하세요. HF_HOME 또는 HF_HUB_CACHE 환경 변수를 사용하여 사용자 정의 위치를 설정하면 캐시가 대신 해당 위치에 있게 됩니다.

LM Studio

LM Studio를 열고 내 모델로 이동합니다. 다운로드한 각 모델은 크기와 함께 나열됩니다. 모델 옆에 있는 메뉴를 사용하여 모델을 삭제하거나, Finder에 해당 폴더를 표시하여 모델이 저장된 위치를 확인하세요.

모델이 숨은 다른 장소

• Python 가상 환경에는 프로젝트 폴더에 다운로드한 모델 파일이 포함되는 경우가 있습니다.
• 이미지 생성 앱은 ~/Library/Application Support 내부의 자체 폴더나 설정 중에 선택한 폴더에 체크포인트와 LoRA를 보관하는 경우가 많습니다.
• Docker 컨테이너에서 실행하는 모델 서버는 Docker의 디스크 이미지 안에 모델을 보관할 수 있습니다. 개발 도구 캐시 정리를 참조하세요.

무엇을 유지할지 결정

삭제하기 전에 모델을 다운로드하는 데 걸린 시간, 특정 양자화된 버전을 사용하는지 여부, 사용자 정의했는지 여부(예: Ollama 모델 파일)를 고려하세요. 대형 모델을 다시 다운로드하는 경우 인터넷 연결이 느리면 시간이 오래 걸릴 수 있습니다.