Конвертируем модели Hugging Face в GGUF: скрипт для локального AI-стека

Не все модели существуют в готовом .gguf-формате. Если нужно нестандартное квантование — например, Q4_K_M, Q5_K_M или Q8_0 — или модель ещё никто не конвертировал, приходится делать это вручную. Раньше это означало возню со скриптами и зависимостями, теперь процесс можно автоматизировать.

Скрипт convert_to_gguf.sh берёт на себя всю рутину: установку необходимых компонентов, конвертацию из .safetensors в GGUF, затем — в нужный квант. Он также чистит временные файлы, чтобы не засорять диск. Это практичное решение для тех, кто собирает локальный AI-стек и хочет использовать конкретные модели, которых нет в готовых сборках.