Ollama support
When can you support OLLAMA? It's very friendly for low-end hardware.
Ollama supports gguf's, but it fails:
https://huggingface.co/docs/hub/ollama
ollama run hf.co/microsoft/bitnet-b1.58-2B-4T-gguf
pulling manifest
pulling 13939ce50303... 100% ▕████████████████████████████████████████████████████████▏ 1.8 GB
pulling d3e74eb82b03... 100% ▕████████████████████████████████████████████████████████▏ 46 B
pulling 33628a28ae3a... 100% ▕████████████████████████████████████████████████████████▏ 19 B
pulling abe99eb73b8f... 100% ▕████████████████████████████████████████████████████████▏ 201 B
verifying sha256 digest
writing manifest
success
Error: unable to load model: C:\Users\xxxxx.ollama\models\blobs\sha256-13939ce5030319a35db346e5dba7a3a3bd599dfc18b113a2a97446ff964714c5