Конвертирую и квантизирую, скоро будет на Ollama если меня не опередят ;)

Уже есть https://ollama.com/blackened/t-lite , не знаю, есть ли смысл ;)

Генерирует

Уже есть https://ollama.com/blackened/t-lite , не знаю, есть ли смысл ;)

квантизировать точно есть смысл. Я хотел на телефоне погонять. На Galaxy S24 Ultra только 12 Gb. Да и в макбуки далеко не во все влезет.

Добрый день! Вы не могли бы выложить версию в GGML формате + Modelfile?

Версия Ильи Гусева идеально стартует с modelfile от llama3:

Modelfile

FROM "./t-lite-instruct-0.1-abliterated-q8_0.gguf"
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

Уже есть https://ollama.com/blackened/t-lite , не знаю, есть ли смысл ;)

квантизировать точно есть смысл. Я хотел на телефоне погонять. На Galaxy S24 Ultra только 12 Gb. Да и в макбуки далеко не во все влезет.

Тогда https://ollama.com/owl/t-lite

Уже 11 загрузок

GGUF файл с Q4_0 квантизацией: https://mega.nz/file/bFkliBrY#Th_xSSkBDtxknsv5eIr5K866-0-siXLKhmSCIUffMsY

GGUF файл с Q4_0 квантизацией: https://mega.nz/file/bFkliBrY#Th_xSSkBDtxknsv5eIr5K866-0-siXLKhmSCIUffMsY

Спасибо. Скачал, запустил в LM Studio.
Почему-то иногда начинает отвечать "квадратиками". Есть идеи, почему так происходит?

{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>

Интересно, я запускал в ollama когда не было еще https://ollama.com/blackened/t-lite и подобных и у меня с таким шаблоном она вообще не работала. Писала какие то рандомные фразы и всё.

В итоге сделал такой:

{{ if .System }}<|im_start|>system {{ .System }}<|im_end|>{{ end }}

{{ if .Prompt }}<|im_start|>user {{ .Prompt }}<|im_end|>{{ end }}

<|im_start|>assistant {{ .Response }}<|im_end|>

Стала работать сносно, но с остановками что то не так, иногда сама себя прерывает. Понимаю, что где то не так остановки сделаны, но указанный шаблон вообще никак не работал.