Problem z generowaniem odpowiedzi
#2
by
tqosek
- opened
Witam serdecznie,
Mam pytanie odno艣nie generowania odpowiedzi z u偶yciem modelu z przyk艂adu.
Ot贸偶 korzystam z GoogleColab, gdzie pr贸buj臋 uruchomi膰 zaproponowane linie kodu.
Oto przyk艂ad:
!pip install transformers accelerate torch
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "CYFRAGOVPL/PLLuM-12B-chat"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="auto" # automatically places model layers on available devices
)
Natomiast nie mog艂em uruchomi膰 standardowego kodu zaproponowanego dla outputu.
Musia艂em zrobi膰 zmiany, tj:
prompt = "Napisz kr贸tki wiersz o wio艣nie." # EN:"Write a short poem about spring."
inputs = tokenizer(prompt, return_token_type_ids=False, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=50,
do_sample=True,
top_k=50,
top_p=0.9,
temperature=0.7,
eos_token_id=None
)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(generated_text)
Jak wida膰 doda艂em argument: return_token_type_ids=False - inaczej kom贸rka nie startowa艂a
W dodatku eos_token_id=None.
Jednak偶e co艣 jest nie tak z outputem - generuje si臋 on w GoogleColab jakie艣 5-6 minut, po czym ma mniej ni偶 50 token贸w.
Oto output, kt贸ry zosta艂 wygenerowany:
Napisz kr贸tki wiersz o wio艣nie.Wiosna budzi si臋 do 偶ycia,
S艂o艅ce 艣wieci ja艣niej,
Kwiaty zaczynaj膮 kwitn膮膰,
Ptaki 艣piewaj膮 rado艣niej.
Zielone li艣cie pojaw
Czy mog臋 prosi膰 o wsparcie?