Tower-Babel

/

Babel-9B-Chat

like 47

Follow

Babel 68

i think this can be more accuracy using high quality dataset, like what cohere use for training in persian

Thanks for the suggestion on using the cohere datasets, we will take a look.

We've only used a portion of the open-source SFT data for the chat version (mainly to test the base version's capabilities), so I agree there's much room for improvement in the chat version.

Thanks for pointing this out! We thoroughly investigated the issue and found that it was caused by an incorrect eos_id in the generate() function.

The correct implementation should be: generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, eos_token_id=151645).

We tested the same prompt as you and found that the output is:

Formatted text:
<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
سلام یک شعر به فارسی بگو<|im_end|>
<|im_start|>assistant

Model input:
{'input_ids': tensor([[151644, 8948, 198, 2610, 525, 264, 10950, 17847, 13,
151645, 198, 151644, 872, 198, 124941, 220, 14391, 32311,
52157, 124273, 81768, 45577, 35038, 20064, 14391, 27846, 63732,
12653, 151645, 198, 151644, 77091, 198]], device='cuda:0'), 'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1]], device='cuda:0')}
Response:
سلام! در اینجا یک شعر کوتاه به فارسی برای شما آورده شده است:

در باغِ دلِ تو گل‌ها رقص می‌کنند
روزها در آغوشِ شب‌ها می‌گذرد
در این دنیای پر از نور و تاریکی
تو هستی نوری که همه را روشن می‌کند

امیدوارم این شعر به ذوق شما برسد.

thanks, it cause better result ,
seems that we need more dataset in some languages like Persian
i try use it as translate and found it's poor in keywords in this languages
example prompt

این متن را به فارسی روان ترجمه کن. هیچ توضیح اضافه ای ننویس
where ( f_{\mu, \Sigma}(x) ) returns the probability density corresponding to the input feature vector ( x ). Probability density can be interpreted as the likelihood that example ( x ) was drawn from the probability distribution we model as an MND. Values ( \mu ) (a vector) and ( \Sigma ) (a matrix) are the parameters we have to learn. The maximum likelihood criterion (similarly to how we solved the logistic regression learning problem) is optimized to find the optimal values for these two parameters. ( |\Sigma| = \det \Sigma ) is the determinant of the matrix ( \Sigma ); the notation ( a^T ) means the transpose of the vector ( a ), and ( \Sigma^{-1} ) is the inverse of the matrix ( \Sigma ).

a good translation should be like this
در اینجا، 𝑓𝜇,Σ(𝑥) چگالی احتمال متناظر با بردار ویژگی ورودی x را برمی‌گرداند. چگالی احتمال را می‌توان به‌عنوان احتمال اینکه نمونه x از توزیع احتمالی که آن را به‌صورت یک توزیع نرمال چندمتغیره (MND) مدل‌سازی می‌کنیم، نمونه‌برداری شده باشد، تفسیر کرد.مقادیر μ (یک بردار) و Σ (یک ماتریس) پارامترهایی هستند که باید یاد بگیریم. معیار حداکثر درست‌نمایی (مشابه روشی که برای حل مسئله یادگیری رگرسیون لجستیک استفاده کردیم) بهینه می‌شود تا مقادیر بهینه این دو پارامتر تعیین شوند∣Σ∣=detΣ دترمینان ماتریس Σ است؛ نماد 𝑎𝑇به معنای ترانهاده بردار 𝑎a است و Σ−1 معکوس ماتریس Σ را نشان می‌دهد.