README.md

---
tags:
- model_hub_mixin
- pytorch_model_hub_mixin
license: apache-2.0
datasets:
- IgorVolochay/russian_jokes
language:
- ru
pipeline_tag: text-generation
---
### Общее описание
Трансофрмер для языкового моделирования, обученный на русских анекдотах. Особенности архитектуры:
- Grouped query attention в качестве механизма внимания
- ALiBi для относительного позиционного кодирования
- SWiGLU как полносвязный слой
- RMSnorm в качестве слоя нормировки


Токенизация текста происходит с помощью byte-level BPE

### Конфигурации:
- [nano](https://drive.google.com/file/d/1lr0XfaTFOV4DtVG_oq8LmQ-uAhU7Xzsm/view?usp=drive_link):
  - 0.5 М параметров
  - Cross-entropy loss: 3.9
  - perplexity: 49
  - Примеры продолжения фразы "Зашёл в б":
    - Заходит в балконом:- Милый, а почему вы так не проблем?[EOS]
    - Заходит в белый, у меня с ней в сынок, сторонына и дорогой, втором и прошел вечером на саду. Одневается карках, говорит: - Ты где ты, у меня, у меня есть вчера настели, а у него волог, у него волет, да? - Ну, дай![EOS]
    - Заходит в борщи. Моит на пьяной в качке. Подходит в бесменс. Обходит к пьяного и говорит: - Пок, у нас нее, дочуще не вдутину. - Мойдем, а я на кого-то нему. - Посто яйца весь пойменях, и говорит: - Я тебе, а что, а какая пойду, нусть! Первые выбегда. - Да, нравьет, что ты что, а вчера не плохая, нуще не ведь.[EOS]

- [mini](https://drive.google.com/file/d/1BcQtPhcvLNEs0b4WH1GsT52Sm_r5mEAm/view?usp=drive_link):
  - 10.0 М параметров
  - Cross-entropy loss: 3.21
  - perplexity: 25
  - Примеры продолжения фразы "Зашёл в б":
    - Заходит в бухгалтеру и говорит:- Что вы не понимаете?- Я же сказал: "Мама, я хочу денег на работе".[EOS]
    - Заходит в бар в квартиру: - Я хочу сегодня картошку в рульте, дедушка встретить, и я - не знаю, - говорит папа. - Папа, а где? - А это я вижу - кура? - А ты что, даже денег не знаю.[EOS]
    - Заходит в бар магазин и говорит продавцу:- Вообще-даки не выйдет, а внукты в салоновали?- Скажите! Мама, доктор, а ты не воспитанный семь, но он еще и вчера не потребит!- Слушайте, это я не даю, а не сегодня в суду![EOS]

- [small](https://drive.google.com/file/d/1q502KqwG9p-dipMV3iI2yGV7cIX2CaYB/view?usp=drive_link) (актуальная версия):
  - 80.0 М параметров
  - Cross-entropy loss: 2.94
  - perplexity: 19
  - Примеры продолжения фразы "Зашёл в б":
    - Заходит в бар и спрашивает у отца: - Сара, а ты что делаешь, когда у меня был богатая девушка, а я его вижу? - Да ты что, не дурак... Я не знаю, что я не знаю. - А я не знаю, что я не могу.[EOS]
    - Заходит в бар. Видит - мужик идет мужик по утрам. Пришлось, да какую-то мужика, он встает. Подходит маленький сын и, снимается, и спрашивает: - Василий Иваныч, ты где-нибудь сегодня делать? Открывает дверь и говорит: - Да я не могу... Мама говорит: - Ну ты же говорят, я испугался. А он ему срет с ним и снимет. Проходящий из школьников и с мамой и дядя похрю в барабан. Идут по студенту, а потом в руки всяк. Вдруг видит, что это - мой бардак...[EOS]
    - Заходит в бар с девушкой. - Что-то я могу сделать мне невестку. - Ну ты, не понравилась? - Да. Теперь у меня две недели, а ты - мой дорогой.[EOS]

This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
- Library: PyTorch
- Docs: [More Information Needed]