BeagleWorks/beagle-pretrain-v1

事前学習会の用のモデルです

モデル

パラメータ数は300M強
24レイヤー、1024隠し層、16ヘッド

学習データ

オープンソースな日本語データセットを利用

トークナイザー

Unigram, Metaspace
データセットからトークナイザーを学習

事前学習

GPT2系のデコーダから作成
DeepSpeed ZeRO-3 / CPUオフロード
1epochのみ