Create README.md

README.md

@@ -0,0 +1,10 @@
+---
+license: apache-2.0
+---
+-  CPT 阶段，本文采取两阶段方式，第一阶段，固定模型Transformer 部分的参数，仅训练Embedding，在尽量不干扰原模型的情况下适配新增的藏文词向量；第二阶段：为模型添加LoRA+ 权重，训练Embedding 的同时也更新LoRA+ 参数。两阶段的训练方式虽然效率较低，然而有效缓解了由于藏文数据与Llama 2 模型预训练时使用的数据分布存在差距而在CPT 过
+程中出现分布偏移的问题。
+
+
+
+-  本文的训练流程主要包含：对Llama 2 进行藏文词表扩充，词表由32000 扩展至56724，提高模型在藏文的编解码效率。在TibetanGeneralCorpus 上使用Sentencepiece 工具训练基于Unigram 策略的藏文分词器。生成的词表与原版Llama 2 的32K 词表进行合并，排除重复的词
+元后，得到扩充后词表规模为56724。用15G 的TibetanGeneralCorpus 和20G 的英、中混合文本进行CPT，采用自回归任务。