v3的自我认知怎么还不如之前
#31
by
yyren7
- opened
没有做后训练,预训练数据中很多是从GPT4中蒸馏的
没有做后训练,预训练数据中很多是从GPT4中蒸馏的
现在的版本是还没有做post-training的版本吗,我记得deepseek v2的datasets专门有个必须把自己识别为deepseek或者深度求索,忘了在哪儿看到的了印象还挺深的。
源自GPT, 为什么非要说自己是deepseek? 与掩耳盗铃有什么区别
源自GPT, 为什么非要说自己是deepseek? 与掩耳盗铃有什么区别
蒸馏了别家的数据集而已吧,不如说互联网上大部分和llm这个topic相关的数据都会提到gpt,这个在后面finetuning就行了