LLM Course documentation
สรุป
0. ติดตั้งโปรแกรม
1. โมเดล Transformer
บทนำการประมวลผลภาษาธรรมชาติTransformers ชื่อนี้มีดียังไง?Transformers ทำงานยังไง?โมเดล Encoderโมเดล Decoderโมเดล sequence-to-sequenceข้อจำกัดจากอคติของข้อมูลสรุปคำถามท้ายบท
2. การใช้งาน 🤗 Transformers
3. การ fine-tune โมเดลที่ผ่านการเทรนมาแล้ว (pretrained model)
4. การแบ่งปันโมเดลและ tokenizers
6. ตัวตัดคำจาก 🤗 Tokenizers library
สรุป
ในบทนี้คุณได้เรียนรู้การแก้ปัญหา NLP แบบต่าง ๆ โดยใช้ฟังก์ชัน pipeline() จาก 🤗 Transformers รวมถึงได้เรียนรู้การค้นหาและใช้งานโมเดลใน Hub อีกทั้งยังเรียนรู้การใช้งาน Inference API ในการทดสอบโมเดลจากเว็บบราวเซอร์
นอกจากนี้เรายังได้พูดเกี่ยวกับการทำงานของโมเดล Transformer และความสำคัญของการใช้งาน transfer learning และการ fine-tune สิ่งสำคัญเลยคือ คุณสามารถใช้โมเดลแบบเต็มรูปแบบหรือจะใช้เพียงแค่ส่วน encoder หรือ decoder ก็ได้ ขึ้นอยู่กับว่าต้องการใช้งานแบบไหน ตารางด้านล่างสรุปการใช้งานไว้ดังนี้:
| โมเดล | ตัวอย่าง | งาน |
|---|---|---|
| Encoder | ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa | การแยกแยะประโยค, การระบุประเภทคำ, การสกัดคำถามคำตอบ |
| Decoder | CTRL, GPT, GPT-2, Transformer XL | การสร้างข้อความ |
| Encoder-decoder | BART, T5, Marian, mBART | การสรุปความ, การแปลภาษา, การสร้างคำตอบจากคำถาม |