ml-PEFT

  1. PEFT
    1. Hugging Face PEFT
  2. 参考文章

PEFT

PEFT全称为 “Parameter-Efficient Fine-Tuning参数高效微调

具体的实现方法有如下几种

  • LoRA

    • LoRA
    • QLoRA
  • Prompt-based Tuning

  • Partial Fine-Tuning

  • LoRa

图解大模型微调系列之:大模型低秩适配器LoRA(原理篇) - 知乎

Hugging Face PEFT

官方中文文档: PEFT - Hugging Face 机器学习平台

参考文章

github