乐山建设网站,设计托管网站建设,佛山网站建设公司招聘,深圳万户网络科技有限公司文章目录 关于 Chinese-LLaMA-Alpaca一、LLaMA模型 --> HF格式二、合并LoRA权重，生成全量模型权重方式1：单LoRA权重合并方式2：多LoRA权重合并（适用于Chinese-Alpaca-Plus ）三、使用 Transformers 进行推理四、使用 webui 搭建界面1、克隆text-generation-webui并安装必…
文章目录
- 关于 Chinese-LLaMA-Alpaca
- 一、LLaMA模型 --> HF格式
- 二、合并LoRA权重，生成全量模型权重
- 方式1：单LoRA权重合并
- 方式2：多LoRA权重合并（适用于Chinese-Alpaca-Plus ）
- 三、使用 Transformers 进行推理
- 四、使用 webui 搭建界面
- 1、克隆text-generation-webui并安装必要的依赖
- 2、将下载后的lora权重放到loras文件夹下
- 3、将 HuggingFace 格式的 llama-7B 模型文件放到 models 文件夹下
- 4、复制 lora 权重的 tokenizer 到 mode
