中山市建设安全监督站网站网站建设 洪塔

上一篇已经讲解了如何构建自己的私人GPT，这一篇主要讲如何让GPT支持中文。

privateGPT 本地部署目前只支持基于llama.cpp 的 gguf格式模型，GGUF 是 llama.cpp 团队于 2023 年 8 月 21 日推出的一种新格式。它是 GGML 的替代品，llama.cpp 不再支持 GGML。

本文主要采用国产YI-34B-CHAT模型。
1.模型下载
yi模型下载：TheBloke/Yi-34B-Chat-GGUF · Hugging Face

下载后放置在 models 文件夹下
embedding模型下载：BAAI/bge-small-en-v1.5 · Hugging Face

下载后放置在models/cache文件夹下，bge is short for BAAI general embedding，FlagEmbedding 可以将任何文本映射到低维密集向量，该向量可用于检索、分类、聚类或语义搜索等任务。它还可以用于法学硕士的矢量数据库

2.settings.yaml 文件修改：
主要修改local部分，使用YI模型使用prompt_style: "tag"类型的提示词模板

llm_hf_model_file: yi-34b-chat.Q4_K_M.gguf
prompt_style: "tag"

3.代码修改
使用YI-34B-CHAT模型，源码要简单修改下，修改如下

文件路径 privateGPT/private_gpt/components/llm/llm_component.py

第44行，添加如下内容：

generate_kwargs={'stop':['<|im_end|>']},

如图：

导航到 UI：在浏览器中打开 http://localhost:8001/。
 

创作不易，多多支持！