当前位置: 首页 > news >正文

网站开发域名注册功能家装设计师收费标准

网站开发域名注册功能,家装设计师收费标准,西安公司网站费用,连云港城乡建设局网站Deepseek大火后,很多文章教大家部署Dfiy和ollamadeepseek,但是大部分都忽略了数据安全问题,本文重点介绍Deepseek存算分裂安全架设,GPU云主机只负责计算、CPU本地主机负责数据存储,确保数据不上云,保证私有…

Deepseek大火后,很多文章教大家部署Dfiy和ollama+deepseek,但是大部分都忽略了数据安全问题,本文重点介绍Deepseek存算分裂安全架设,GPU云主机只负责计算、CPU本地主机负责数据存储,确保数据不上云,保证私有数据。

一、首先请看安全风险问题

登陆https://fofa.info/  输入 ollama 你会发现一堆的ollama GPU算力服务器可以“白嫖”

你重金租用的服务器在被别人免费调用时候,导致你的token不足时,你是否会心痛,甚至你是否担心知识库信息被下载。所以本文建议大家采用存算分离方式来部署Deepseek

二、存算部署策略

(一)网络架构图

(二)GPU云主机仅运行计算

1、GPu主机找云服务商购买,本文用的是天翼云的deepseep预装版

具体手册详见官网手册

通过应用市场部署和使用专属的DeepSeek服务-算力互联调度平台-最佳实践 - 天翼云

2、ssh登陆GPU主机可以看到deepseek r1:7b预装好了

ollama list 

增加下载一个向量模型这个很重要,后续dify精确查询知识库需要

 ollama pull bge-m3

3、将默认的web-ui的docker停掉

查看镜像 docker image ls

删除镜像

4、设置安全组,设置仅允许IP为客户dify-CPU主机访问GPU主机11434端口,其他主机都不能访问11434端口

5、修改ollam的配置

vi  /etc/systemd/system/ollama.service

增加  Environment="OLLAMA_HOST=0.0.0.0:11434"

(三)、企业内部cpu主机跑知识库,运行在企业DMA区域,运行docker+dify 

1、安装优版图版22.04 (其他版本也行)

lsb_release -a

2、将下载好的 dify-main.tar.gz 上传CPU主机并解压

 tar -xzvf dify-main.tar.gz
 

3、设置Docker的apt仓库

在新主机上首次安装Docker Engine之前,需要先为Docker设置apt仓库,以便可以从仓库中安装和更新Docker。

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
# 这一句没有魔法在国内可能会报错,可以将链接换成清华镜像源,如:
# sudo curl -fsSL https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

4.安装Docker
在Ubuntu中运行以下命令即可安装最新版Docker:
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

docker ps -ef

docker compse version 

确认docker 安装正常了

5、配置镜像源

镜像站可能随时失效,失效后需编辑配置文件更换。以下提供的镜像链接收集自网络,时间截止至2024年11月

# 创建目录
sudo mkdir -p /etc/docker

# 写入配置文件
sudo tee /etc/docker/daemon.json <<-'EOF'
{
    "registry-mirrors": [
        "https://docker.1panel.dev",
        "https://docker.foreverlink.love",
        "https://dytt.online",
        "https://func.ink",
        "https://lispy.org",
        "https://docker.xiaogenban1993.com",
        "https://docker.xn--6oq72ry9d5zx.cn",
        "https://docker.zhai.cm",
        "https://docker.5z5f.com",
        "https://a.ussh.net",
        "https://docker.cloudlayer.icu",
        "https://docker.linkedbus.com",
        "https://docker.m.daocloud.io"
    ]
}
EOF

# 重新加载守护进程
sudo systemctl daemon-reload
# 重启 docker 服务
sudo systemctl restart docker
 

6、cd /dify/docker 自行 docker compose up

7.成功运行 

设置模型IP地址为GPU主机地址,增加deepseek r1:7b模型,增加 bge-m3向量模型

三、安全的将知识库数据传到本地CPU主机了

http://www.yayakq.cn/news/53968/

相关文章:

  • 贵阳做网站多少钱大泽山seo快速排名
  • 网站源码下载有什么用怎么注册17做网站
  • 百度推广商桥网站上怎么去掉网页设计效果图及代码
  • 广安市建设局新网站网站排名系统
  • 书店网站建设规划书wordpress域名变了
  • 自己做网站如何挣钱简述制作网页时需要的环节
  • 织梦网站制作教程四川省建设厅建筑业信息网
  • Wordpress手机端显示不全seo做的好的网站 知乎
  • 购物网站建设成本太原网站建设电话
  • 石家庄手机网站制作多少钱asp.net 音乐网站开发
  • 阿里云网站建设方案书是什么做网站资源存储
  • 做视频网站赚钱嘛wordpress 不显示全文
  • 网站建设 seo模块wordpress有中文主题吗
  • 沧州市东光建设局 网站网站被屏蔽怎么访问
  • 网站开发的学习路线荣成市建设局网站
  • 网站建设网站制作网站设计做我韩国连续剧网站
  • go语言网站开发厦门效果图制作公司
  • 集团网站 wordpress长沙计算机培训机构排名前十
  • 各大网站开发的区块链wordpress制作培训网站
  • 好的做网站的公司有哪些哪里学做网站
  • 做网站建设需要什么资质实训做网站收获
  • 免费建立手机网站吗做外贸英文网站
  • 网站点击弹出下载框 怎么做的国家企业信息公示(全国)
  • 网站icp备案条件请别人做网站有风险吗
  • 一站式平台网站开发技术郑州app开发制作
  • 装修效果图网站推荐大型门户网站建设效果怎么样
  • 用dw怎么做用户登录页面的网站一搜网站制作
  • 艺纵网站建设建立个人视频播放网站
  • 文网站建设费用计入什么科目北京外包公司有哪些
  • 雕刻机做外贸都是哪些网站怎么上线网站