当前位置: 首页 > news >正文

js做的网站网站介绍医院文化建设

js做的网站,网站介绍医院文化建设,php网站是什么数据库文件,网站制作 价格目录 1、auto-gptq是什么?2、auto-gptq安装3、auto-gptq不正确安装可能会出现的问题(1)爆出:CUDA extension not installed.(2)没有报错但是推理速度超级慢 1、auto-gptq是什么? Auto-GPTQ 是一…

目录

    • 1、auto-gptq是什么?
    • 2、auto-gptq安装
    • 3、auto-gptq不正确安装可能会出现的问题
      • (1)爆出:`CUDA extension not installed.`
      • (2)没有报错但是推理速度超级慢

1、auto-gptq是什么?

Auto-GPTQ 是一种专注于 量化深度学习模型 的工具库。它的主要目标是通过量化技术(Quantization)将大型语言模型(LLM)等深度学习模型的大小和计算复杂度显著减少,从而提高推理效率,同时尽可能保持模型的性能。

2、auto-gptq安装

在Linux和Windows上,AutoGPTQ可以通过预先构建的轮子为特定的PyTorch版本安装:

AutoGPTQ versionCUDA/ROCm versionInstallationBuilt against PyTorch
latest (0.7.1)CUDA 11.8pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/2.2.1+cu118
latest (0.7.1)CUDA 12.1pip install auto-gptq2.2.1+cu121
latest (0.7.1)ROCm 5.7pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm571/2.2.1+rocm5.7
0.7.0CUDA 11.8pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/2.2.0+cu118
0.7.0CUDA 12.1pip install auto-gptq2.2.0+cu121
0.7.0ROCm 5.7pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm571/2.2.0+rocm5.7
0.6.0CUDA 11.8pip install auto-gptq==0.6.0 --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/2.1.1+cu118
0.6.0CUDA 12.1pip install auto-gptq==0.6.02.1.1+cu121
0.6.0ROCm 5.6pip install auto-gptq==0.6.0 --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm561/2.1.1+rocm5.6
0.5.1CUDA 11.8pip install auto-gptq==0.5.1 --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/2.1.0+cu118
0.5.1CUDA 12.1pip install auto-gptq==0.5.12.1.0+cu121
0.5.1ROCm 5.6pip install auto-gptq==0.5.1 --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm561/2.1.0+rocm5.6

AutoGPTQ is not available on macOS.
注意:安装的auto-gptq版本必须与CUDA和pytorch版本都适配,安装完之后推理速度很慢可能是需要从源码安装

3、auto-gptq不正确安装可能会出现的问题

(1)爆出:CUDA extension not installed.

在这里插入图片描述

这个问题我一直以为是CUDA和pytorch没配置好,或者不适配硬件,甚至以为是没有安装cudnn的原因,但最后发现原来是安装的auto-gptq不适配当下环境。

注意按照上面的方法安装auto-gptq仍然可能报错或者不适配,此时应该从源码安装,可以参考教程AutoGPTQ/README_zh.md at main · AutoGPTQ/AutoGPTQ,或者解决 GPTQ 模型导入后推理生成 Tokens 速度很慢的问题(从源码重新安装 Auto-GPTQ)_auto gptq 源码构建非cuda版本-CSDN博客

以下摘自官方文档
克隆源码:

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

然后,从项目目录安装:

pip install .

正如在快速安装一节,你可以使用 BUILD_CUDA_EXT=0 来取消构建 cuda 拓展。

如果你想要使用 triton 加速且其能够被你的操作系统所支持,请使用 .[triton]

对应 AMD GPUs,为了从源码安装以支持 RoCm,请设置 ROCM_VERSION 环境变量。同时通过设置
PYTORCH_ROCM_ARCH
(reference)
可提升编译速度,例如:对于 MI200 系列设备,该变量可设为 gfx90a。例子:

ROCM_VERSION=5.6 pip install .

对于 RoCm 系统,在从源码安装时额外需要提前安装以下包:rocsparse-dev, hipsparse-dev,
rocthrust-dev, rocblas-dev and hipblas-dev

(2)没有报错但是推理速度超级慢

此时查看auto-gptq版本,如果版本后没有带cu1xx,则可能是需要从源码安装

http://www.yayakq.cn/news/178518/

相关文章:

  • 提高网站打开速度的7大秘籍深圳设计公司名称
  • 四川建站模板网站公司广告设计网站素材
  • 如何创建网站快捷方式到桌面安庆网站建设推广
  • 给网站网站做优化小程序定制开发深圳公司
  • 域名购买哪个网站网站怎么防k
  • 网站运营一月多少钱网上商城排名
  • 哈尔滨网站制作工程推广咨询
  • 做网站需要哪些钱汽车网站有哪些
  • 芜湖网站推广网站怎么做悬浮图片放大
  • 招标网站哪个比较好浙江省建设厅 网站是多少
  • 建网站基础知识做网站界面一般用什么来做
  • 建设公司网站的意义网站建设哪
  • 网站开发所需资料公司注册资金实缴可以取出来吗
  • 专业零基础网站建设教学公司广州市建设信息网
  • ps切片做网站提供网站建设定制
  • 最好的建站平台wordpress nginx伪静态规则
  • 西部数码网站备案核验单域名抢住网站
  • 贵阳培训网站建设在自己电脑上建网站
  • 深圳建设资源交易服务中心网站辽宁建设执业继续教育协会网站
  • 有什么网站可以帮人做模具吗计算机网站开发书籍
  • 网站意义学校百度做个人简介多少钱
  • 公司网站建设怎么协调内容与保密杭州网站优化服务
  • 专业网站建设软件网站建设考试试卷
  • 天天网站建设长春网站建设那家好
  • 公司做网站能抵扣进项税吗哈尔滨百度搜索排名优化
  • 100m做电影网站网页视频下载在线提取
  • 网站开发一般要哪些开发工具wordpress 主题详解
  • 电子商务网站建设考题与答案怎样做微商网站
  • 商机互联做网站怎么样网站的报价怎么做
  • 企业网站建设需要哪些资料信息山东网站建设软件