当前位置: 首页 > news >正文

微信企业网站做代还的人都聚集在哪些网站

微信企业网站,做代还的人都聚集在哪些网站,化妆品备案,辽宁省工程建设信息网当对高基数列进行过滤查询时,总是希望尽可能跳过更多的行。否则需要处理更多数据、需要更多资源。ClickHouse缺省在MergeTree表读取8192行数据块,但我们可以在创建表时调整该index_granularity 参数。本文通过示例说明如何调整该参数优化查询性能。 inde…

当对高基数列进行过滤查询时,总是希望尽可能跳过更多的行。否则需要处理更多数据、需要更多资源。ClickHouse缺省在MergeTree表读取8192行数据块,但我们可以在创建表时调整该index_granularity 参数。本文通过示例说明如何调整该参数优化查询性能。

index_granularity 参数默认值

下面示例,创建表并插入1亿条记录,从1到100M-1:

CREATE TABLE deleteme
(`number` UInt64
)
ENGINE = MergeTree
PARTITION BY number % 10
ORDER BY number AS
SELECT number 
FROM numbers(100000000)

下面过滤行,条件为10000倍数的行:

SELECT *
FROM deleteme
WHERE number IN (SELECT number * 10000FROM numbers(100000)
)
FORMAT `Null`Query id: 11412bc3-05de-4790-9b65-06b139761e0cOk.0 rows in set. Elapsed: 1.211 sec. Processed 100.00 million rows, 800.00 MB (82.56 million rows/s., 660.45 MB/s.)

这里使用 FORMAT Null,我们仅想了解查询性能,无需返回结果。可以看到扫描了全表,这是因为index_granularity 默认为8192,大约10000行,意味着读所有数据块,大小800MB。

计算过程大概为,首先确定数据在哪个块,因为默认8192,因此所有块都有我们需要的数据。进入具体某个块之后再次采用二分法进行查找,虽然算法选择正确,但仍需要全表扫描。下面我们看减少index_granularity参数情况呢。

index_granularity=128

下面通过设置index_granularity=128,缩小处理数据量:

CREATE TABLE deleteme
(`number` UInt64
)
ENGINE = MergeTree
PARTITION BY number % 10
ORDER BY number
SETTINGS index_granularity=128 AS
SELECT number
FROM numbers(100000000)

下面运行上面相同查询:

SELECT *
FROM deleteme
WHERE number IN (SELECT number * 10000FROM numbers(100000)
)
FORMAT `Null`0 rows in set. Elapsed: 0.785 sec. Processed 12.84 million rows, 102.73 MB (16.35 million rows/s., 130.81 MB/s.)

可以看到仅扫描了12.84百万行,仅102.73MB大小。极大地降低了查询时间和计算成本。因为粒度变小,自动跳过了很多数据块,具体到某个快时,数据量很小,查找速度自然很快,因此在这种场景下粒度小,查询速度更快。当然,调整index_granularity也会带来存储成本,索引会变大,因此插入变慢。有时读取较小的数据块并不能提升查询性能,这取决与查询方式。尽管如此index_granularity是一个很好的技巧,可以使提升查询性能。

总结

index_granularity参数默认为8192,在基数特别大的场景中,针对单条记录查询时,选择较低的index_granularity参数值,会有效提升查询性能。参考文档:Minimize processed bytes with index granularity | ClickHouse Knowledge Base (tinybird.co)

http://www.yayakq.cn/news/791886/

相关文章:

  • 自贡公司做网站电子商务网站运营 需要确立
  • 沈阳网站建设多少钱怎么看网站pv
  • 阿里云服务起做网站网站内容和备案不一样
  • 瑞安市建设工程质量监督站网站南京玄武区建设局网站
  • 网站手机版绑定域名哈尔滨网站建设渠道
  • 广州市天河区工程建设监督网站北京广告设计公司排名前十强
  • 营销型公司网站建设成都seo优化
  • 桂林网站建设培训免费下载代码项目的网站
  • 家居网站建设策划网站建设 技术团队
  • 男子替人做网站网站创建众筹网站
  • 怎么创建小程序商店深圳营销型网站seo
  • 聊城集团网站建设报价社交电商怎么入手
  • 两个女孩子怎么做网站泰州建站免费模板
  • 昆明网站建设创意wordpress响应式主题制作教程
  • 建设网站费用明细wordpress插件有什么用
  • 乌尔禾区做网站哪里好中国国家标准建设信息网站
  • 中山网站建设gdyouzi免费制作简历
  • 网站前端如何做兼职业之峰
  • 个人备案 网站名固安网络公司推荐筑梦网络
  • 友汇网网站建设管理后台东莞市网站建设怎么样
  • 用xml可不可以做网站优秀的移动网站
  • 杭州建设网站公司哪家好遵义网站建设制作公司
  • 物流公司网站设计百度搜索推广方案
  • 山西移动网站设计网站右侧悬浮代码
  • 世界工厂采购网站301wordpress
  • nas做网站需要备案吗.net个人网站开发视频
  • 网站建设申请表wordpress 自动安装 插件
  • 做外贸的网站主要有哪些内容泰安红河网站建设
  • 建设网站要花多少钱制作网站需要的软件
  • 深圳石岩建网站爱站网挖掘词