当前位置： 首页 > news >正文

合肥建设工程交易网站三元里网站建设

news 2025/11/6 16:21:50
合肥建设工程交易网站,三元里网站建设,html制作个人简历代码案例,呼和浩特装修网站背景 ES 本身自带 监控，属于xpack 中的内容，为商业版，需要收费； 并且 monitor 功能必须要在security开启后才能使用，还有就是集群监控自己，将采集到的性能数据保存到本集群，这是一个比较差的设…

背景

ES 本身自带 监控，属于xpack 中的内容，为商业版，需要收费；

并且 monitor 功能必须要在security开启后才能使用，还有就是集群监控自己，将采集到的性能数据保存到本集群，这是一个比较差的设计方式，因为对于生产集群，它不得不为监控提供额外的资源；还有就是集群故障之后，监控数据不可见，在集群恢复之前，无法查看监控数据；

metricbeat

Metricbeat是一个轻量级的托运程序，可以安装在服务器上，定期从操作系统和服务器上运行的服务收集度量。Metricbeat获取它收集的度量和统计数据，并将它们发送到您指定的输出，例如Elasticsearch或Logstash。

Metricbeat 本身可以向kibana 发送dashboard 的模板，用于kibana 的对监控信息的图形化展示；

Kibana

Kibana是Elasticsearch的官方UI工具，它提供了强大的可视化和搜索功能，可以用于监控和调优Elasticsearch集群。Kibana提供了许多内置的仪表盘和可视化组件，可以用来展示Elasticsearch的性能指标、日志和事件数据等。开发者和运维人员可以使用Kibana来监控集群的健康状况、索引状态、搜索响应时间等。

架构

  1. 部署单独用于保存监控数据的ES 集群(单节点也是可以的) + 用于展示监控数据的 kibana;

  2. 一个 metricbeat 用于收集所有的 被监控的ES 集群；(也可以一个ES cluster 一个对应的metricbeat，这样更改一个的配置就不影响其他的信息收集)

  3. 被监控的cluster 需要开启相关配置，允许被采集监控信息；（目前是在全部相同的ES7 版本上采集，跨小版本是支持的，对于跨ES大版本的情况未测试）

实现步骤

1， 配置被监控的cluster

配置启动收集监控数据

在 elasticsearch.yml 添加 xpack.monitoring.collection.enabled: true

也可以在 kibana 中执行：

PUT /_cluster/settings
{"persistent": {"xpack.monitoring.collection.enabled": true}
}

这样被监控cluster 就可以被收集监控指标了；

2，配置 metricbeat

配置要收集的cluster 和 monitor ES 地址；

2.1 启用 elasticsearch-xpack module

user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules enable elasticsearch-xpack    
Enabled elasticsearch-xpack
user@EBJ1214112 metricbeat-7.10.1-1 % ./metricbeat modules list
Enabled:
elasticsearch-xpack

2.2 配置要被监控的ES cluster

# 上面的命令执行后，可以配置 modules.d/elasticsearch-xpack.yml 了，向其中添加 elasticsearch module
# 由于没有开启 xpack, 无需配置 username 和 password
user@EBJ1214112 metricbeat-7.10.1-1 % cat modules.d/elasticsearch-xpack.yml# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-elasticsearch.html- module: elasticsearchmetricsets:- ccr- cluster_stats- enrich- index- index_recovery- index_summary- ml_job- node- node_stats- pending_tasks- shardxpack.enabled: trueperiod: 10shosts: ["http://cluster1:9201"]scope: cluster#username: "user"#password: "secret"- module: elasticsearchmetricsets:- ccr- cluster_stats- enrich- index- index_recovery- index_summary- ml_job- node- node_stats- pending_tasks- shardxpack.enabled: trueperiod: 10shosts: ["http://cluster2:9202"]scope: cluster#username: "user"#password: "secret"

2.3 配置 metricbeat.yml

metricbeat.yml 其中包含了 elasticsearch out 信息、展示监控指标kibana的地址

# cat metricbeat.yml# ======================= Elasticsearch template setting =======================
# 用于向 monitor ES 发送 template 的配置
setup.template.settings:index.number_of_shards: 1index.codec: best_compression#_source.enabled: false# =================================== Kibana ===================================# Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API.
# This requires a Kibana endpoint configuration.
# 向该kibana发送dashboard 信息
setup.kibana:host: "monitor:5601"# ---------------------------- Elasticsearch Output ----------------------------
# 采集的监控数据将被收到下面的ES 中
output.elasticsearch:# Array of hosts to connect to.hosts: ["monitor:9200"]# Protocol - either `http` (default) or `https`.#protocol: "https"# Authentication credentials - either API key or username/password.#api_key: "id:api_key"#username: "elastic"#password: "changeme"

2.4 启动 metricbeat

# 首先是预发执行：
# setup : 向kibana 发出dashboard ,还有向 ES 发出template
# 查看下面日志：
# 1， 定义的 ILM， 用于控制监控数据的大小，及时删除旧数据；
# 2， 向ES 发送了 template ，用于指导 index 的创建；
# 3， Kibana dashboards successfully loaded
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat setup -e
……
2024-01-06T17:59:07.978+0800	INFO	[index-management]	idxmgmt/std.go:261	Auto ILM enable success.
2024-01-06T17:59:07.986+0800	INFO	[index-management.ilm]	ilm/std.go:139	do not generate ilm policy: exists=true, overwrite=false
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:274	ILM policy successfully loaded.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:407	Set setup.template.name to '{metricbeat-7.10.1 {now/d}-000001}' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:412	Set setup.template.pattern to 'metricbeat-7.10.1-*' as ILM is enabled.
2024-01-06T17:59:07.986+0800	INFO	[index-management]	idxmgmt/std.go:446	Set settings.index.lifecycle.rollover_alias in template to {metricbeat-7.10.1 {now/d}-000001} as ILM is enabled.
2024-01-06T17:59:07.987+0800	INFO	[index-management]	idxmgmt/std.go:450	Set settings.index.lifecycle.name in template to {metricbeat {"policy":{"phases":{"hot":{"actions":{"rollover":{"max_age":"30d","max_size":"50gb"}}}}}}} as ILM is enabled.
2024-01-06T17:59:07.991+0800	INFO	template/load.go:183	Existing template will be overwritten, as overwrite is enabled.
2024-01-06T17:59:08.175+0800	INFO	template/load.go:117	Try loading template metricbeat-7.10.1 to Elasticsearch
2024-01-06T17:59:08.430+0800	INFO	template/load.go:109	template with name 'metricbeat-7.10.1' loaded.
2024-01-06T17:59:08.430+0800	INFO	[index-management]	idxmgmt/std.go:298	Loaded index template.
2024-01-06T17:59:08.818+0800	INFO	[index-management]	idxmgmt/std.go:309	Write alias successfully generated.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
2024-01-06T17:59:08.818+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:09.083+0800	INFO	kibana/client.go:119	Kibana url: http://localhost:5601
2024-01-06T17:59:10.880+0800	INFO	[add_cloud_metadata]	add_cloud_metadata/add_cloud_metadata.go:89	add_cloud_metadata: hosting provider type not detected.
2024-01-06T18:00:52.056+0800	INFO	instance/beat.go:815	Kibana dashboards successfully loaded.
Loaded dashboards# 上面准备工作执行完成，就可以真正的采集数据了
user@EBJ1214112 metricbeat-7.10.1-darwin-x86_64 % ./metricbeat -e
3，monitor ES

可以通过 kibana 查看ES 中的数据：

GET .monitoring-es-7-mb-2024.01.07/_search
{"size": 200, "sort": [{"timestamp": {"order": "desc"}}]
}# 多次执行，发现数据有变动，说明数据已经已经存在了；
4，kibana

到目前为止，很顺利，我们在kibana 上看到了监控集群，但是点进去看一下详细信息的时候，发生了一下的提示，意思是由于被监控的集群的 license 是 basic ，所以不支持查看。

通过修改 metric 数据改变license 版本类型： 

哈哈，license 变了，之后再聊怎么变的。

点进一个cluster ，可以看到监控了：

5，elasticsearch

由于 监控数据中保存了 原始集群的 license 信息，所以我们改一下就好；

# 保存监控数据index为 .monitoring-es-7-mb-2024.01.07
# 先为 license 添加mapping,使其可以被查询, 并可以改变
PUT /.monitoring-es-7-mb-2024.01.07/_mapping
{"properties": {"license": {"properties": {"type": {"type": "keyword"}}}}
}# 定义 pipeline 用于改变 license 
PUT _ingest/pipeline/set-license
{"description" : "sets license","processors" : [ {"set" : {"field": "license.type","value": "platinum"  # 这里改为 铂金版}} ]
}# 执行 更改数据 ，查到 license.type=basic 改为 license.type=platinum
POST .monitoring-es-7-mb-2024.01.07/_update_by_query?pipeline=set-license
{"query": {"term": {"license.type": {"value": "basic"}}}
}

上面的改变数据license需要考验手速，在 metricbeat period: 10s 之间改完，然后点进cluster 监控dashbard 进去就可以慢慢看了。 

ToDo

上述的方案虽然能实现多ES集群的监控，但是由于需要拼手速是不完美的。改进的方案为

1， 另外起一个 进程不断地更新license.type 为 basic 为 platinum；

2，在monitor ES中安装一个 plugin ： 其中定义 ActionFilter ，用于过滤 bulk index 的请求，改变其中的请求body ,将 license.type 为 basic 为 platinum （推荐，但有开发量，但不多）

http://www.yayakq.cn/news/927411/

相关文章：

  • 全包家装原创装修网站小程序推广
  • 长子营网站建设华为云软件开发平台
  • 企业网站管理系统推荐电商企业网站建设情况
  • 网站开发html的题wordpress 搜索引擎
  • 广东梅州兴宁做网站公司wordpress设计漂亮的页面
  • 小程序软件开发优化大师官方免费下载
  • 企业网站建设费用的预算公司网站做推广
  • 万维网的代表网站餐饮品牌设计服务
  • 网站建立方案湖南住房和建设厅网站
  • 连云港做网站建设关键词统计工具有哪些
  • 如何使用网站模板建设网站做网站时如何将前端连接到后台
  • 给别人做网站怎么赚钱直播网站如何做
  • 南宁网站建设方案报价移动端网站制作的有哪些要求
  • 做电影下载网站赚钱动漫设计专升本考哪些
  • 网站建设服务好的商家单页静态网站怎么做
  • 太仓住房与城乡建设局网站品牌营销网站
  • 富阳住房和城乡建设部网站鞍山互动网
  • jsp网站开发简单代码淄博教育学校网站建设
  • 网站做系统叫什么名字吗温州专业网站制作公司
  • 深圳建网站哪个济南兴田德润有活动吗建网站如何添加会员模式
  • 可以做动画的网站都有哪些软件下载重庆手机网站推广定做
  • 360网站推广电商网站设计公司可找亿企邦
  • 容桂销售型网站建设装饰设计素描的秩序化构成包括
  • 网站开发的税率是多少公司网站建设合作协议
  • godaddy中文网站开发外贸网站源代码
  • 四川省建设安全质量监理协会网站注册小规模公司流程及费用
  • 国内免费推广网站六安论坛网站
  • 代理机构做的网站找不到人了怎么办沈阳网站建设
  • 杭州企业网站优化网站上的通话功能怎么做
  • 北京自己怎样做网站网站建设外包必须注意几点