电脑公司网站源码php丹阳市房产信息网

认识Elasticsearch

Elasticsearch的官方网站如下
Elasticsearch官网

Elasticsearch是由elastic公司开发的一套搜索引擎技术，它是elastic技术栈中的一部分。完整的技术栈包括：

• Elasticsearch：用于数据存储、计算和搜索
• Logstash/Beats：用于数据收集
• Kibana：用于数据可视化
  整套技术栈被称为ELK，经常用来做日志收集、系统监控和状态分析等等：
  

整套技术栈的核心就是用来存储、搜索、计算的Elasticsearch，接下来安装的核心也是Elasticsearch
要安装的内容包含2部分：

• elasticsearch：存储、搜索和运算
• kibana：图形化展示

首先Elasticsearch不用多说，是提供核心的数据存储、搜索、分析功能的。
然后是Kibana，Elasticsearch对外提供的是Restful风格的API，任何操作都可以通过发送http请求来完成。不过http请求的方式、路径、还有请求参数的格式都有严格的规范。这些规范我们肯定记不住，因此我们要借助于Kibana这个服务。
Kibana是elastic公司提供的用于操作Elasticsearch的可视化控制台。它的功能非常强大，包括：

• 对Elasticsearch数据的搜索、展示
• 对Elasticsearch数据的统计、聚合，并形成图形化报表、图形
• 对Elasticsearch的集群状态监控
• 它还提供了一个开发控制台（DevTools），在其中对Elasticsearch的Restful的API接口提供了语法提示

安装Elasticsearch

采用的是elasticsearch的7.12.1版本，由于8以上版本的JavaAPI变化很大，在企业中应用并不广泛，企业中应用较多的还是8以下的版本。
创建网络：因为需要部署kibana容器，因此需要让es和kibana容器互联。

docker network create es-net

拉取镜像：

docker pull elasticsearch:7.12.1

创建挂在节点

mkdir -p /usr/share/elasticsearch/data     /usr/share/elasticsearch/plugins

启动命令

docker run -d \--name es \--restart=always \-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \-e "discovery.type=single-node" \-v es-data:/usr/share/elasticsearch/data \-v es-plugins:/usr/share/elasticsearch/plugins \--privileged \--network es-net \-p 9200:9200 \-p 9300:9300 \elasticsearch:7.12.1

访问9200验证
ip:9200

安装Kibana

拉取镜像：

docker pull kibana:7.12.1

创建挂在节点

mkdir -p  /usr/share/kibana/config /usr/share/kibana/data

启动命令

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

测试Kibana是否安装成功
http://IP:5601

安装IK分词器

中文分词往往需要根据语义分析，比较复杂，这就需要用到中文分词器，例如IK分词器。IK分词器是林良益在2006年开源发布的，其采用的正向迭代最细粒度切分算法一直沿用至今。

执行语句

docker exec -it es ./bin/elasticsearch-plugin  install https://release.infinilabs.com/analysis-ik/stable/elasticsearch-analysis-ik-7.12.1.zip

注：执行时注意版本号，版本应与安装的Elasticsearch版本相同

如果网速较差，也可以选择离线安装。

 https://release.infinilabs.com/analysis-ik/stable/elasticsearch-analysis-ik-7.12.1.zip

下载文件 上传到 挂载卷下 ik 文件夹下
查看挂载卷

docker volume inspect es-plugins

docker restart es

IK分词器包含两种模式：

• ik_smart：智能语义切分
• ik_max_word：最细粒度切分

我们在Kibana的DevTools上来测试分词器，首先测试Elasticsearch官方提供的标准分词器：

POST /_analyze
{"analyzer": "standard","text": "程序员学习java太棒了"
}

{"tokens" : [{"token" : "程","start_offset" : 0,"end_offset" : 1,"type" : "<IDEOGRAPHIC>","position" : 0},{"token" : "序","start_offset" : 1,"end_offset" : 2,"type" : "<IDEOGRAPHIC>","position" : 1},{"token" : "员","start_offset" : 2,"end_offset" : 3,"type" : "<IDEOGRAPHIC>","position" : 2},{"token" : "学","start_offset" : 3,"end_offset" : 4,"type" : "<IDEOGRAPHIC>","position" : 3},{"token" : "习","start_offset" : 4,"end_offset" : 5,"type" : "<IDEOGRAPHIC>","position" : 4},{"token" : "java","start_offset" : 5,"end_offset" : 9,"type" : "<ALPHANUM>","position" : 5},{"token" : "太","start_offset" : 9,"end_offset" : 10,"type" : "<IDEOGRAPHIC>","position" : 6},{"token" : "棒","start_offset" : 10,"end_offset" : 11,"type" : "<IDEOGRAPHIC>","position" : 7},{"token" : "了","start_offset" : 11,"end_offset" : 12,"type" : "<IDEOGRAPHIC>","position" : 8}]
}

可以看到，标准分词器智能1字1词条，无法正确对中文做分词。
我们再测试IK分词器：

POST /_analyze
{"analyzer": "ik_smart","text": "程序员学习java太棒了"
}

{"tokens" : [{"token" : "程序员","start_offset" : 0,"end_offset" : 3,"type" : "CN_WORD","position" : 0},{"token" : "学习","start_offset" : 3,"end_offset" : 5,"type" : "CN_WORD","position" : 1},{"token" : "java","start_offset" : 5,"end_offset" : 9,"type" : "ENGLISH","position" : 2},{"token" : "太棒了","start_offset" : 9,"end_offset" : 12,"type" : "CN_WORD","position" : 3}]
}

IK分词器无法对一些新的词汇分词，如“泰裤辣”等，测试一下：

POST /_analyze
{"analyzer": "ik_smart","text": "程序员泰裤辣"
}

{"tokens" : [{"token" : "程序员","start_offset" : 0,"end_offset" : 3,"type" : "CN_WORD","position" : 0},{"token" : "泰","start_offset" : 3,"end_offset" : 4,"type" : "CN_CHAR","position" : 1},{"token" : "裤","start_offset" : 4,"end_offset" : 5,"type" : "CN_CHAR","position" : 2},{"token" : "辣","start_offset" : 5,"end_offset" : 6,"type" : "CN_CHAR","position" : 3}]
}

所以要想正确分词，IK分词器的词库也需要不断的更新，IK分词器提供了扩展词汇的功能
增加词典 进入 挂在卷下 ik/config
也可以 直接在本地修改好后直接上传到 服务器 （推荐）
修改文件 IKAnalyzer.cfg.xml

然后修改 vim ext.dic

然后重启 es
再次请求es得

{"tokens" : [{"token" : "程序员","start_offset" : 0,"end_offset" : 3,"type" : "CN_WORD","position" : 0},{"token" : "泰裤辣","start_offset" : 3,"end_offset" : 6,"type" : "CN_WORD","position" : 1}]
}

分词器的作用是什么？

• 创建倒排索引时，对文档分词
• 用户搜索时，对输入的内容分词

IK分词器有几种模式？

• ik_smart：智能切分，粗粒度
• ik_max_word：最细切分，细粒度

IK分词器如何拓展词条？如何停用词条？

• 利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典
• 在词典中添加拓展词条或者停用词条