米6体育官网app下载手机端 - 米6体育最新APP

热门关键词:  xxx  as ORDER BY 1#  as

您的位置: 主页 > 资讯动态 > 行业新闻 >
Elasticsearch分词
作者:米6体育 来源:米6体育 点击: 发布日期: 2023-05-05 02:33
信息摘要:
米6体育官网app下载手机端 - 米6体育最新APP前言 好比,当我们想将某个博客标志为“大神”时,博客系统却将这个单词粗暴的分成了如图所示的两个词“大”和“神”。显然,这并不切合用户的使用习惯。这是 Elasticsearch 语言分析器上的限制,它并不能友好的处置惩罚所有语言,特别是中文。这种情况下,我们就需要分外的中文分词器来协助我们了。 分词(Analysis) 将文本切分为一系列单词的历程,好比 美国留给伊拉克的是个烂摊子吗?经由分词后的结果为:美国、伊拉克、烂摊子。...
本文摘要:前言 好比,当我们想将某个博客标志为“大神”时,博客系统却将这个单词粗暴的分成了如图所示的两个词“大”和“神”。显然,这并不切合用户的使用习惯。这是 Elasticsearch 语言分析器上的限制,它并不能友好的处置惩罚所有语言,特别是中文。这种情况下,我们就需要分外的中文分词器来协助我们了。 分词(Analysis) 将文本切分为一系列单词的历程,好比 美国留给伊拉克的是个烂摊子吗?经由分词后的结果为:美国、伊拉克、烂摊子。

米6体育官网app下载手机端

前言 好比,当我们想将某个博客标志为“大神”时,博客系统却将这个单词粗暴的分成了如图所示的两个词“大”和“神”。显然,这并不切合用户的使用习惯。这是 Elasticsearch 语言分析器上的限制,它并不能友好的处置惩罚所有语言,特别是中文。这种情况下,我们就需要分外的中文分词器来协助我们了。

分词(Analysis) 将文本切分为一系列单词的历程,好比 "美国留给伊拉克的是个烂摊子吗?"经由分词后的结果为:美国、伊拉克、烂摊子。分词器(Analyzer) elasticsearch中执行的分词的主体,官方把分词器分成三个条理:Character Filters:针对文档的原始文本举行处置惩罚,例如将印度语的阿拉伯数字"0 12345678 9"转换成拉丁语的阿拉伯数字"0123456789",或者去除HTML中的特殊标志符号,Character Filters可以有零或多个,安装顺序应用;PS:类似Servlet中的过滤器,或者拦截器,想象一下有一个过滤器链Tokenizer:焦点,将文档的原始文本根据一定规则切分为单词,Tokenizer只能有一个;PS:Tokenizer 卖力将文本拆分成单个token ,这里token就指的就是一个一个的单词。就是一段文本被支解成好几部门,相当于Java中的字符串的 splitToken Filter:对经由Tokenizer处置惩罚事后的单词举行二次加工,好比转换为小写,Token Filter也可以有多个,按顺序依次挪用。token过滤器吸收token流,而且可能会添加、删除或更改tokens。

不允许token过滤器更改每个token的位置或字符偏移量。一个分析器可能有0个或多个token过滤器,它们按顺序应用。三者的挪用顺序:Character Filters--->Tokenizer--->Token Filter小结&回首analyzer(分析器)是一个包,这个包由三部门组成,划分是:character filters (字符过滤器)、tokenizer(分词器)、token filters(token过滤器)一个analyzer可以有0个或多个character filters一个analyzer有且只能有一个tokenizer一个analyzer可以有0个或多个token filterscharacter filter 是做字符转换的,它吸收的是文本字符流,输出也是字符流tokenizer 是做分词的,它吸收字符流,输出token流(文本拆分后酿成一个一个单词,这些单词叫token)token filter 是做token过滤的,它吸收token流,输出也是token流由此可见,整个analyzer要做的事情就是将文本拆分成单个单词,文本 ----> 字符 ----> token Analyze API es提供了endpoint为_analyze的语句来测试分词效果,你可以指定索引中的字段或者显式输入文原来测试分词效果 预界说的分词器es自带的分词器如下,默认是standard,建立索引的mapping(类似于表结构)时候可指定 因为文档中的每个字段都市建设倒排索引,所以你也可以在建立索引的mapping时指定每个字段的分词器。下面简朴的测试一下Standard、Simple、whitespace这三个分词器分词效果,其余的就不测试了。

standardStandardSimplewhitespace 其余的分词器留给大家自己去测试,分词器的选择还是很重要的,根据你想要的切分方式切分文本获得的分词效果,既可以节约空间,又可以较好的解决搜索问题。尤其是中文,如何切分是个难点,好比文本"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"如果经由默认的分词器standard analyzer切分的话,会获得"中、国、驻、洛、杉、矶、领、事、馆、遭、亚、裔、男、子、枪、击、嫌、犯、已、自、首",这显然不是我们想要的分词效果;再好比,"乒乓球拍卖完了",是切分为"乒乓球/拍卖/完了"还是切分为"乒乓球拍/卖完了"。这里分享一个常用的中文分词器:ik_smart,它能较好的切分中文及英文文本,支持自界说词库,开源分词器 ik 的github:https://github.com/medcl/elasticsearch-analysis-ik安装iksmart分词器如下:./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.0/elasticsearch-analysis-ik-6.4.0.zip注意: 替换6.4.0为自己安装的elasticsearch版本,安装好后的ik插件在/elasticsearch/plugins/目录下,接着就可以直接指定分词器为ik_smart了,ik内里提供了ik_smart、ik_max_word,大家可以通过如下测试下两种分词器分词效果: 分词使用时机 1.建立或更新文档时候,es会对相应的文档数据举行分词处置惩罚,好比你某个索引字段类型为text,那么插入一条文档时候就会对该字段举行分词处置惩罚,维护该字段文本内容的倒排索引,这种我们成为索引时分词; 2.查询时候,会对你的查询文本举行分词,好比你要查询"苹果手机",则会分词为"苹果、手机"两个单词;我们可以在建立索引时候指定该字段的分词器:建立索引mapping时候指定该字段的分词器也可以在查询时指定分词器:查询时指定分词器 实际使用时候我们需要明确文档中的某个字段是否要分词,如果没须要分词,请关闭,这能节约一定的空间及提高es的写入效率,同时实际生产中的详细的分词器选择要经由自己的实际测试。

1. 测试分析器analyze API 是一个工具,可以资助我们检察分析的历程。(PS:类似于执行计划)curl -X POST "192.168.1.134:9200/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "whitespace", "text": "The quick brown fox."}'curl -X POST "192.168.1.134:9200/_analyze" -H 'Content-Type: application/json' -d'{ "tokenizer": "standard", "filter": [ "lowercase", "asciifolding" ], "text": "Is this déja vu?"}'输出:{ "tokens":[ { "token":"The", "start_offset":0, "end_offset":3, "type":"word", "position":0 }, { "token":"quick", "start_offset":4, "end_offset":9, "type":"word", "position":1 }, { "token":"brown", "start_offset":10, "end_offset":15, "type":"word", "position":2 }, { "token":"fox.", "start_offset":16, "end_offset":20, "type":"word", "position":3 } ]}可以看到,对于每个term,记载了它的位置和偏移量2. Analyzer2.1. 设置内置的分析器 内置的分析器不用任何设置就可以直接使用。

固然,默认设置是可以更改的。例如,standard分析器可以设置为支持停止字列表:curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'{ "settings": { "analysis": { "analyzer": { "std_english": { "type": "standard", "stopwords": "_english_" } } } }, "mappings": { "_doc": { "properties": { "my_text": { "type": "text", "analyzer": "standard", "fields": { "english": { "type": "text", "analyzer": "std_english" } } } } } }} 在这个例子中,我们基于standard分析器来界说了一个std_englisth分析器,同时设置为删除预界说的英语停止词列表。后面的mapping中,界说了my_text字段用standard,my_text.english用std_english分析器。

因此,下面两个的分词效果会是这样的:curl -X POST "localhost:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'{ "field": "my_text", "text": "The old brown cow"}curl -X POST "localhost:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'{ "field": "my_text.english", "text": "The old brown cow"}第一个由于用的standard分析器,因此分词的效果是:[ the, old, brown, cow ]第二个用std_english分析的效果是:[ old, brown, cow ]2.2. Standard Analyzer (默认) 如果没有特别指定的话,standard 是默认的分析器。它提供了基于语法的标志化(基于Unicode文天职割算法),适用于大多数语言。

例如:curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "standard", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dogu0027s bone."}上面例子中,那段文本将会输出如下terms:[ the, 2, quick, brown, foxes, jumped, over, the, lazy, dog's, bone ]2.2.1. 设置尺度分析器接受下列参数:max_token_length : 最大token长度,默认255stopwords : 预界说的停止词列表,如_english_ 或 包罗停止词列表的数组,默认是 _none_stopwords_path : 包罗停止词的文件路径2.2.2. 示例设置curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'{ "settings": { "analysis": { "analyzer": { "my_english_analyzer": { "type": "standard", "max_token_length": 5, "stopwords": "_english_" } } } }}curl -X POST "localhost:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "my_english_analyzer", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dogu0027s bone."}以上输出下列terms:[ 2, quick, brown, foxes, jumpe, d, over, lazy, dog's, bone ]2.2.3. 界说standard分析器由下列两部门组成:TokenizerStandard TokenizerToken FiltersStandard Token FilterLower Case Token FilterStop Token Filter (默认被禁用)你还可以自界说curl -X PUT "localhost:9200/standard_example" -H 'Content-Type: application/json' -d'{ "settings": { "analysis": { "analyzer": { "rebuilt_standard": { "tokenizer": "standard", "filter": [ "lowercase" ] } } } }}2.3. Simple Analyzer simple 分析器当它遇到只要不是字母的字符,就将文本剖析成term,而且所有的term都是小写的。例如:curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "simple", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dogu0027s bone."}输入效果如下:[ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]2.3.1. 自界说curl -X PUT "localhost:9200/simple_example" -H 'Content-Type: application/json' -d'{ "settings": { "analysis": { "analyzer": { "rebuilt_simple": { "tokenizer": "lowercase", "filter": [ ] } } } }}2.4. Whitespace Analyzerwhitespace 分析器,当它遇到空缺字符时,就将文本剖析成terms示例:curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "whitespace", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dogu0027s bone."}'输出效果如下:[ The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog's, bone. ]2.5. Stop Analyzer stop 分析器 和 simple 分析器很像,唯一差别的是,stop 分析器增加了对删除停止词的支持。

默认用的停止词是 _englisht_(PS:意思是,假设有一句话“this is a apple”,而且假设“this” 和 “is”都是停止词,那么用simple的话输出会是[ this , is , a , apple ],而用stop输出的效果会是[ a , apple ],到这里就看出二者的区别了,stop 不会输出停止词,也就是说它不认为停止词是一个term)(PS:所谓的停止词,可以明白为分开符)2.5.1. 示例输出curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "stop", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dogu0027s bone."}'输出[ quick, brown, foxes, jumped, over, lazy, dog, s, bone ]2.5.2. 设置stop 接受以下参数:stopwords : 一个预界说的停止词列表(好比,_englisht_)或者是一个包罗停止词的列表。默认是 _english_stopwords_path : 包罗停止词的文件路径。

这个路径是相对于Elasticsearch的config目录的一个路径2.5.3. 示例设置curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'{ "settings": { "analysis": { "analyzer": { "my_stop_analyzer": { "type": "stop", "stopwords": ["the", "over"] } } } }}上面设置了一个stop分析器,它的停止词有两个:the 和 overcurl -X POST "localhost:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "my_stop_analyzer", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dogu0027s bone."}基于以上设置,这个请求输入会是这样的:[ quick, brown, foxes, jumped, lazy, dog, s, bone ]2.6. Pattern Analyzer用Java正则表达式来将文天职割成terms,默认的正则表达式是W+(非单词字符)2.6.1. 示例输出curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "pattern", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dogu0027s bone."}由于默认根据非单词字符支解,因此输出会是这样的:[ the, 2, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]2.6.2. 设置pattern 分析器接受如下参数:pattern : 一个Java正则表达式,默认 W+flags : Java正则表达式flags。好比:CASE_INSENSITIVE 、COMMENTSlowercase : 是否将terms全部转成小写。默认truestopwords : 一个预界说的停止词列表,或者包罗停止词的一个列表。默认是 _none_stopwords_path : 停止词文件路径2.6.3. 示例设置curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'{ "settings": { "analysis": { "analyzer": { "my_email_analyzer": { "type": "pattern", "pattern": "\W|_", "lowercase": true } } } }}上面的例子中设置了根据非单词字符或者下划线支解,而且输出的term都是小写curl -X POST "localhost:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'{ "analyzer": "my_email_analyzer", "text": "John_Smith@foo-bar.com"}因此,基于以上设置,本例输出如下:[ john, smith, foo, bar, com ]2.7. Language Analyzers 支持差别语言情况下的文天职析。

内置(预界说)的语言有:arabic, armenian, basque, bengali, brazilian, bulgarian, catalan, cjk, czech, danish, dutch, english, finnish, french, galician, german, greek, hindi, hungarian, indonesian, irish, italian, latvian, lithuanian, norwegian, persian, portuguese, romanian, russian, sorani, spanish, swedish, turkish, thai2.8. 自界说Analyzer前面也说过,一个分析器由三部门组成:zero or more character filtersa tokenizerzero or more token filters2.8.1. 实例设置curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'{ "settings": { "analysis": { "analyzer": { "my_custom_analyzer": { "type": "custom", "tokenizer": "standard", "char_filter": [ "html_strip" ], "filter": [ "lowercase", "asciifolding" ] } } } }}3. Tokenizer 3.1. Standard Tokenizercurl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{ "tokenizer": "standard", "text": "The 2 QUICK Brown-Foxes jumped over the lazy dogu0027s bone."}4. 中文分词器4.1. smartCN一个简朴的中文或中英文混淆文本的分词器这个插件提供 smartcn analyzer 和 smartcn_tokenizer tokenizer,而且不需要设置# 安装bin/elasticsearch-plugin install analysis-smartcn# 卸载bin/elasticsearch-plugin remove analysis-smartcn下面测试一下可以看到,“今天天气真好”用smartcn分析器的效果是:[ 今天 , 天气 , 真 , 好 ]如果用standard分析器的话,效果会是:[ 今 ,天 ,气 , 真 , 好 ]4.2. IK分词器到https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v6.6.0下载对应的版本,这里我下载6.4.06.4.0版本然后,在Elasticsearch的plugins目录下建一个ik目录,将适才下载的文件解压到该目录下最后,重启Elasticsearch接下来,还是用适才那句话来测试一下输出效果如下:{ "tokens": [ { "token": "今天天气", "start_offset": 0, "end_offset": 4, "type": "CN_WORD", "position": 0 }, { "token": "今天", "start_offset": 0, "end_offset": 2, "type": "CN_WORD", "position": 1 }, { "token": "天天", "start_offset": 1, "end_offset": 3, "type": "CN_WORD", "position": 2 }, { "token": "天气", "start_offset": 2, "end_offset": 4, "type": "CN_WORD", "position": 3 }, { "token": "真好", "start_offset": 4, "end_offset": 6, "type": "CN_WORD", "position": 4 } ]}显然比smartcn要更好一点参考:es官方文档https://www.elastic.co/guide/en/elasticsearch/reference/current/index.htmlhttps://www.elastic.co/guide/en/elasticsearch/reference/current/analysis.htmlhttps://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-tokenfilters.htmlhttps://github.com/medcl/elasticsearch-analysis-ik。


本文关键词:Elasticsearch,分词,前言,好比,米6体育官网app下载手机端,当,我们,想,将

本文来源:米6体育官网app下载手机端-www.vvjiang.com

全国服务热线

030-88320238