field data-es控制聚合内存使用-elasticsearch权威指南翻译

来源:互联网 时间:1970-01-01


#(主要是聚合使用,索引会从这里面获取term数据)

聚合通常通过一个叫fielddata的结构进行工作,fielddata经常会吃集群大量的内存,所以理解它咋工作的是非常重要的。

fileddata能飞快的加载到内存中,or built at index time and stored on disk。后面我们会谈论到在硬盘上的fileddata-doc values,现在我们要谈的是内存中的fielddata,这个是es的默认设置,也许将来会改变。

倒排索引的存在仅仅是对于核心的操作是非常高效的,倒排索引主要用于发现一个term是所在的那些文档,而对于一个文档中哪些term存在表现并不是非常好,agg却需要第二种场景。

看看下面这种场景

Term      Doc_1   Doc_2   Doc_3

------------------------------------

brown   |   X   |   X   |

dog     |   X   |       |   X

dogs    |       |   X   |   X

fox     |   X   |       |   X

foxes   |       |   X   |

in      |       |   X   |

jumped  |   X   |       |   X

lazy    |   X   |   X   |

leap    |       |   X   |

over    |   X   |   X   |   X

quick   |   X   |   X   |   X

summer  |       |   X   |

the     |   X   |       |   X

—————————————————


如果你想查询提到brown这个单词的所有文档,我们可以这样建立查询语句

GET /my_index/_search

{

  "query" : {

    "match" : {

      "body" : "brown"

    }

  },

  "aggs" : {

    "popular_terms": {

      "terms" : {

        "field" : "body"

      }

    }

  }

}

这个查询是简单并且高效的,倒排索引通过term进行排序,首先我们发现brown在terms列表中,然后遍历所有列看看哪个doc包含brown,我们可以非常轻松的发现doc_1 和doc_2有

对于agg部分,我们需要发现doc_1和doc_2中所有的独立term(用term去doc搜),使用倒排索引去做这件事情是非常昂贵的,我们必须在doc_1和doc_2中迭代所有独立的term,这将是非常慢的,而且随着文档和term的增加会越来越慢。

fielddata通过颠倒关系解决这个问题,我们得到一个index maps terms,就是文档包含term,如下

Doc      Terms

-----------------------------------------------------------------

Doc_1 | brown, dog, fox, jumped, lazy, over, quick, the

Doc_2 | brown, dogs, foxes, in, lazy, leap, over, quick, summer

Doc_3 | dog, dogs, fox, jumped, over, quick, the

————————————————————————————————

一旦数据成为这样,系统将会去doc收集独立的token(用doc得到term),然后set即可。

fielddata的缓存数据是针对每个segment的,换句话说,当一个新的segment可用于搜索的时候,老的segment中的fielddata仍然是可用的,仅仅是新的fileddata需要再加载到内存中罢了。

当然,搜索和聚合是密不可分的,搜索通过倒排索引查询数据,聚合收集数据通过fileddata,但fielddata是由倒排数据生成的。

这个章节的剩下部分,会包含减少fileddata的内存占用还有增加执行速度。

fileddata不仅仅用在聚合,对于任何一种需要查看一个文档中包含的值的方法中都会用到,还有sorting,那些使用到field values的脚本,父子关系,还有查询filter等,例如 geo_distance  filter。



相关阅读:
Top