Elasticsearch之映射(mapping)。

数据库 waitig 582℃ 百度已收录 0评论

        索引中每个文档都有一个类型(type)。每个类型拥有自己的映射(mapping)或者模式定义(schema definition)。一个映射定义了字段类型,每个字段的数据类型,以及字段被Elasticsearch处理的方式。映射还用于设置关联到类型上的元数据。

        核心简单字段类型

        Elasticsearch支持以下简单字段类型:

       

       当你索引一个包含新字段的文档——一个之前没有的字段——Elasticsearch将使用动态映射猜测字段类型,这类型来自于JSON的基本数据类型,使用以下规则:

      

        注意:这意味着,如果你索引一个带引号的数字——“123”,它将被映射为“string”,而不是“long”类型。然而,如果字段已经被映射为“long”类型,Elasticsearch将尝试转换字符串为long,并在转换失败时会抛出异常。

         查看映射

         我们可以使用_mapping后缀来查看Elasticsearch中的映射。例如,找到索引gb类型tweet中的映射:

         GET /gb/_mapping/tweet

         这展示给了我们字段的映射(叫做属性(properties)),这些映射是Elasticsearch在创建索引时动态生成的:

       

      

        小提示:错误的映射,例如把age字段映射为string类型而不是integer类型,会造成查询结果混乱。

        要检查映射类型,而不是假设他是正确的!

        自定义字段映射

        映射中最重要的字段参数是type。除了string类型的字段,你可能很少需要映射其他的type:

       

        string类型的字段,默认的,考虑到包含全文本,他们的值在索引前要经过分析器分析,并且在全文搜索此字段前要把查询语句做分析处理。

        对于string字段,两个最重要的映射参数是index和analyer。

  • index

        index参数控制字符串以何种方式被索引。它包含以下三个值当中的一个:

       

       string类型字段默认值是analyzed。如果我们想映射字段为确切值,我们需要设置它为not_analyed:

      

        其他简单类型——long、double、dtae等等——也接受index参数,但相应的值只能是no和not_analyzed,他们的值不能被分析。

  • 分析

        对于analyzed类型的字符串字段,使用analyzer参数来指定哪一种分析器将在搜索和索引的时候使用。默认的,Elasticsearch使用standard分析器,但是你可以通过指定一个內建的分析器来更改他,例如whitespace、simple或english。

       

       更新映射

        你可以在第一次创建索引的时候指定映射的类型。此外,你也可以晚些时候为新类型添加映射(或者为已有的类型更新映射)。

        重要:你可以向已有映射中增加字段,但你不能修改它。如果一个字段在映射中已经存在,这可能意味着那个字段的数据已经被索引。如果你改变了字段映射,那已经被索引的数据将错误并且不能被正确的索引到。

        为了演示两个指定的映射方法,让我们首先删除索引gb:

        DELETE /gb

        然后创建一个新索引,指定tweet字段的分析器为english:

        PUT /gb
       {
          "mappings": {
              "tweet" : {
                  "properties": {
                       "tweet" : {
                               "type": "string",
                               "analyzer": "english"
                       },
                       "date" : {
                               "type": "date"
                       },
                      "name" : {
                              "type": "string"
                      },
                      "user_id" : {
                              "type": "long"
                      }
                  }
             }
          }
         }

         这将创建包含mappings的索引,映射在请求体中指定。

         再后来,我们决定在tweet的映射中增加一个新的not_analyzed类型的文本字段,叫做tag,使用_mapping后缀:

         PUT /gb/_mapping/tweet
         {
              "properties": {
                     "tag" : {
                          "type": "string",
                          "index": "not_analyzed"
                     }
              }
         }

        注意到我们不再需要列出所有的已经存在的字段,因为我们没法修改他们。我们的新字段已经被合并至存在的那个映射中。

         测试映射

        你可以通过名字使用analyze API测试字符串字段的映射,对比这两个请求的输出:

        GET /gb/_analyze?field=tweet

        Black-cats        <1>

        GET /gb/_analyze?field=tag

        Black-cats        <1>

        <1> 我们想要分析的文本被放在请求体中。

        tweet字段产生两个词,“black”和“cat”,tag字段产生单独一个词“Black-cats”。换言之,我们的映射工作正常。

        复合核心字段类型

        除了之前提到的简单的标量类型,JSON还有null值,数组和对象,所有这些Elasticsearch都支持:

        多值字段

        我们想让tag字段包含多个字段,这非常有可能发生。我们可以索引一个标签数组来代替单一字符串:

        {"tag" : [ "search" , "nosql" ] }

        对于数组不需要特殊的映射。任何一个字段可以包含零个、一个或多个值,同样对于全文字段将被分析并产生多个词。

        言外之意,这意味着数组中所有值必须为同一类型。你不能把日期和字符串混合。如果你创建一个新字段,这个字段索引了一个数组,Elasticsearch将使用第一个值的类型来确定这个新字段的类型。

        当你从Elasticsearch中取回一个文档,任何一个数组的顺序和你索引它的顺序一致。你取回的_source字段的顺序同样与索引他们的顺序相同。

        然而,数组是作为多值字段被索引的,他们没有顺序。在搜索阶段你不能指定“第一个值”或者“最后一个值”。倒不如把数组当做一个值集合(gag of values)。

        空字段

        当然数组可以是空的。这等价于有零个值。事实上,Lucene没法存放null值,所以一个null值的字段被认为是空字段。

        这四个字段将被识别为空字段而不被索引:

       

        多层对象

        我们需要讨论的最后一个自然JSON数据类型是对象(object)——在其他语言中叫做hashed、hashmaps、dictionaries或者associative arrays。

        内部对象(inner objects)经常用于嵌入一个实体或对象里的另一个地方。例如,做在tweet文档中user_name和user_id的替代,我们可以这样写:

       

         内部对象的映射

         Elasticsearch会动态的检测新对象的字段,并且映射他们为Object类型,将每个字段加到properties字段下:

        

        <1>  根对象.

        <2> 内部对象.

        对user和name字段的映射与tweet类型自己很相似。事实上,type映射只是object映射的一种特殊类型,我们将object称为根对象。它与其他对象一模一样,除非它有一些特殊的顶层字段,比如_source、_all等等。

        内部对象时怎样被索引的               

        Lucene不理解内部对象。Lucene文档由一个键-值对列表。为了Elasticsearch指出内部对象用到的字段,它把我们的文档弄成这样:

       

       内部字段可以提到的名字,如“first”。区分两个领域有相同的名字,我们之间使用完整路径,如“user.name.first”,甚至type名称加上路径:“tweet.user.name.first”。

       NOTE:在简单的扁平的document上面,没有field所谓的user并没有所谓user.name。Lucene只索引或简单的values,没有复杂的数据结构。

       对象数组

       最后,考虑如何对包含内部对象的数组进行索引。比方说我们有一个followers数组看起来像这样:

       [ source , js ]

       { "followers": [ { "age": 35, "name": "Mary White"}, { "age": 26, "name": "Alex Jones"}, { "age": 19, "name": "Lisa Smith"} ]}

       这个文档将像我们上面描述的那样被压扁,但是结果会是这样的:

       [ source , js ]

       { "followers.age": [19, 26, 35], "followers.name": [alex, jones, lisa, smith, mary, white]}

       { age : 35 }和{name : Mary White }之间的相关性已经丢失,因为每个多值字段只是一个值包,不是有序数组。这就足够我们问了:

  •        有一个26岁的follwer吗?

       但是我们不能得到准确的答案:

  • 有一个26岁的叫Alex Jones的follower吗?

       相关的内部对象,可以回答类似这样的查询,称为嵌套对象。


本文由【waitig】发表在等英博客
本文固定链接:Elasticsearch之映射(mapping)。
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)