Elasticsearch实战与原理解析(博文视点出品),elasticsearch实战与原理解析 豆瓣

　　图解了ElasticSearch的原理，你收集的很好！

　　(在数据分析和开发中做星号以提高数据技能)

　　来源：Richaaaard

　　Elasticsearch是一款开源、功能强大的分布式搜索数据分析引擎，已经被国内多家互联网巨头使用。比如薄条、滴滴、今日头条、饿了么、360安全、小米、vivo等。

　　除了搜索，Elastic Stack结合Kibana、Logstash、Beats几乎广泛应用于大数据的实时分析，包括日志分析、索引监控、信息安全等领域。

　　搜索大量结构化和非结构化数据，根据需要生成可视化报告，对监控数据设置报警阈值，使用机器学习技术，有助于自动识别异常情况。

　　今天我将从上到下介绍ElasticSearch的基本工作原理，并尝试回答以下问题。

　　为什么我的搜索*foo-bar*和foo-bar不一致？

　　为什么添加更多文件会压缩索引？

　　为什么电子搜索要消耗大量内存？

　　图解 ElasticSearch

　　3358 www.Sina.com/elastic搜索-2.2.0 .

　　elasticsearch 版本：

　　如下图：

　　云上的集群

　　云中的白色方框表示——个节点。

　　集群里的盒子

　　多个绿色四边形在一个或多个节点上直接组合形成弹性搜索的索引。

　　节点之间

　　在一个索引下，分布在多个节点上的绿色小方块称为切片——Shard。

　　索引里的小方块

　　ElasticSearch的Shard本质上就是Lucene index。

　　Lucene是一个全文搜索库，ElasticSearch建立在Lucene之上。

　　接下来我要说的大部分其实都是基于Lucene的ElasticSearch的工作原理。

　　ShardLucene Index

　　图解 Lucene

　　Lucene有很多小片段，可以算是Lucene内部最小的索引。

　　Mini 索引：Segment

　　段内有很多数据结构，如上图所示。

　　Segment 内部

　　Inverted Index

　　Stored Fields

　　Document Values

　　Cache

　　如下图：

　　倒排索引主要由两部分组成。

　　常规数据字典包含单词“Term”及其频率。

　　与单词Term(即单词所在的文档)相对应的帖子。

　　我们在搜索的时候，首先对搜索内容进行分解，在字典中找到对应的词条，找到与搜索相关的文件内容。

　　最最重要的 Inverted Index

　　如下图：

　　查询“the fury”

　　如果你想找到以字母“C”开头的字符，你可以很容易地在“二分搜索法”中的倒排索引表中找到“选择”和“到来”等词(术语)。

　　自动补全（AutoCompletion-Prefix）

　　如果您想搜索包含字符“我们的”的所有单词，请单击

　　整个倒排索引都会被系统扫描，非常昂贵。

　　在这种情况下，如果要做优化，面临的问题就是如何生成合适的项。

　　问题的转化

　　如下图：

　　对于以上问题，我们可能有几种可行的解决方案：

　　*后缀xiffus *，如果要用后缀作为搜索条件，可以对Term做逆向处理。

　　(60.6384，6.5017) u4u8gyykk，对于地理位置信息，可以转换成GEO Hash。

　　23 { 1-百分位数，12-十位数，123}，对于简单的数，可以为它生成多种形式的项。

　　解决拼写错误

　　Python库生成包含单词拼写错误信息的树状态机，以解决拼写错误的问题。

　　Stored Field 字段查找

　　当我们想要查找一个具有特定标题的文件时，倒排索引无法解决这个问题，所以Lucene提供了另一种数据结构存储字段来解决这个问题。

　　本质上，存储字段是一个简单的键-值对，即键-值。默认情况下，ElasticSearch存储整个文件的JSON源代码。

　　Document Values 为了排序，聚合

　　即便如此，我们发现上面的结构仍然无法解决排序、聚合、刻面等问题，因为我们可能要读取很多不必要的信息。

　　因此，另一种数据结构解决了这个问题：文档值。这种结构本质上是列存储，对同类型数据的存储结构进行了高度优化。

　　为了提高效率，ElasticSearch可以将索引下的所有文档值读入内存进行操作，大大提高了访问速度，但同时也消耗了大量的内存空间。

　　总之，这些数据结构、倒排索引、存储字段、文档值及其缓存都在段内。

　　搜索发生时

　　在搜索时，Lucene会搜索所有细分市场，然后返回每个细分市场的搜索结果，最后呈现给客户。

　　Lucene的一些特性使得这个过程非常重要：

　　Segments 是不可变的（immutable）：删除？当删除发生时，Lucene只是将其位置标记为删除，但文件仍将在原来的位置，不会改变。

　　更新？所以对于更新，本质上它做的是：先删除它，然后重新索引。

　　随处可见的压缩：Lucene非常擅长压缩数据。基本上所有教科书上的压缩方法都能在Lucene中找到。

　　缓存所有的所有：Lucene还会缓存所有信息，大大提高了其查询效率。

　　缓存的故事

　　ElasticSearch在索引一个文件的时候，会为该文件创建一个对应的缓存，并定期(每秒)刷新数据，然后就可以搜索到这些文件了。

　　随着时间的推移，我们会有很多细分市场，如下所示：

　　所以ElasticSearch会合并这些段，在这个过程中，段最终会被删除。

　　这就是为什么添加文件可能会让索引占用的空间变小，而且会造成合并，可能会导致更多的压缩。

　　举个栗子

　　两个段将被合并：

　　这两个线段最终会被删除，然后合并成一个新的线段，如下图所示：

　　此时，这个新数据段在缓存中处于冷状态，但大多数数据段保持不变，处于热状态。

　　上述场景经常发生在Lucene Index内部，如下图所示：

　　在 Shard 中搜索

　　ElasticSearch从Shard开始的搜索过程和Lucene段类似。

　　与Lucene Segment中的搜索不同，Shard可能分布在不同的节点上，因此在搜索和返回结果时，所有信息都将通过网络传输。

　　需要注意的是：1搜索2个碎片=分别搜索2个碎片。

　　对于日志文件的处理：当我们要搜索特定日期生成的日志时，按照时间戳对日志文件进行分块和索引，会大大提高搜索效率。

　　当我们想删除旧数据时也很方便，只需删除旧索引即可。

　　在上面的例子中，每个索引有两个碎片。

　　如何 Scale

　　如下图：

　　Shard不会被进一步分割，但是Shard可以被移动到不同的节点。

　　所以如果集群节点的压力增加到一定程度，我们可能会考虑增加新的节点，这就需要我们重新索引所有的数据，这是我们不愿意看到的。

　　所以我们在规划的时候需要考虑清楚如何平衡足够节点和不足节点的关系。

　　节点分配和分片优化：

　　将性能更好的机器分配给更重要的数据inodes。

　　确保每个碎片都有一个拷贝信息副本。

　　路由 Routing：每个节点都有一个路由表，所以当一个请求发送到任何一个节点时，ElasticSearch都有能力将请求转发到期望节点的Shard进行进一步处理。

　　一个真实的请求

　　如下图：

　　Query

　　如下图：

　　查询类型为filtered，查询类型为multi_match。

　　Aggregation

　　如下图：

　　根据作者，获得点击量前10位的前10位作者的信息。

　　请求分发

　　该请求可以分发到集群中的任何节点，如下图所示：

　　上帝节点

　　如下图：

　　此时，该节点成为当前请求的协调者，它决定：

　　根据索引信息，确定该请求将被路由到哪个核心节点。

　　以及哪个副本可用。

　　等一下。

　　路由

　　如下图：

　　在真实搜索之前

　　ElasticSearch会将查询转换成Lucene查询，如下所示：

　　然后在所有段中执行计算，如下图所示：

　　过滤条件本身也会有一个缓存，如下图所示：

　　但是查询不会被缓存，所以如果重复执行同一个查询，应用程序本身需要做缓存。

　　所以：

　　过滤器可以随时使用。

　　查询只在需要分数的时候使用。

　　返回

　　搜索结束后，结果会沿着向下的路径上下移动，如下图所示：

　　- EOF -

　　原地址：https://mp.weixin.qq.com/s/8NIwVKs1AFq5qPKOowfJAg

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。