Elasticsearch--集群&吞吐量
高查询和高吞吐量
过滤器缓存
过滤器缓存负责存查询中使用到的过滤器。
Elasticsearch包含两种类型的过滤器缓存：节点过滤去缓存（默认）和索引过滤器缓存。
节点过滤器缓存被分配在节点上的所有索引共享，可以配置成使用特定大小的内存，或分配给Elasticsearch总内存的百分比。属性是indices.cache.filter.size。
索引过滤器缓存基于索引级别，一般来说，应该使用节点级别的过滤器缓存，因为很难预测每个索引最终缓存大小，通常也不知道最终节点会有多少索引。
字段数据缓存和断路器
字段数据缓存是Elasticsearch缓存的一部分，主要用于当查询对字段执行排序或切面时。构建字段数据缓存是昂贵的。
允许用于字段数据缓存的内存大小用indices.fielddata.cache.size属性来控制。这些值是节点级别的。此外，默认情况下，字段数据缓存的大小是无限的。
我们可以控制字段数据缓存的过期时间，默认情况下字段数据缓存是永不过期的。用indices.fielddata.cache.expire属性来控制。重建字段数据缓存是非常昂贵的，一般情况下，不应该设置过期时间。
断路器
字段数据断路器允许估计一个字段加载到缓存所需的内存。利用它，可以抛出异常防止一些字段加载到内存。有两个属性来控制其行为，indices.fielddata.break.limit,默认是80%。indices.fielddata.break.overhead，默认是1.03，定义了用来与原始估计相乘的一个常量。
存储模块
Elasticsearch中的存储模块负责控制如何写入索引数据。
利用index.store.type属性，指定使用存储的类型：
索引缓冲和刷新率
Elasticsearch允许设置最大的内存数。indices.memory.index_buffer_size设置节点上所有索引分片共拥有的最大内存大小。例如20%，Elasticsearch提供最大堆大小20%的内存给索引缓冲。
indices.memory.min_index_buffer_size，默认是4mb，允许每个分片设置最小索引缓冲。
索引刷新率
index.refresh_interval指定在索引搜索器对象刷新频率，默认是1s，基本意味着数据视图刷新的频率。刷新率越低，文档对搜索操作可视的时间越短和索引操作将会变慢。
当对数据重建索引时，建议在索引阶段把index.refresh_interval属性设为-1。
线程池的配置
Elasticsearch使用多个池来控制线程的处理。
Elasticsearch公开的如下线程池类型：
一些通用的建议来配置高索引和查询吞吐量的集群
必须给予Elasticsearch足够的内存，而且是物理内存。一般来说，运行Elasticsearch的JVM进程不应该超过可用内存的50%或60%。另外，把Xms和Xmx参数设置为相同的值以避免JVM堆的大小调整。
- 选择正确的存储
除了物理内存以外，应该选择正确的存储实现。如果运行64位操作系统，应该选择mmapfs。如果没有运行64位系统，UNIX系统选择niofs,windows系统选择simplefs。如果可以容忍一个易失的存储，但希望它非常快，可以选择memory存储。 - 索引刷新率
刷新率指定文档多块可以对搜索可见。刷新率越快，查询越慢，索引吞吐量越低。如果允许一个较慢的刷新率，如10s或30s,这使得Elasticsearch承受的压力更少，因此内部对象重新打开的频率更低，因此，将有更多的资源用于索引和查询。 - 优化线程池
强烈建议调整默认线程池，尤其是查询操作。在性能测试之后，通常看到集群上的查询不堪重负，这是应该开始拒绝请求。大多数情况下，最好立刻拒绝该请求，而不是放到队列中并强制程序等待很长时间请求处理。 - 优化合并过程
合并过程很大程度上取决于用例，以及若干因素。查询多个段跟查询数量更少的段相比更慢。但是，想查询数目更少的段，需要更多的代建进行合并。
通常来说，如果想查询更快，应该以索引中更少的段为目标。如果想索引更快，应该有更多的段。使用并行合并调度器并调整默认调节值，是I/O子系统不会被合并吞没。 - 字段数据缓存和断路器
默认情况下，字段数据缓存是无限的。有两个不同因子可以调节，来确保不会遇到内存不足错误。首先，可以限制字段数据缓存的大小。其次是断路器，通过它配置成加载过多数据时抛出一个异常。 - 索引的内存缓冲区
用于索引缓冲区的可用内存越多(indices.memory.index_buffer_size)，Elasticsearch可以在内存总保存的文档也越多。默认情况下，属性值是10%，如果需要更高的索引比例，可以提高这个百分比。 - 优化事务日志
Elasticsearch有个内部模块称为translog。它是分片上的结构，为预写日志服务。
默认情况下，Elasticsearch在事务日志中保存最多5000次操作，同时最大不超过200mb。如果想要更高的索引吞吐量，又可以承担数据对搜索操作不可见的时间更长，就可以提高这个默认值。index.translog.flush_threhold_ops和index.translog.flush_threhold_size（两者都是索引上的设置，可以通过Elasticsearch API实时更新）。 - 牢记于心
除了上面提到的因素，应该监视Elasticsearch集群并作出相应的反应。
