摘要：
ElasticSearch介绍: ElasticSearch是一个基于Lucene的搜索服务器 ,elasticsearch封装了抽象接口用于连接Lucene Lucene是一套用于全文检索和搜寻的开源程式库 安装很简单: 解压就可以用,几乎是o配置 分布式全文检索服务器 要求是两个节点,最好是三个 阅读全文
摘要：
logStash官网: https://www.elastic.co/guide/en/logstash/current/index.html 首先现在logstash，上传到服务器 logstash是用JRuby语言开发的，所以要安装JDK 解压logstash到指定目录 tar -zxvf lo 阅读全文
摘要：
一、分配资源 最大调节分配资源： 常用的资源调度模式有Spark Standalone和Spark On Yarn。比如说你的每台机器能够给你使用60G内存，10个cpu core，20台机器。那么executor的数量是20。平均每个executor所能分配60G内存和10个cpu core。 1 阅读全文
摘要：
一.JVM调优 JVM: 老年代: 存放少量生命周期长的对象,如连接池 年轻代: Spark task执行算子函数自己创建的大量对象 JVM机制: 对象进入java虚拟机之后会放在eden区域和一个survivor区域,还有一个空闲的survivor区域的是空闲的.Eden区域和一个survivor 阅读全文