百里登风

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

06 2017 档案

ElasticSearch 优化
摘要：curl -XPOST 'http://master:9200/djt2/_forcemerge?max_num_segements=1' 阅读全文

posted @ 2017-06-30 17:09 百里登峰 阅读(238) 评论(0) 推荐(0) 编辑

ElasticSearch 索引模块——全文检索
摘要：curl -XPOST http://master:9200/djt/user/3/_update -d '{"doc":{"name":"我们是中国人，钓鱼岛是我们的"}}' curl -XPOST 'http://master:9200/djt/user/_search' -d '{"query 阅读全文

posted @ 2017-06-30 11:58 百里登峰 阅读(449) 评论(0) 推荐(0) 编辑

ElasticSearch 索引模块——集成IK中文分词
摘要：下载插件地址 https://github.com/medcl/elasticsearch-analysis-ik/tree/v1.10.0 对这个插件在window下进行解压 用maven工具对插件进行源码编译（这里提醒一下，记得把目录切换到插件的解压目录下） 成功了！ 把这个路径下的压缩包放到在 阅读全文

posted @ 2017-06-29 17:42 百里登峰 阅读(777) 评论(0) 推荐(0) 编辑

elastisSearch-aggregations
摘要：运行结果 统计每个学员的总成绩 这个是索引库使用通配符 优先在本地查询 只在本地节点中查询 只在指定id的节点里面进行查询 查询指定分片的数据 参考代码ESTestAggregation.java 阅读全文

posted @ 2017-06-29 10:15 百里登峰 阅读(430) 评论(0) 推荐(0) 编辑

ElasticSearch 搜索原理
摘要：运行结果:返回5条数据 参考代码ESTestDocumentAPI.java 先创建索引库djt1 执行程序（这里是条件匹配查询） 这里是把djt1库的所以数据都查出来 对多字段查询 模糊字符匹配查询方法 根据权重来查询 完全匹配查询 从0开始只查询2条数据 对年龄进行升序查询2条数据 查询某个年龄 阅读全文

posted @ 2017-06-16 11:08 百里登峰 阅读(458) 评论(0) 推荐(0) 编辑

ElasticSearch Document API
摘要：删除索引库 可以看到id为1的索引库不见了 这里要修改下配置文件 slave1,slave2也做同样的操作，在这里就不多赘述了。 这个时候记得要重启elasticseach才能生效，怎么重启这里就不多说了 运行程序 这个函数的意思是如果文件存在就更新，不存在就创建 第一次执行下来 第二次执行（因为文 阅读全文

posted @ 2017-06-14 21:38 百里登峰 阅读(338) 评论(0) 推荐(0) 编辑

ElasticSearch client API
摘要：从运行结果看并没有打印节点信息出来 从结果看出来，集群节点信道打印出来了，不过这种方法有个问题，就是当我们连接的节点挂掉了，就没法连接整个集群了，这个时候我们就利用他的一个嗅探的功能。 从这里我们可以看到，通过嗅探功能把集群的三个节点都打印出来了 实际上我们只传入master节点，但是同过maste 阅读全文

posted @ 2017-06-14 11:36 百里登峰 阅读(1866) 评论(0) 推荐(0) 编辑

storm项目优化
摘要：实现监控脚本监控topology运行状态 阅读全文

posted @ 2017-06-14 09:55 百里登峰 阅读(219) 评论(0) 推荐(0) 编辑

storm的流分组
摘要：用的是ShuffleGrouping分组方式，并行度设置为3 这是跑下来的结果 参考代码StormTopologyShufferGrouping.java package yehua.storm; import java.util.Map; import org.apache.storm.Confi 阅读全文

posted @ 2017-06-10 12:50 百里登峰 阅读(852) 评论(0) 推荐(0) 编辑

storm的代码实现
摘要：先模拟产生一些数据 我把这些数据摘一部分下来 参考代码KafkaProducer.java 先在kafka创建topic 两个副本5个分区 可以看到topic创建成功 总结一下前面的流程 下面再新建一个maven项目stormpProject0521 依赖文件： 依赖文件pom.xml参考代码 参考 阅读全文

posted @ 2017-06-09 17:39 百里登峰 阅读(289) 评论(0) 推荐(0) 编辑

storm项目架构分析
摘要：storm是一条一条数据处理，spark是一批数据处理的，storm才是真正意义的实时数据处理。 1、fileBeat类似flume用来采集日志的，fileBeat是轻量级的，对性能消化不大，而flume比较消化性能。 2、fileBeat会实时监控前端机，然后把数据实时写到Kafka集群里面。 3 阅读全文

posted @ 2017-06-09 10:36 百里登峰 阅读(348) 评论(0) 推荐(0) 编辑

storm的优化以及雪崩问题
摘要：下图来说明什么是雪崩现象: 当spout发送的速度非常快，而bolt的处理速度很慢，spout源源不断地向内存中发送tuple，这样下去迟早会把内存撑爆，这样就叫做雪崩现象！ 怎么处理雪崩问题呢 第一个方法不能有很好的保障，第二种方法可能会导致spout的严重的数据延迟，所以实际在应该中是两个方法结 阅读全文

posted @ 2017-06-09 00:22 百里登峰 阅读(502) 评论(0) 推荐(0) 编辑

storm的定时任务
摘要：应用场景： 第一种方法 参考代码StormTopologyTimer1.java 方法二： 所以我们应该这么干 这个方法也ok的，这个不同于前面的在main里设置定时，这个是在bolt里设置，这个方法就是针对bolt设置，针对某一个bolt设置定时任务！ 参考代码StormTopologyTimer 阅读全文

posted @ 2017-06-08 23:29 百里登峰 阅读(1722) 评论(0) 推荐(0) 编辑

storm的可靠性
摘要：消息确认机制： 在数据发送的过程中可能会数据丢失导致没能接收到，spout有个超时时间（默认是30S），如果30S过去了还是没有接收到数据，也认为是处理失败。 运行结果都是处理成功 参考代码StormTopologyAcker.java 阅读全文

posted @ 2017-06-08 22:20 百里登峰 阅读(310) 评论(0) 推荐(0) 编辑

nginx-1.8.1的安装
摘要：1、我直接切换到root用户下安装，这里需要三个插件一起配套使用的 分别是： 1.gzip 模块需要 zlib 库 ( 下载: http://www.zlib.NET/ )2.rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ )3.ssl 功能需要 ope 阅读全文

posted @ 2017-06-04 23:34 百里登峰 阅读(2507) 评论(0) 推荐(0) 编辑

ElasticSearch 在3节点集群的启动
摘要：ElasticSearch的启动分前台和后台启动 先介绍前台启动： 先在master节点上启动 可以看到已经启动了 同时在slave1、slave2节点上也启动 可以看到都已经启动了！ 在浏览器分别打开每个节点的状况观察，这里需要等待变成green状态才算是可以 这个是master节点的状况 这个是 阅读全文

posted @ 2017-06-01 12:13 百里登峰 阅读(378) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示