扎心了老铁

2017年7月9日

redis的sentinel主从切换(failover)与Jedis线程池自动重连

摘要：本文介绍如何通过sentinel监控redis主从集群，并通过jedis自动切换ip和端口。 1、配置redis主从实例 10.93.21.21:6379 10.93.21.21:6389 10.93.21.21:6399 主从同步关系 master：10.93.21.21:6379 slave:1 阅读全文

posted @ 2017-07-09 22:51 扎心了老铁阅读(2612) 评论(0) 推荐(1) 编辑

记录一次因为硬盘写满造成的redis无法连接

摘要：缘起：今天早晨收到报警，服务不干活了，赶紧起来看问题。。。为了尽快让服务可用，尝试重启服务，发现服务起不来，报错看起来是redis挂了，但是发现redis的进程还在。进一步看服务的错误日志： redis持久化失败，服务配置了redis rdb持久化方式，为啥失败呢？内存和硬盘看了下，果然硬盘满阅读全文

posted @ 2017-07-09 15:19 扎心了老铁阅读(4781) 评论(0) 推荐(1) 编辑

Hadoop通过HCatalog编写Mapreduce任务访问hive库中schema数据

摘要： 1、dirver 2、Mapper 3、Reducer 4、propertyUtil 5、配置阅读全文

posted @ 2017-07-09 00:11 扎心了老铁阅读(1335) 评论(0) 推荐(1) 编辑

2017年7月8日

elasticsearch的映射(mapping)和分析(analysis)

摘要：转发自：http://blog.csdn.net/hzrandd/article/details/47128895 分析和分析器分析(analysis)是这样一个过程：首先，表征化一个文本块为适用于倒排索引单独的词(term) 然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率” 这个阅读全文

posted @ 2017-07-08 16:36 扎心了老铁阅读(2014) 评论(0) 推荐(2) 编辑

java优雅的使用elasticsearch api

摘要：本文给出一种优雅的拼装elasticsearch查询的方式，可能会使得使用elasticsearch的方式变得优雅起来，使得代码结构很清晰易读。建立elasticsearch连接部分请参看另一篇博客：http://www.cnblogs.com/kangoroo/p/7127003.html 1、阅读全文

posted @ 2017-07-08 14:42 扎心了老铁阅读(2065) 评论(0) 推荐(0) 编辑

2017年7月7日

springboot mybatis优雅的添加多数据源

摘要： springboot的原则是简化配置，本文试图不通过xml配置，使用configuration配置数据源，并进行简单的数据访问。并且配置了多数据源，在开发过程中这种场景很容易遇到。 1、依赖 springboot的starter mybatis的springboot集成包 jdbc 2、在appl 阅读全文

posted @ 2017-07-07 18:02 扎心了老铁阅读(24158) 评论(0) 推荐(0) 编辑

2017年7月6日

java通过shield链接Elasticsearch

摘要：本文mark了springboot中集成elasticsearch，并且实现连接带有shield权限管理的elasticsearch的方法。 tips:首先建议java client版本和elasticsearch版本一致。不然可能会出现各种问题。 1、首先在pom中加入如下依赖 2、其次编写ESC 阅读全文

posted @ 2017-07-06 16:27 扎心了老铁阅读(2211) 评论(0) 推荐(0) 编辑

2017年7月4日

java spark-streaming接收TCP/Kafka数据

摘要：本文将展示 1、如何使用spark-streaming接入TCP数据并进行过滤； 2、如何使用spark-streaming接入TCP数据并进行wordcount；内容如下： 1、使用maven，先解决pom依赖 1、接收TCP数据并过滤，打印含有error的行执行方法 2、接收Kafka数据并阅读全文

posted @ 2017-07-04 12:48 扎心了老铁阅读(1079) 评论(0) 推荐(0) 编辑

hiveQL求差集

摘要： hive sql求差集的方法 1、什么是差集 set1 - set2，即去掉set1中存在于set2中的数据。 2、hive中计算差集的方法，基本是使用左外链接。直接上代码 3、一般来说我们要先去重，使得两个表都变成集合，元素唯一。先对table2(右表)去重然后再计算差集。阅读全文

posted @ 2017-07-04 12:20 扎心了老铁阅读(4661) 评论(0) 推荐(0) 编辑

2017年6月26日

hiveQL去重

摘要：去重：以id进行分组，然后取出每组的第一个以id进行分组，按照create_time降序排序后，然后取出每组的第一个将去重后的数据重新存储去重之后与其他表join算匹配数阅读全文

posted @ 2017-06-26 13:53 扎心了老铁阅读(933) 评论(0) 推荐(0) 编辑

公告