2017年9月19日
spark 读写 mysql 数据demo(scala实现代码)
摘要： 一、读操作 二、写操作 阅读全文
posted @ 2017-09-19 16:06 一醉方休 阅读(1367) 评论(0) 推荐(0) 编辑
python kafka生产消费示例
摘要： 分享连接：http://abloz.com/tech/2017/07/22/python-kafka-producer-consumer/ 阅读全文
posted @ 2017-09-19 15:59 一醉方休 阅读(923) 评论(0) 推荐(0) 编辑
scala的for循环yield值
摘要： 分享连接：http://abloz.com/tech/2017/07/22/scala-for-yield/ 阅读全文
posted @ 2017-09-19 15:53 一醉方休 阅读(451) 评论(0) 推荐(0) 编辑
spark rdd 转换和动作
摘要： http://abloz.com/tech/2017/07/22/spark-rdd/ 阅读全文
posted @ 2017-09-19 15:39 一醉方休 阅读(236) 评论(0) 推荐(0) 编辑
Hbase中文文档
摘要： http://abloz.com/hbase/book.html 阅读全文
posted @ 2017-09-19 15:33 一醉方休 阅读(150) 评论(0) 推荐(0) 编辑
Kafka数据可靠性深度解读
摘要： http://www.infoq.com/cn/articles/depth-interpretation-of-kafka-data-reliability?utm_source=infoq&utm_medium=popular_widget&utm_campaign=popular_conten 阅读全文
posted @ 2017-09-19 14:38 一醉方休 阅读(210) 评论(0) 推荐(0) 编辑
2017年9月15日
hive数据压缩脚本实现
摘要： #!/bin/bash #参数个数校验 if [ $# -ne 2 ] then echo "输入库名:[/core/loan/md/lc/wt/adm] 压缩时间：[1900/非1900]"; exit 1; fi; #压缩库名 db_name=$1 #压缩时间选择 iscompess_type=$2 com_date="" #脚本路径 script_path="/hom... 阅读全文
posted @ 2017-09-15 16:43 一醉方休 阅读(541) 评论(0) 推荐(0) 编辑
2017年9月14日
判断输入shell脚本的日期格式是否正确
摘要： if echo $1 | grep -q "-" && date -d $1 +%Y%m%d > /dev/null 2>&1 then :; else echo "输入的日期格式不正确，应为yyyy-mm-dd"; exit 1; fi; ##这个不对，输入2010-12--1也是可以的，显然不合法 -----------------------------------------... 阅读全文
posted @ 2017-09-14 12:38 一醉方休 阅读(7426) 评论(0) 推荐(0) 编辑
抽取ORACLE表数据到HIVE
摘要： 1 #!/bin/bash 2 ##----------------------------------------------------------------------------------------- 3 ##--程序名称：抽取ORACLE表数据到HIVE 4 ##--功能描述: 每日全量抽取。 5 ##--参 数：etl_date 业务日期 6 ... 阅读全文
posted @ 2017-09-14 12:35 一醉方休 阅读(2166) 评论(0) 推荐(0) 编辑