0xcafedaddy

2018年2月7日

摘要： https://www.cnblogs.com/MOBIN/p/5704001.html 摘要 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询插入操作以及进行Join和Union等复杂查询应用场景 1. 将ETL操作的数据存入HBase 2. HBase作为Hi 阅读全文

posted @ 2018-02-07 14:40 0xcafedaddy 阅读(220) 评论(0) 推荐(0) 编辑

Hadoop 变更磁盘的方法总结

摘要： 2.重新加载DataNode配置同样只需要操作添加硬盘的Datanode ./hdfs dfsadmin -reconfig datanode 10.5.24.139:50020 start 注：10.5.24.139为目录调整的Datanode节点，Datanode的默认IPC地址为：50020 阅读全文

posted @ 2018-02-07 13:09 0xcafedaddy 阅读(882) 评论(0) 推荐(0) 编辑

2018年2月5日

SPI

摘要： https://www.jianshu.com/p/5c3bb771dc5d 最近在学习dubbo源码，dubbo在功能扩展方面，提供了SPI的扩展。初次看到SPI，还是不容易理解，下面记录SPI的学习。系统里抽象的各个模块，往往有很多不同的实现方案，比如日志模块的方案，xml解析模块、jdbc模阅读全文

posted @ 2018-02-05 15:13 0xcafedaddy 阅读(140) 评论(0) 推荐(0) 编辑

SQL 操作结果集 -并集、差集、交集、结果集排序

摘要： https://www.cnblogs.com/kissdodog/archive/2013/06/24/3152743.html 操作结果集为了配合测试，特地建了两个表，并且添加了一些测试数据，其中重复记录为东吴的人物。表：Person_1魏国人物表：Person_2蜀国人物 A、Union 阅读全文

posted @ 2018-02-05 13:54 0xcafedaddy 阅读(144) 评论(0) 推荐(0) 编辑

2018年2月2日

MongoDB系列四：解决secondary的读操作

摘要： http://blog.itpub.net/26812308/viewspace-2124660/ 在Replica sets 中的secondary节点默认是不可读的。使用Replica Sets实现读写分离。通过在连接时指定或者在主库指定slaveOk，由Secondary来分担读的压力，Pri 阅读全文

posted @ 2018-02-02 20:17 0xcafedaddy 阅读(3102) 评论(0) 推荐(0) 编辑

2018年1月31日

org.apache.hadoop.ipc.RemoteException: User: root is not allowed to impersonate root

摘要：修改 core-site.xml文件 vim /usr/local/hadoop/etc/hadoop/core-site.xml 增加：关闭文件权限检查： hdfs-site.xml 关闭safemod: hdfs dfsadmin -safemode leave 使用beeline登录测试：阅读全文

posted @ 2018-01-31 14:23 0xcafedaddy 阅读(883) 评论(0) 推荐(0) 编辑

2018年1月30日

hive 中窗口函数row_number,rank,dense_ran,ntile分析函数的用法

摘要： https://www.cnblogs.com/wujin/p/6051768.html 阅读全文

posted @ 2018-01-30 16:01 0xcafedaddy 阅读(151) 评论(0) 推荐(0) 编辑

2018年1月25日

FormData上传文件同时附带其他参数

摘要：前端js代码：后端Java代码：阅读全文

posted @ 2018-01-25 18:42 0xcafedaddy 阅读(14380) 评论(0) 推荐(0) 编辑

Hive删除分区

摘要： Hive删除分区语句： alter table table_name drop if exists partition(dt=30301111) 阅读全文

posted @ 2018-01-25 14:08 0xcafedaddy 阅读(3341) 评论(0) 推荐(0) 编辑

2018年1月24日

Hive日期格式转换用法

摘要：如果想把 20180123 转换成 2018-01-23，可以使用： select from_unixtime(unix_timestamp('${p_date}','yyyymmdd'),'yyyy-mm-dd') from dual limit 1; http://blog.csdn.net/l 阅读全文

posted @ 2018-01-24 15:01 0xcafedaddy 阅读(12180) 评论(0) 推荐(0) 编辑

2018年1月21日

HIVE 不支持group by 别名

摘要： hive不支持group by 别名，如果需要group by 别名的情况，可以使用别名的值作为group by 的值阅读全文

posted @ 2018-01-21 15:21 0xcafedaddy 阅读(1754) 评论(0) 推荐(0) 编辑

2018年1月18日

ODS与EDW的区别

摘要： http://blog.csdn.net/bitcarmanlee/article/details/51013474 根据自己的理解与实际项目经验，说说ODS与EDW的异同。如果有不对的地方，欢迎大家批评指正。维基百科对于ODS的定义为”An operational data store (or 阅读全文

posted @ 2018-01-18 15:39 0xcafedaddy 阅读(952) 评论(0) 推荐(0) 编辑

hive数据类型转换、字符串函数、条件判断

摘要： http://blog.csdn.net/yimingsilence/article/details/70057638 数据类型转换同Java语言一样，Hive也包括隐式转换（implicit conversions）和显式转换（explicitly conversions）。 Hive在需要的阅读全文

posted @ 2018-01-18 15:03 0xcafedaddy 阅读(15457) 评论(0) 推荐(0) 编辑

2018年1月13日

把e.printStackTrace的堆栈信息打印在log.error()中

摘要：不要这样写： log.error(e);这样只是简单的记录下错误的类型，不能精确出错误出错在哪行要写成：log.error(e.toString(),e); 阅读全文

posted @ 2018-01-13 16:08 0xcafedaddy 阅读(725) 评论(0) 推荐(0) 编辑

2018年1月11日

maven正确的集成命令-U -B 等

摘要： http://healthandbeauty.iteye.com/blog/1618501 在持续集成服务器上使用怎样的 mvn 命令集成项目，这个问题乍一看答案很显然，不就是 mvn clean install 么？事实上比较好的集成命令会稍微复杂些，下面是一些总结：不要忘了clean： cle 阅读全文

posted @ 2018-01-11 18:50 0xcafedaddy 阅读(226) 评论(0) 推荐(0) 编辑

2018年1月10日

解决Mac安装M2Crypto提示无法找到openssl头文件问题

摘要：大概是这种问题 running build running build_py running build_ext building'M2Crypto.__m2crypto' extension swigging SWIG/_m2crypto.i to SWIG/_m2crypto_wrap.c sw 阅读全文

posted @ 2018-01-10 19:55 0xcafedaddy 阅读(874) 评论(0) 推荐(0) 编辑

Spring Boot 属性配置和使用

摘要： http://blog.csdn.net/isea533/article/details/50281151 http://blog.csdn.net/lifuxiangcaohui/article/details/47173597 https://www.cnblogs.com/magicalSam 阅读全文

posted @ 2018-01-10 19:36 0xcafedaddy 阅读(123) 评论(0) 推荐(0) 编辑

一个java调用python的问题

摘要：使用 ProcessBuilder 阅读全文

posted @ 2018-01-10 15:03 0xcafedaddy 阅读(721) 评论(0) 推荐(0) 编辑

Mac安装pstree

摘要： brew install pstree 阅读全文

posted @ 2018-01-10 14:25 0xcafedaddy 阅读(4852) 评论(0) 推荐(0) 编辑

HA模式手动切换namenode状态

摘要：查看状态 hdfs haadmin -getServiceState nn1 有时候通过网页访问两个namenode的http-address，看到默认的主namenode状态变成了standy，这时可以通过下面命令来实现主namenode的状态切换成active。 hdfs haadmin -fa 阅读全文

posted @ 2018-01-10 12:00 0xcafedaddy 阅读(1000) 评论(0) 推荐(0) 编辑

公告