摘要：
mysql使用存储过程，创建日历表： 准备日历表： CREATE TABLE `m_dim_day` ( `ID` int(11) NOT NULL AUTO_INCREMENT, `DAY_ID` varchar(10) DEFAULT NULL, `DAY_SHORT_DESC` varchar 阅读全文
摘要：
首先说下解析的数据如下： 刚开始看，这个就是一个Map结构嵌套了Map，再嵌套了一个数组结构。通常情况下的表结构定义如下： 这样当数据来直接插入到hdfs中，然后利用explode就可以一行转多行扩展开了。 但是我的需求是这个actionInfo中的字段不固定的，可能是任意的结构，所以我定义的表结构 阅读全文
摘要：
偷懒，参考这里 https://www.cnblogs.com/taiyonghai/p/6728707.html 阅读全文
摘要：
https://blog.csdn.net/flysun3344/article/details/54707965 阅读全文
摘要：
使用了最新的java8的java.time类，并提供了LocalDateTime和java.util.Date之间的转换。 使用方法： randomLocalDateTime(-3,3) ： 取距离今天前后2天的日期。如果今天为7月12日，则日期随机范围为7月10日~7月14日 测试方法 ： 测试结 阅读全文
摘要：
jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka-server-start.sh中找到堆设置，添加export JMX_PORT="9999" 或者在启动脚本中添加如下： 这样在kafka-manager中就不会看到出错信息了。 阅读全文
摘要：
l1. mac上软件清单 https://github.com/jaywcjlove/awesome-mac/blob/master/README-zh.md 2. 系统设置 2. 1 Mac 设置安全与隐私没有允许任何来源选项 通过一下命令即可实现 通过以上命令执行后，即可看到任何来源这个选择项： 阅读全文
摘要：
在mirrors的节点中添加： 阅读全文
摘要：
标题很长：通过shell脚本来rerun一个oozie调度失败的job,从而可以跳过执行失败的节点 不过目前从oozie调度测试的例子来看，oozie本身的retry好像并没有参数可以控制跳过失败的节点。必须手工重新rerun的时候指定 -D oozie.wf.rerun.failnodes=fal 阅读全文
摘要：
今天帮朋友解决一个问题，朋友的框架用的layui的，发现layui的里面的data.field不能获取动态生成的标签的值的。 于是使用jquery的方法如下： 阅读全文
摘要：
今天修改了和journalNode通信的zookeeper配置，原来没有打开zookeeper动态清理快照的功能。 所以3台zookeeper节点，每台修改完配置后，然后重启了下zookeeper服务。 然后就发现hadoop集群发生脑裂了，并且两台namenode节点都是standby状态。 经过 阅读全文
摘要：
今天运维教我的磁盘扩容的一串命令，暂时没空研究了，留着以后可能会用到的。 root账号登录： fdisk -l 阅读全文
摘要：
从3.4版本以后，在配置文件中有2个参数分别设置快照的清理。默认没有打开。 阅读全文
摘要：
之前一直没做过rebalance，以为速度很快，结果大意了，等到磁盘达到90%的时候，才开始做rebalance。 默认的从日志中可以看到总共需要迁移1.89T，但是每次只移动40G大小的量。 然后查看40G的数据量从15:45分到15:48分，所以结算结果为每分钟13G,每秒228M左右。(感觉这 阅读全文
摘要：
redis集群的搭建 https://www.cnblogs.com/kangoroo/p/7657616.html 另外集群中的key的存放： 首先，redis集群一共分配16384个槽 然后根据key值进行hash后，根据hash的结果值存储到对应的某个槽中。 所以我在window上通过redi 阅读全文
摘要：
mport org.apache.commons.lang.time.DateUtils; import org.joda.time.DateTime; import org.joda.time.Duration; import org.junit.Test; import java.time.LocalDateTime; import java.time.temporal.ChronoU... 阅读全文
摘要：
前几个月进行的大数据架构的升级： 原来的大数据集群的状况如下： 1）主从模式，从多个日志源采集后， 2）接收端只用了1个flume接收，存储到hdfs上。 3）并不支持实时的数据清洗。 4）存储到hive系统的数据归类不合理，数据没有明显的层级关系，全部从多个源表直接计算输出结果。 另外，原来的同事 阅读全文
摘要：
一共有以下三种： 分别对应的是： obj1: 字符串拼接 obj2: 对象数组,都是name，vlaue obj3: 对象 obj4: json字符串 应用场景： 1. 使用easyui中的datagrid表格控件展示数据的时候，在查询的页面中使用如下： 2. ajax向后台提交数据时： 如果一个表 阅读全文